twstock stock.py change rand sleep time to 3-10 sec for request

admin

stock.py   change rand sleep time to 3-10 sec for request to avoid ban

tock.py source as below:
在 twstock/stock.py#L57 的下一行
for 迴圈裏面 增加 以下兩行 code 即可import time
import random

1. # -*- coding: utf-8 -*-
   
2. 
   
3. import datetime
   
4. import time
   
5. import urllib.parse
   
6. from collections import namedtuple
   
7. import random
   
8. from twstock.proxy import get_proxies
   
9. 
   
10. try:
    
11.     from json.decoder import JSONDecodeError
    
12. except ImportError:
    
13.     JSONDecodeError = ValueError
    
14. 
    
15. import requests
    
16. 
    
17. try:
    
18.     from . import analytics
    
19.     from .codes import codes
    
20. except ImportError as e:
    
21.     if e.name == 'lxml':
    
22.         # Fix #69
    
23.         raise e
    
24.     import analytics
    
25.     from codes import codes
    
26. 
    
27. 
    
28. TWSE_BASE_URL = 'http://www.twse.com.tw/'
    
29. TPEX_BASE_URL = 'http://www.tpex.org.tw/'
    
30. DATATUPLE = namedtuple('Data', ['date', 'capacity', 'turnover', 'open',
    
31.                                 'high', 'low', 'close', 'change', 'transaction'])
    
32. 
    
33. 
    
34. class BaseFetcher(object):
    
35.     def fetch(self, year, month, sid, retry):
    
36.         pass
    
37. 
    
38.     def _convert_date(self, date):
    
39.         """Convert '106/05/01' to '2017/05/01'"""
    
40.         return '/'.join([str(int(date.split('/')[0]) + 1911)] + date.split('/')[1:])
    
41. 
    
42.     def _make_datatuple(self, data):
    
43.         pass
    
44. 
    
45.     def purify(self, original_data):
    
46.         pass
    
47. 
    
48. class TWSEFetcher(BaseFetcher):
    
49.     REPORT_URL = urllib.parse.urljoin(
    
50.         TWSE_BASE_URL, 'exchangeReport/STOCK_DAY')
    
51. 
    
52.     def __init__(self):
    
53.         pass
    
54. 
    
55.     def fetch(self, year: int, month: int, sid: str, retry: int=5):
    
56.         params = {'date': '%d%02d01' % (year, month), 'stockNo': sid}
    
57.         for retry_i in range(retry):
    
58.             randNum = random.randrange(3,10)
    
59.             time.sleep(randNum)
    
60.             r = requests.get(self.REPORT_URL, params=params,
    
61.                              proxies=get_proxies())
    
62.             try:
    
63.                 data = r.json()
    
64.             except JSONDecodeError:
    
65.                 continue
    
66.             else:
    
67.                 break
    
68.         else:
    
69.             # Fail in all retries
    
70.             data = {'stat': '', 'data': []}
    
71. 
    
72.         if data['stat'] == 'OK':
    
73.             data['data'] = self.purify(data)
    
74.         else:
    
75.             data['data'] = []
    
76.         return data
    
77. 
    
78.     def _make_datatuple(self, data):
    
79.         data[0] = datetime.datetime.strptime(
    
80.             self._convert_date(data[0]), '%Y/%m/%d')
    
81.         data[1] = int(data[1].replace(',', ''))
    
82.         data[2] = int(data[2].replace(',', ''))
    
83.         data[3] = None if data[3] == '--' else float(data[3].replace(',', ''))
    
84.         data[4] = None if data[4] == '--' else float(data[4].replace(',', ''))
    
85.         data[5] = None if data[5] == '--' else float(data[5].replace(',', ''))
    
86.         data[6] = None if data[6] == '--' else float(data[6].replace(',', ''))
    
87.         # +/-/X表示漲/跌/不比價
    
88.         data[7] = float(0.0 if data[7].replace(',', '') ==
    
89.                         'X0.00' else data[7].replace(',', ''))
    
90.         data[8] = int(data[8].replace(',', ''))
    
91.         return DATATUPLE(*data)
    
92. 
    
93.     def purify(self, original_data):
    
94.         return [self._make_datatuple(d) for d in original_data['data']]
    
95. 
    
96. 
    
97. class TPEXFetcher(BaseFetcher):
    
98.     REPORT_URL = urllib.parse.urljoin(TPEX_BASE_URL,
    
99.                                       'web/stock/aftertrading/daily_trading_info/st43_result.php')
    
100. 
     
101.     def __init__(self):
     
102.         pass
     
103. 
     
104.     def fetch(self, year: int, month: int, sid: str, retry: int=5):
     
105.         params = {'d': '%d/%d' % (year - 1911, month), 'stkno': sid}
     
106.         for retry_i in range(retry):
     
107.             r = requests.get(self.REPORT_URL, params=params,
     
108.                              proxies=get_proxies())
     
109.             try:
     
110.                 data = r.json()
     
111.             except JSONDecodeError:
     
112.                 continue
     
113.             else:
     
114.                 break
     
115.         else:
     
116.             # Fail in all retries
     
117.             data = {'aaData': []}
     
118. 
     
119.         data['data'] = []
     
120.         if data['aaData']:
     
121.             data['data'] = self.purify(data)
     
122.         return data
     
123. 
     
124.     def _convert_date(self, date):
     
125.         """Convert '106/05/01' to '2017/05/01'"""
     
126.         return '/'.join([str(int(date.split('/')[0]) + 1911)] + date.split('/')[1:])
     
127. 
     
128.     def _make_datatuple(self, data):
     
129.         data[0] = datetime.datetime.strptime(self._convert_date(data[0].replace('＊', '')),
     
130.                                              '%Y/%m/%d')
     
131.         data[1] = int(data[1].replace(',', '')) * 1000
     
132.         data[2] = int(data[2].replace(',', '')) * 1000
     
133.         data[3] = None if data[3] == '--' else float(data[3].replace(',', ''))
     
134.         data[4] = None if data[4] == '--' else float(data[4].replace(',', ''))
     
135.         data[5] = None if data[5] == '--' else float(data[5].replace(',', ''))
     
136.         data[6] = None if data[6] == '--' else float(data[6].replace(',', ''))
     
137.         data[7] = float(data[7].replace(',', ''))
     
138.         data[8] = int(data[8].replace(',', ''))
     
139.         return DATATUPLE(*data)
     
140. 
     
141.     def purify(self, original_data):
     
142.         return [self._make_datatuple(d) for d in original_data['aaData']]
     
143. 
     
144. 
     
145. class Stock(analytics.Analytics):
     
146. 
     
147.     def __init__(self, sid: str, initial_fetch: bool=True):
     
148.         self.sid = sid
     
149.         self.fetcher = TWSEFetcher(
     
150.         ) if codes[sid].market == '上市' else TPEXFetcher()
     
151.         self.raw_data = []
     
152.         self.data = []
     
153. 
     
154.         # Init data
     
155.         if initial_fetch:
     
156.             self.fetch_31()
     
157. 
     
158.     def _month_year_iter(self, start_month, start_year, end_month, end_year):
     
159.         ym_start = 12 * start_year + start_month - 1
     
160.         ym_end = 12 * end_year + end_month
     
161.         for ym in range(ym_start, ym_end):
     
162.             y, m = divmod(ym, 12)
     
163.             yield y, m + 1
     
164. 
     
165.     def fetch(self, year: int, month: int):
     
166.         """Fetch year month data"""
     
167.         self.raw_data = [self.fetcher.fetch(year, month, self.sid)]
     
168.         self.data = self.raw_data[0]['data']
     
169.         return self.data
     
170. 
     
171.     def fetch_from(self, year: int, month: int):
     
172.         """Fetch data from year, month to current year month data"""
     
173.         self.raw_data = []
     
174.         self.data = []
     
175.         today = datetime.datetime.today()
     
176.         for year, month in self._month_year_iter(month, year, today.month, today.year):
     
177.             start = time.time()
     
178.             self.raw_data.append(self.fetcher.fetch(year, month, self.sid))
     
179.             self.data.extend(self.raw_data[-1]['data'])
     
180.             done = time.time()
     
181.             elapsed = int(done - start)
     
182.             print('fetch from {}/{}, time:{}'.format(year, month, elapsed), end=' ')
     
183.         return self.data
     
184. 
     
185.     def fetch_31(self):
     
186.         """Fetch 31 days data"""
     
187.         today = datetime.datetime.today()
     
188.         before = today - datetime.timedelta(days=60)
     
189.         self.fetch_from(before.year, before.month)
     
190.         self.data = self.data[-31:]
     
191.         return self.data
     
192. 
     
193.     @property
     
194.     def date(self):
     
195.         return [d.date for d in self.data]
     
196. 
     
197.     @property
     
198.     def capacity(self):
     
199.         return [d.capacity for d in self.data]
     
200. 
     
201.     @property
     
202.     def turnover(self):
     
203.         return [d.turnover for d in self.data]
     
204. 
     
205.     @property
     
206.     def price(self):
     
207.         return [d.close for d in self.data]
     
208. 
     
209.     @property
     
210.     def high(self):
     
211.         return [d.high for d in self.data]
     
212. 
     
213.     @property
     
214.     def low(self):
     
215.         return [d.low for d in self.data]
     
216. 
     
217.     @property
     
218.     def open(self):
     
219.         return [d.open for d in self.data]
     
220. 
     
221.     @property
     
222.     def close(self):
     
223.         return [d.close for d in self.data]
     
224. 
     
225.     @property
     
226.     def change(self):
     
227.         return [d.change for d in self.data]
     
228. 
     
229.     @property
     
230.     def transaction(self):
     
231.         return [d.transaction for d in self.data]

複製代碼

1. https://github.com/joytsay/twstock/blob/master/twstock/stock.py">twstock/stock.py at master · joytsay/twstock · GitHub

複製代碼