爬蟲進化 – 偽裝篇 fake_useragent 介紹

admin

介紹一個 Python 套件 fake_useragent，他可以讓我們將程式加上一個 User-Agent，假裝是一個瀏覽器在瀏覽該網站。

User-Agent

如果你按 F12 [開發者工具] → Network → 查看某一個資源的 Request Headers
就可以看到一個 User-Agent 的欄位，那個就是你的瀏覽器會發出去的一串文字，告訴對方你的瀏覽器是什麼、作業系統是什麼。

一般瀏覽器常見的 User-Agent 的格式是

User-Agent: Mozilla/5.0 (<system-information>) <platform> (<platform-details>) <extensions>

fake-useragent 套件

fake-useragent 套件可以幫助你隨機產生 User-Agent 字串，比起在程式裡寫死的一串文字，fake-useragent 有兩大優點特色：

• grabs up to date useragent from useragentstring.com
• randomize with real world statistic via w3schools.com
  

白話文翻譯翻譯：

• 自動從 useragentstring.com 抓最新的 user-agent 字串，瀏覽器會更新，User-agent字串當然也需要更新！
• 根據 w3schools.com 統計的瀏覽器使用頻率來產生 user-agent 字串，要偽裝就偽裝到底，瀏覽器出現的頻率也可以考慮進去！
  

用 pip 安裝

$ pip install fake_useragent

import 套件並產生一個 UserAgent

from fake_useragent import UserAgentua = UserAgent()

試試看產生不同瀏覽器的 User-Agent 字串

1. ua.ie

複製代碼

‘Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; chromeframe/12.0.742.112)’

1. ua.google

複製代碼

‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1664.3 Safari/537.36’

1. ua.firefox

複製代碼

‘Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:23.0) Gecko/20131011 Firefox/23.0’

1. ua.safari

複製代碼

‘Mozilla/5.0 (Windows; U; Windows NT 6.0; de-DE) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.3 Safari/533.19.4’

ua.random

最厲害、最實用、實做中最常用到的是 ua.random，根據真實世界的統計隨機產生一個 User-Agent 字串。

1. ua.random

複製代碼

用 requests 實戰股票爬蟲

聲明：本網站上的爬蟲教學為純粹技術分享，請不要進行大量、高頻的爬蟲做出不正當的行為，造成他人的困擾及損害他人的權利！

在 Python 股票分析教學 : 爬取台積電 (2330) 歷史股價中我們教大家如何從臺灣證券交易所 爬取台積電的股價及其他日成交資訊：

1. import requests
   
2. import pandas as pd
   
3. 
   
4. dates = [20200201, 20200101, 20191201]
   
5. stockNo = 2330
   
6. url_template = "https://www.twse.com.tw/exchangeReport/STOCK_DAY?response=html&date={}&stockNo={}"
   
7. 
   
8. for date in dates :
   
9.     url = url_template.format(date, stockNo)
   
10.     file_name = "{}_{}.csv".format(stockNo, date)
    
11.    
    
12.     data = pd.read_html(requests.get(url).text)[0]
    
13.     data.columns = data.columns.droplevel(0)
    
14.     data.to_csv(file_name, index=False)

複製代碼

現在我們可以加進 fake_useragent 強化我們的爬蟲：

1. user_agent = ua.random
   
2. headers = {'user-agent': user_agent}

複製代碼

並且在使用 requests 時把我們創造的 header 加進去

1. requests.get(url, headers=headers)

複製代碼

另外我們也可以在每爬完一個檔案後，讓爬蟲休息一下，因為如果短時間內大量爬取檔案，有很大的機率會被該網站擋下來、鎖 IP。

1. time.sleep(5)

複製代碼

完整程式碼

聲明：本網站上的爬蟲教學為純粹技術分享，請不要進行大量、高頻的爬蟲做出不正當的行為，造成他人的困擾及損害他人的權利！

1. import requests
   
2. import pandas as pd
   
3. import time
   
4. from fake_useragent import UserAgent
   
5. 
   
6. 
   
7. dates = [20200201, 20200101, 20191201]
   
8. stockNo = 2330
   
9. url_template = "https://www.twse.com.tw/exchangeReport/STOCK_DAY?response=html&date={}&stockNo={}"
   
10. ua = UserAgent()
    
11. user_agent = ua.random
    
12. 
    
13. for date in dates :
    
14.     # 產生 headers
    
15.     headers = {'user-agent': user_agent}
    
16.    
    
17.     # url
    
18.     url = url_template.format(date, stockNo)
    
19.    
    
20.     # output file name
    
21.     file_name = "{}_{}.csv".format(stockNo, date)
    
22.    
    
23.     # 開始爬取檔案
    
24.     data = pd.read_html(requests.get(url, headers=headers).text)[0]
    
25.     data.columns = data.columns.droplevel(0)
    
26.     data.to_csv(file_name, index=False)
    
27.     time.sleep(5)

複製代碼