Scrapy 代理:meta['proxy']、中介軟體順序與 IP 輪換
由 ProxyV4 工程團隊撰寫 · Updated:
在 Scrapy 中,代理是以個別請求為單位透過 request.meta['proxy'] = 'http://user:pass@ip:port' 來設定,內建的 HttpProxyMiddleware(順序 750)會將 user:pass 部分轉換為 Proxy-Authorization 標頭。只要加入一個在它之前(順序設為 740)執行的下載器中介軟體,Spider 發出的每個請求就能從您的 ProxyV4 IP 池中選取 IP。
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 個 IPUS$1.85
- 3+ 個 IPUS$1.70
- 10+ 個 IPUS$1.60
- 25+ 個 IPUS$1.50
- 50+ 個 IPUS$1.40
- 100+ 個 IPUS$1.30
- 200+ 個 IPUS$1.20
- 500+ 個 IPUS$1.10
- 1 個 IPUS$1.85
- 3+ 個 IPUS$1.70
- 10+ 個 IPUS$1.60
- 25+ 個 IPUS$1.50
- 50+ 個 IPUS$1.40
- 100+ 個 IPUS$1.30
- 200+ 個 IPUS$1.20
- 500+ 個 IPUS$1.10
為什麼中介軟體的順序數字很重要
下載器中介軟體在發出請求時會依數字由小到大依序執行。順序為 750 的 HttpProxyMiddleware 會讀取 meta['proxy'],將 URL 中的帳號密碼移除並寫入認證標頭。若您自訂的中介軟體在之後才設定代理(例如設為 800),內建中介軟體早已執行完畢,憑證便不會被轉換,代理就會回應 407 錯誤。將您的中介軟體註冊為 740 即可讓它優先執行。
| 設定項目 | 建議數值 | 效果 |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | 透過指定的 ProxyV4 代理發送該請求 |
| 您的中介軟體順序 | 740 | 在 HttpProxyMiddleware (750) 之前執行,確保登入資訊正確編碼 |
CONCURRENT_REQUESTS_PER_IP | 2 到 4 | 限制單一目標 IP 的並行請求數,禮貌性地控制對目標伺服器的負載 |
AUTOTHROTTLE_ENABLED | True | 讓 Scrapy 根據目標伺服器的回應速度動態拉長或縮短延遲時間 |
輪換中介軟體架構重點
- 在
from_crawler()中從設定讀取代理清單,並保存在中介軟體實例上 - 在
process_request()中,除非請求本身已帶有代理,否則指派request.meta['proxy'] = random.choice(self.proxies) - 當回應狀態碼為
429或503時,改用 IP 池中的另一個代理重試,而非剛剛被拒絕的那組代理 - 將
DOWNLOAD_DELAY = 1.0與RANDOMIZE_DOWNLOAD_DELAY = True搭配使用,讓請求間隔有所變化,避免像節拍器一樣規律
規劃 IP 池規模
Scrapy 爬蟲每分鐘可送出大量請求,因此 IP 數量決定了每個 IP 的使用頻率是否溫和。使用 ProxyV4 無最低起訂量限制,且單價隨購買數量增加而遞減;獨享 IPv4 流量不計費,大規模爬取的頻寬成本與小規模完全相同。每個 IP 僅供單一客戶使用,信譽評分完全取決於您自身的爬取行為,不受他人干擾。有關爬取量與禮貌爬蟲的規劃,請參閱 網路爬蟲指南。
步驟說明
- 1
準備代理 URL
使用 代理格式轉換工具 將您的 ProxyV4
ip:port:user:pass格式轉換為http://user:pass@ip:port,並存入設定檔或檔案中。 - 2
撰寫 ProxyPoolMiddleware
在
middlewares.py中實作process_request(self, request, spider),設定request.meta['proxy'] = random.choice(self.proxies)。 - 3
在內建中介軟體之前完成註冊
在
settings.py中,將'myproject.middlewares.ProxyPoolMiddleware': 740加入DOWNLOADER_MIDDLEWARES,並設定CONCURRENT_REQUESTS_PER_IP = 2。 - 4
驗證 IP 輪換
使用
scrapy shell或簡易測試 Spider 抓取https://proxyv4.com/api/my-ip數次,確認回傳的 IP 是否確實在您的 IP 池中切換輪換。
常見問題
我的代理中介軟體優先順序設為 800 時會出現 407 錯誤,為什麼?
因為設為 800 會在 HttpProxyMiddleware (750) 之後才執行,導致代理 URL 中的 user:pass 無法被轉換為 Proxy-Authorization 標頭。請將中介軟體順序移至 750 之前,例如設為 740。
我可以只為單一請求設定代理嗎?
可以。建立 Request 時傳入 meta={'proxy': 'http://user:pass@ip:port'} 即可,內建中介軟體會單獨處理該請求的登入認證。
爬取數百萬個網頁會達到頻寬上限嗎?
使用 ProxyV4 獨享 IPv4 或靜態 ISP 代理不會有這個問題,兩者均提供無限流量。實際上的上限僅取決於目標網站允許您爬取的速度。
資料來源
為 Scrapy 爬蟲打造的不計流量靜態 IP
涵蓋 7 國獨享 IPv4 與美越靜態 ISP 代理,從單組 IP 到大型 IP 池皆可即時取得大量優惠價。
查看美國即時價格