ProxyV4

Scrapy 代理:meta['proxy']、中介軟體順序與 IP 輪換

· Updated:

在 Scrapy 中,代理是以個別請求為單位透過 request.meta['proxy'] = 'http://user:pass@ip:port' 來設定,內建的 HttpProxyMiddleware(順序 750)會將 user:pass 部分轉換為 Proxy-Authorization 標頭。只要加入一個在它之前(順序設為 740)執行的下載器中介軟體,Spider 發出的每個請求就能從您的 ProxyV4 IP 池中選取 IP。

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
獨享 IPv4(資料中心)
🇺🇸 美國
庫存充足
起
US$1.10 / IP / 月
數量級距折扣
  • 1 個 IPUS$1.85
  • 3+ 個 IPUS$1.70
  • 10+ 個 IPUS$1.60
  • 25+ 個 IPUS$1.50
  • 50+ 個 IPUS$1.40
  • 100+ 個 IPUS$1.30
  • 200+ 個 IPUS$1.20
  • 500+ 個 IPUS$1.10
購買 美國
獨享 IPv4(資料中心)
🇬🇧 英國
庫存充足
起
US$1.10 / IP / 月
數量級距折扣
  • 1 個 IPUS$1.85
  • 3+ 個 IPUS$1.70
  • 10+ 個 IPUS$1.60
  • 25+ 個 IPUS$1.50
  • 50+ 個 IPUS$1.40
  • 100+ 個 IPUS$1.30
  • 200+ 個 IPUS$1.20
  • 500+ 個 IPUS$1.10
購買 英國

為什麼中介軟體的順序數字很重要

下載器中介軟體在發出請求時會依數字由小到大依序執行。順序為 750 的 HttpProxyMiddleware 會讀取 meta['proxy'],將 URL 中的帳號密碼移除並寫入認證標頭。若您自訂的中介軟體在之後才設定代理(例如設為 800),內建中介軟體早已執行完畢,憑證便不會被轉換,代理就會回應 407 錯誤。將您的中介軟體註冊為 740 即可讓它優先執行。

設定項目建議數值效果
request.meta['proxy']'http://user:pass@ip:port'透過指定的 ProxyV4 代理發送該請求
您的中介軟體順序740在 HttpProxyMiddleware (750) 之前執行,確保登入資訊正確編碼
CONCURRENT_REQUESTS_PER_IP2 到 4限制單一目標 IP 的並行請求數,禮貌性地控制對目標伺服器的負載
AUTOTHROTTLE_ENABLEDTrue讓 Scrapy 根據目標伺服器的回應速度動態拉長或縮短延遲時間

輪換中介軟體架構重點

  • 在 from_crawler() 中從設定讀取代理清單,並保存在中介軟體實例上
  • 在 process_request() 中,除非請求本身已帶有代理,否則指派 request.meta['proxy'] = random.choice(self.proxies)
  • 當回應狀態碼為 429 或 503 時,改用 IP 池中的另一個代理重試,而非剛剛被拒絕的那組代理
  • 將 DOWNLOAD_DELAY = 1.0 與 RANDOMIZE_DOWNLOAD_DELAY = True 搭配使用,讓請求間隔有所變化,避免像節拍器一樣規律

規劃 IP 池規模

Scrapy 爬蟲每分鐘可送出大量請求,因此 IP 數量決定了每個 IP 的使用頻率是否溫和。使用 ProxyV4 無最低起訂量限制,且單價隨購買數量增加而遞減;獨享 IPv4 流量不計費,大規模爬取的頻寬成本與小規模完全相同。每個 IP 僅供單一客戶使用,信譽評分完全取決於您自身的爬取行為,不受他人干擾。有關爬取量與禮貌爬蟲的規劃,請參閱 網路爬蟲指南。

步驟說明

  1. 1

    準備代理 URL

    使用 代理格式轉換工具 將您的 ProxyV4 ip:port:user:pass 格式轉換為 http://user:pass@ip:port,並存入設定檔或檔案中。

  2. 2

    撰寫 ProxyPoolMiddleware

    在 middlewares.py 中實作 process_request(self, request, spider),設定 request.meta['proxy'] = random.choice(self.proxies)。

  3. 3

    在內建中介軟體之前完成註冊

    在 settings.py 中,將 'myproject.middlewares.ProxyPoolMiddleware': 740 加入 DOWNLOADER_MIDDLEWARES,並設定 CONCURRENT_REQUESTS_PER_IP = 2。

  4. 4

    驗證 IP 輪換

    使用 scrapy shell 或簡易測試 Spider 抓取 https://proxyv4.com/api/my-ip 數次,確認回傳的 IP 是否確實在您的 IP 池中切換輪換。

常見問題

我的代理中介軟體優先順序設為 800 時會出現 407 錯誤,為什麼?

因為設為 800 會在 HttpProxyMiddleware (750) 之後才執行,導致代理 URL 中的 user:pass 無法被轉換為 Proxy-Authorization 標頭。請將中介軟體順序移至 750 之前,例如設為 740。

我可以只為單一請求設定代理嗎?

可以。建立 Request 時傳入 meta={'proxy': 'http://user:pass@ip:port'} 即可,內建中介軟體會單獨處理該請求的登入認證。

爬取數百萬個網頁會達到頻寬上限嗎?

使用 ProxyV4 獨享 IPv4 或靜態 ISP 代理不會有這個問題,兩者均提供無限流量。實際上的上限僅取決於目標網站允許您爬取的速度。

資料來源

為 Scrapy 爬蟲打造的不計流量靜態 IP

涵蓋 7 國獨享 IPv4 與美越靜態 ISP 代理,從單組 IP 到大型 IP 池皆可即時取得大量優惠價。

查看美國即時價格

Related articles

各平台代理 IP
網路爬蟲專用代理:固定 IP 池搭配無限流量
適用於 Python、Scrapy、Playwright 與 Selenium 的網路爬蟲代理:獨享 IPv4 與靜態 ISP 資源池,不限流量,採單一 IP 定額計費。
代理設定
Python requests 透過驗證代理發送請求逐步教學
透過需要驗證的 HTTP(S) 代理發送 Python 請求:建立 proxies 字典、綁定 Session、編碼特殊密碼、輪替 IP 清單並驗證出口 IP。
代理設定
Playwright 代理驗證:每個 Context 配置獨立靜態 IP
在 Node.js 或 Python 中為每個 Playwright 瀏覽器 Context 指派專屬驗證 HTTP(S) 代理,讓時區與語言環境符合 IP,並確認出口位址。
免費工具
將 Proxy 清單重寫為工具所需的格式
在瀏覽器批次轉換代理清單:支援 ip:port:user:pass、user:pass@ip:port、http:// URL、SOCKS5 URI、JSON 與 FoxyProxy 匯入檔。
各平台代理 IP
SEO 排名追蹤專用 Proxy:看見在地搜尋者眼中的真實搜尋結果頁
提供美國、英國、越南、日本及其他 4 個市場的專屬 IPv4 SEO 排名追蹤 Proxy,讓關鍵字排名、在地商家資訊與廣告內容,完全符合當地用戶所見的真實搜尋結果。
各平台代理 IP
為每個帳號提供固定專屬位址的 Amazon 賣家代理
專為 Seller Central、KDP 與 Merch 打造的 Amazon 賣家代理:每帳號獨享美國靜態 ISP 或英國/日本專用 IPv4,續約持續保留同一 IP。
IPV4 · united states
美國獨享 IPv4 代理池:適用於資料抓取、排名追蹤與廣告驗證
購買美國獨享 IPv4 代理:靜態美國資料中心 IP,單一用戶專屬無共享,享不限流量頻寬。專為網路爬蟲、SERP 排名追蹤與美國廣告驗證所打造。
IPV4 · united kingdom
英國獨享 IPv4 代理:適用於電商平台、搜尋與行銷活動
英國獨享專屬 IPv4 代理,提供單一客戶專屬的靜態英國資料中心 IP,適用於 eBay UK 與 Amazon.co.uk 市場調研、google.co.uk 排名追蹤及英國廣告驗證。