Python requests 透過驗證代理發送請求逐步教學
由 ProxyV4 工程團隊撰寫 · Updated:
在 Python requests 中使用代理,只需傳入一個 proxies 字典,並將 'http' 與 'https' 的鍵值皆指向 http://user:pass@ip:port。將該字典套用至 requests.Session(),即可在每次呼叫時重複使用與代理伺服器的連線,這比每個請求都重新建立連線更快速。以下為您介紹字典配置、Session 用法、常見錯誤排查,以及一行代碼檢驗 ProxyV4 出口 IP 的方法。
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 個 IPUS$1.85
- 3+ 個 IPUS$1.70
- 10+ 個 IPUS$1.60
- 25+ 個 IPUS$1.50
- 50+ 個 IPUS$1.40
- 100+ 個 IPUS$1.30
- 200+ 個 IPUS$1.20
- 500+ 個 IPUS$1.10
- 1 個 IPUS$1.85
- 3+ 個 IPUS$1.70
- 10+ 個 IPUS$1.60
- 25+ 個 IPUS$1.50
- 50+ 個 IPUS$1.40
- 100+ 個 IPUS$1.30
- 200+ 個 IPUS$1.20
- 500+ 個 IPUS$1.10
深入解析 proxies 字典
| 設定 | 值 | 說明 |
|---|---|---|
'http' key | 'http://user:pass@ip:port' | 用於一般 http:// 網址 |
'https' key | 'http://user:pass@ip:port' | 依然使用 http:// 代理網址:urllib3 會向代理請求 CONNECT 通道,並在通道內執行 TLS 加密 |
timeout | timeout=(5, 15) | 連線逾時 5 秒、讀取逾時 15 秒,避免失效的目標伺服器卡死執行緒 |
| Rotation | itertools.cycle(proxy_list) | 依序輪流分配您的靜態 IP |
為什麼使用 Session 優於直接呼叫 requests.get()
每次直接呼叫頂層的 requests.get() 都會建立新的連線池,導致每次請求都必須重複進行與代理的 TCP 連線以及與目標網站的 TLS 信號交換。而 Session 可以在多次呼叫之間保持這些連線。對於透過單一 IP 抓取數百個頁面的腳本來說,這在整體執行時間上會有顯著差異。
只需設定一次 s.proxies.update(proxies),後續的所有 s.get() 與 s.post() 都會經由代理發送。需要注意的是:如果環境變數中設定了 HTTP_PROXY 或 HTTPS_PROXY,requests 可能會將其與 Session 的設定合併;若需確保使用的是特定代理,請直接在該次請求呼叫中傳入 proxies=。
常見錯誤與判讀方式
- 出現帶有
407 Proxy Authentication Required的ProxyError:表示代理伺服器可連線,但您網址中的登入資訊與訂單不符。請參閱 407 error page - 密碼若包含
@、:或/會破壞網址格式;請先使用urllib.parse.quote(password, safe='')進行編碼 - 將代理網址改為
https://通常會導致連線中斷;除非您的代理連接埠專門支援 TLS,否則兩個鍵都請保留http:// ConnectTimeout代表 IP 或連接埠有問題,而非憑證錯誤;請使用 port checker 測試連通性
在 httpx 與 aiohttp 中的相同模式
網址格式完全通用。在 httpx 中,建立 httpx.Client(proxy='http://user:pass@ip:port');在 aiohttp 中,將 proxy= 傳入 session.get(url, proxy=...)。若為需要排程與重試機制的大型爬蟲專案,通常使用 Scrapy 會更容易實現。
步驟說明
- 1
建立代理網址
將每行 ProxyV4 的
ip:port:user:pass改寫為http://user:pass@ip:port,或使用 proxy format converter 批次轉換整份清單。 - 2
建立字典
寫入
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}。 - 3
套用至 Session
建立
s = requests.Session()並呼叫s.proxies.update(proxies),以便在請求之間維持連線。 - 4
印出出口 IP
執行
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json());輸出中的 IP 應為代理伺服器的 IP。
常見問題
為什麼 'https' 項目是 http:// 網址?
通訊協定前綴描述的是 Python 與代理伺服器的通訊方式,而非與目標網站的通訊方式。urllib3 透過一般 HTTP 連線至代理伺服器,發送 CONNECT 請求,接著透過該通道與 https:// 網站進行 TLS 加密傳輸,因此網頁流量依然受到加密保護。
如何將請求分散到 25 個靜態代理?
將 25 個網址放入清單中,建立 pool = itertools.cycle(PROXIES),並在每次發送請求時取得 p = next(pool) 並傳入 proxies={'http': p, 'https': p}。請為每個 IP 設定適當的請求間隔延遲,避免對單一地址造成過大負荷。
Python 腳本產生的流量會被計量收費嗎?
不會。ProxyV4 專用 IPv4 與靜態 ISP 方案皆提供不限流量,因此長時間運行的腳本不會受到流量上限限制。
資料來源
專為 Python 腳本打造的靜態 IP 池
提供 7 個國家的專用 IPv4 以及美國與越南的靜態 ISP。支援單個或批次購買;購買數量越多,單個 IP 價格越優惠。
查看美國即時價格