Python requests sa authenticated na proxy, bawat hakbang
Mula sa ProxyV4 Engineering Team · Updated:
Para gumamit ng proxy sa Python requests, magpasa ng proxies dict kung saan ang mga key na 'http' at 'https' ay parehong nakaturo sa http://user:pass@ip:port. Ilagay ang dict na iyon sa isang requests.Session() at ang parehong koneksyon sa proxy ay muling gagamitin para sa bawat tawag, na mas mabilis kaysa sa pagbubukas ng bago sa bawat request. Sa ibaba: ang dict, ang session, ang mga error na malamang mong maranasan, at isang linyang pagsusuri ng exit IP ng ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP$1.85
- 3+ na IP$1.70
- 10+ na IP$1.60
- 25+ na IP$1.50
- 50+ na IP$1.40
- 100+ na IP$1.30
- 200+ na IP$1.20
- 500+ na IP$1.10
- 1 IP$1.85
- 3+ na IP$1.70
- 10+ na IP$1.60
- 25+ na IP$1.50
- 50+ na IP$1.40
- 100+ na IP$1.30
- 200+ na IP$1.20
- 500+ na IP$1.10
Paliwanag sa proxies dict
| Setting | Value | Dahilan |
|---|---|---|
Key na 'http' | 'http://user:pass@ip:port' | Ginagamit para sa mga plain na http:// URL |
Key na 'https' | 'http://user:pass@ip:port' | http:// proxy URL pa rin: humihingi ang urllib3 sa proxy ng CONNECT tunnel at nagpapatakbo ng TLS sa loob nito |
timeout | timeout=(5, 15) | 5 s para kumonekta, 15 s para magbasa, upang hindi ma-freeze ng patay na target ang thread |
| Pag-ikot | itertools.cycle(proxy_list) | Ipinapamahagi ang iyong mga static IP nang sunod-sunod |
Bakit mas maganda ang Session kaysa sa payak na requests.get()
Bawat top-level na tawag sa requests.get() ay bumubuo ng bagong connection pool, kaya paulit-ulit ang koneksyon ng TCP sa proxy at ang TLS handshake sa site sa bawat pagkakataon. Pinapanatili ng Session na aktibo ang mga koneksyong iyon sa pagitan ng mga tawag. Para sa isang script na kumukuha ng daan-daang pahina sa iisang IP, malinaw na makikita ang pagkakaibang iyon sa kabuuang oras ng pagpapatakbo.
Itakda ang s.proxies.update(proxies) nang isang beses at bawat s.get() at s.post() ay dadaan sa proxy. Isang bagay na dapat malaman: kung nakatakda ang HTTP_PROXY o HTTPS_PROXY sa environment, maaaring pagsamahin ng requests ang mga ito sa mga setting ng session; ipasa ang proxies= sa mismong tawag kung kailangan mong makasiguro kung alin ang ginagamit.
Mga error at kung paano unawain ang mga ito
ProxyErrorna may407 Proxy Authentication Required: naaabot ang proxy ngunit hindi tumutugma sa order ang login sa iyong URL. Tingnan ang 407 error page- Ang mga password na naglalaman ng
@,:, o/ay sumisira sa URL; i-encode muna ang mga ito gamit angurllib.parse.quote(password, safe='') - Karaniwang sumisira sa koneksyon ang paglipat ng proxy URL sa
https://; panatilihin anghttp://para sa parehong key maliban kung partikular na TLS port ang iyong proxy port - Tumutukoy ang
ConnectTimeoutsa IP o port, hindi sa mga kredensyal; subukan kung naaabot gamit ang port checker
Ganoon ding pattern sa httpx at aiohttp
Nalalapat din ang format ng URL. Sa httpx, gumawa ng httpx.Client(proxy='http://user:pass@ip:port'); sa aiohttp, ipasa ang proxy= sa session.get(url, proxy=...). Ang mas malalaking crawl na may scheduling at mga retry ay karaniwang mas madali sa Scrapy.
Hakbang-hakbang
- 1
Buuin ang proxy URL
Isulat muli ang bawat linyang
ip:port:user:passng ProxyV4 bilanghttp://user:pass@ip:port, o i-convert ang buong listahan gamit ang proxy format converter. - 2
Gawin ang dict
Isulat ang
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Ikabit ito sa isang Session
Gumawa ng
s = requests.Session()at tawagin angs.proxies.update(proxies)upang manatiling aktibo ang mga koneksyon sa pagitan ng mga request. - 4
I-print ang exit IP
Patakbuhin ang
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); ang IP sa output ay dapat sa proxy.
Mga madalas itanong
Bakit isang http:// URL ang 'https' entry?
Inilalarawan ng scheme kung paano nakikipag-usap ang Python sa proxy, hindi sa website. Kumokonekta ang urllib3 sa proxy sa pamamagitan ng plain HTTP, nagpapadala ng CONNECT, at pagkatapos ay nagsasagawa ng TLS sa https:// site sa pamamagitan ng tunnel na iyon, kaya naka-encrypt pa rin ang trapiko ng pahina.
Paano ko ipapamahagi ang mga request sa 25 static proxy?
Ilagay ang 25 URL sa isang listahan, gumawa ng pool = itertools.cycle(PROXIES), at para sa bawat request kumuha ng p = next(pool) at ipasa ang proxies={'http': p, 'https': p}. Magpanatili ng makatwirang pagkaantala bawat IP upang walang iisang address ang mabigatan nang husto.
Sinusukat ba ang trapiko mula sa mga Python script?
Hindi. Ang mga private IPv4 at static ISP plan ng ProxyV4 ay may kasamang walang limitasyong bandwidth, kaya ang mga script na matagal tumakbo ay hindi aabot sa data cap.
Mga Sanggunian
Isang static IP pool para sa mga Python script
Private IPv4 sa 7 bansa kasama ang static ISP sa US at Vietnam. Bumili ng iisang IP o maramihan; bumababa ang presyo bawat IP kapag mas marami ang dami.
Tingnan ang live na presyo sa US