Python-requests deur 'n geoutentiseerde proxy, stap vir stap
Deur die ProxyV4-ingenieurspan · Updated:
Om 'n proxy in Python requests te gebruik, gee 'n proxies-dict deur waarvan beide die 'http'- en 'https'-sleutels na http://user:pass@ip:port verwys. Plaas daardie dict op 'n requests.Session() en dieselfde verbinding na die proxy word vir elke oproep hergebruik, wat vinniger is as om 'n nuwe een per versoek oop te maak. Hieronder: die dict, die sessie, die foute wat jy waarskynlik sal teëkom, en 'n eenreël-toets van die ProxyV4-uittree-IP.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IPUSD 1,85
- 3+ IP'sUSD 1,70
- 10+ IP'sUSD 1,60
- 25+ IP'sUSD 1,50
- 50+ IP'sUSD 1,40
- 100+ IP'sUSD 1,30
- 200+ IP'sUSD 1,20
- 500+ IP'sUSD 1,10
- 1 IPUSD 1,85
- 3+ IP'sUSD 1,70
- 10+ IP'sUSD 1,60
- 25+ IP'sUSD 1,50
- 50+ IP'sUSD 1,40
- 100+ IP'sUSD 1,30
- 200+ IP'sUSD 1,20
- 500+ IP'sUSD 1,10
Die proxies-dict verduidelik
| Instelling | Waarde | Rede |
|---|---|---|
'http'-sleutel | 'http://user:pass@ip:port' | Word gebruik vir gewone http://-URL'e |
'https'-sleutel | 'http://user:pass@ip:port' | Steeds 'n http://-proxy-URL: urllib3 vra die proxy vir 'n CONNECT-tonnel en loop TLS daarin |
timeout | timeout=(5, 15) | 5 s om te koppel, 15 s om te lees, sodat 'n onreaktiewe teiken nie 'n draad kan laat vries nie |
| Rotasie | itertools.cycle(proxy_list) | Deel jou statiese IP's om die beurt uit |
Waarom 'n Session gewone requests.get() klop
Elke topvlak requests.get()-oproep bou 'n nuwe verbindingspoel, so die TCP-verbinding na die proxy en die TLS-handdruk met die werf word elke keer herhaal. 'n Session hou daardie verbindings aktief tussen oproepe. Vir 'n skrip wat honderde bladsye deur een IP ophaal, is daardie verskil duidelik sigbaar in die totale looptyd.
Stel s.proxies.update(proxies) een keer in en elke s.get() en s.post() gaan deur die proxy. Een ding om te weet: as HTTP_PROXY of HTTPS_PROXY in die omgewing ingestel is, kan requests hulle met die sessie se instellings kombineer; gee proxies= op die oproep self deur wanneer jy seker wil wees watter een gebruik word.
Foute en hoe om hulle te lees
ProxyErrormet407 Proxy Authentication Required: die proxy is bereikbaar, maar die aanmelding in jou URL stem nie ooreen met die bestelling nie. Sien die 407-foutbladsy- Wagwoorde wat
@,:of/bevat, breek die URL; enkodeer hulle eers meturllib.parse.quote(password, safe='') - Om die proxy-URL na
https://te verander breek gewoonlik die verbinding; behouhttp://vir albei sleutels tensy jou proxy-poort spesifiek 'n TLS-poort is ConnectTimeoutdui op die IP of poort, nie die aanmeldbesonderhede nie; toets bereikbaarheid met die poorttoetser
Dieselfde patroon in httpx en aiohttp
Die URL-formaat bly dieselfde. In httpx, skep httpx.Client(proxy='http://user:pass@ip:port'); in aiohttp, gee proxy= deur aan session.get(url, proxy=...). Groter deurkruipings met skedulering en herproberings is gewoonlik makliker in Scrapy.
Stap vir stap
- 1
Bou die proxy-URL
Herskryf elke ProxyV4
ip:port:user:pass-reël ashttp://user:pass@ip:port, of skakel die hele lys om met die proxy-formaatomskakelaar. - 2
Skep die dict
Skryf
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Koppel dit aan 'n Session
Skep
s = requests.Session()en roeps.proxies.update(proxies)op sodat verbindings aktief gehou word tussen versoeke. - 4
Druk die uittree-IP
Voer
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())uit; die IP in die afvoer behoort dié van die proxy te wees.
Gereelde vrae
Waarom is die 'https'-inskrywing 'n http://-URL?
Die skema beskryf hoe Python met die proxy kommunikeer, nie met die webwerf nie. urllib3 koppel aan die proxy oor gewone HTTP, stuur CONNECT, en voer dan TLS met die https://-werf deur daardie tonnel uit, sodat die bladsyverkeer steeds geënkripteer is.
Hoe versprei ek versoeke oor 25 statiese proxies?
Plaas die 25 URL'e in 'n lys, skep pool = itertools.cycle(PROXIES), en neem vir elke versoek p = next(pool) en gee proxies={'http': p, 'https': p} deur. Handhaaf 'n redelike vertraging per IP sodat geen enkele adres oorlaai word nie.
Word verkeer vanaf Python-skrifte gemeet?
Nee. ProxyV4 se privaat IPv4- en statiese ISP-planne kom met onbeperkte bandwydte, so langlopende skrifte loop nie teen 'n datalimiet vas nie.
Bronne
'n Statiese IP-poel vir Python-skrifte
Privaat IPv4 in 7 lande plus statiese ISP in die VSA en Viëtnam. Koop 'n enkele IP of 'n bondel; die prys per IP daal met groter hoeveelhede.
Kyk regstreekse VSA-pryse