Python requests per autentifikuotą proxy žingsnis po žingsnio
Parengė ProxyV4 inžinierių komanda · Updated:
Norėdami naudoti proxy Python requests bibliotekoje, perduokite proxies žodyną, kurio raktai 'http' ir 'https' abu nukreipia į http://user:pass@ip:port. Priskirkite šį žodyną requests.Session() ir tas pats ryšys su proxy bus naudojamas pakartotinai kiekvienai užklausai – tai daug greičiau nei atidaryti naują kaskart. Žemiau: žodynas, sesija, dažniausiai pasitaikančios klaidos ir vienos eilutės ProxyV4 išorinio IP patikra.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
proxies žodyno paaiškinimas
| Nustatymas | Reikšmė | Paskirtis |
|---|---|---|
'http' key | 'http://user:pass@ip:port' | Naudojamas paprastiems http:// URL |
'https' key | 'http://user:pass@ip:port' | Vis tiek http:// proxy URL: urllib3 paprašo proxy CONNECT tunelio ir vykdo TLS jo viduje |
timeout | timeout=(5, 15) | 5 s prisijungimui, 15 s nuskaitymui, kad neatsakantis taikinys neužšaldytų gijos |
| Rotation | itertools.cycle(proxy_list) | Paeiliui paskirsto jūsų statinius IP adresus |
Kodėl Session yra pranašesnė už paprastą requests.get()
Kiekvienas tiesioginis requests.get() iškvietimas sukuria naują ryšių telkinį, todėl TCP ryšys su proxy ir TLS pasisveikinimas su svetaine kartojami kaskart. Session išlaiko šiuos ryšius aktyvius tarp iškvietimų. Skriptui, kuris siunčia šimtus puslapių per vieną IP, šis skirtumas akivaizdžiai matomas bendrame vykdymo laike.
Nustatykite s.proxies.update(proxies) vieną kartą, ir kiekvienas s.get() bei s.post() keliaus per proxy. Svarbu žinoti: jei aplinkoje nustatyti HTTP_PROXY arba HTTPS_PROXY, requests gali juos sujungti su sesijos nustatymais; perduokite proxies= pačiame iškvetime, kai reikia būti tikriems, kas naudojama.
Klaidos ir kaip jas suprasti
ProxyErrorwith407 Proxy Authentication Required: proxy yra pasiekiamas, tačiau prisijungimo duomenys URL nesutampa su užsakymu. Žr. 407 error page- Slaptažodžiai su
@,:arba/sugadina URL; pirmiausia užkoduokite juos suurllib.parse.quote(password, safe='') - Pakeitus proxy URL į
https://, ryšys paprastai nutrūksta; palikitehttp://abiem raktams, nebent jūsų proxy prievadas yra specialiai TLS prievadas ConnectTimeoutrodo į IP arba prievado problemą, o ne kredencialus; pasiekiamumą patikrinkite naudodami port checker
Tas pats šablonas httpx ir aiohttp
URL formatas išlieka toks pat. httpx atveju sukurkite httpx.Client(proxy='http://user:pass@ip:port'); aiohttp atveju perduokite proxy= į session.get(url, proxy=...). Didesnius duomenų rinkimus su planavimu ir pakartotiniais bandymais paprastai lengviau atlikti naudojant Scrapy.
Žingsnis po žingsnio
- 1
Sukonstruokite proxy URL
Perrašykite kiekvieną ProxyV4
ip:port:user:passeilutę kaiphttp://user:pass@ip:portarba konvertuokite visą sąrašą naudodami proxy format converter. - 2
Sukurkite žodyną
Parašykite
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Prijunkite prie Session
Sukurkite
s = requests.Session()ir iškvieskites.proxies.update(proxies), kad ryšiai išliktų aktyvūs tarp užklausų. - 4
Išveskite išorinį IP
Paleiskite
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); išvestyje rodomas IP turi būti proxy adresas.
Dažnai užduodami klausimai
Kodėl „https“ įrašas yra http:// URL?
Protokolo schema nurodo, kaip Python bendrauja su proxy, o ne su svetaine. urllib3 jungiasi prie proxy per paprastą HTTP, siunčia CONNECT ir per šį tunelį atlieka TLS su https:// svetaine, todėl puslapio srautas vis tiek lieka užšifruotas.
Kaip paskirstyti užklausas per 25 statinius proxy?
Sudėkite 25 URL į sąrašą, sukurkite pool = itertools.cycle(PROXIES) ir kiekvienai užklausai paimkite p = next(pool) bei perduokite proxies={'http': p, 'https': p}. Nustatykite protingą delsą vienam IP, kad nė vienas adresas nebūtų perkrautas.
Ar srautas iš Python skriptų yra ribojamas?
Ne. ProxyV4 privatūs IPv4 ir statiniai ISP planai suteikia neribotą duomenų srautą, todėl ilgai veikiantys skriptai neatsitrenks į duomenų limitą.
Šaltiniai
Statinių IP telkinys Python skriptams
Privatūs IPv4 7 šalyse ir statiniai ISP JAV bei Vietname. Pirkite vieną IP arba jų paketą; kaina už vieną IP mažėja didėjant kiekiui.
Tikrinti JAV kainas realiuoju laiku