Python requests kroz autentifikovani proxy, korak po korak
Napisao ProxyV4 inženjerski tim · Updated:
Da biste koristili proxy u Python requests biblioteci, proslijedite proxies rječnik čiji ključevi 'http' i 'https' pokazuju na http://user:pass@ip:port. Dodajte taj rječnik u requests.Session() i ista konekcija prema proxyju će se ponovo koristiti za svaki poziv, što je brže od otvaranja nove konekcije po zahtjevu. U nastavku: rječnik, sesija, greške na koje možete naići i provjera ProxyV4 izlaznog IP-a u jednoj liniji koda.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 USD
- 3+ IP-jeva1,70 USD
- 10+ IP-jeva1,60 USD
- 25+ IP-jeva1,50 USD
- 50+ IP-jeva1,40 USD
- 100+ IP-jeva1,30 USD
- 200+ IP-jeva1,20 USD
- 500+ IP-jeva1,10 USD
- 1 IP1,85 USD
- 3+ IP-jeva1,70 USD
- 10+ IP-jeva1,60 USD
- 25+ IP-jeva1,50 USD
- 50+ IP-jeva1,40 USD
- 100+ IP-jeva1,30 USD
- 200+ IP-jeva1,20 USD
- 500+ IP-jeva1,10 USD
Objašnjenje proxies rječnika
| Postavka | Vrijednost | Razlog |
|---|---|---|
Ključ 'http' | 'http://user:pass@ip:port' | Koristi se za obične http:// URL-ove |
Ključ 'https' | 'http://user:pass@ip:port' | I dalje http:// proxy URL: urllib3 traži od proxyja CONNECT tunel i unutar njega pokreće TLS |
timeout | timeout=(5, 15) | 5 s za povezivanje, 15 s za čitanje, kako nedostupna meta ne bi blokirala nit |
| Rotacija | itertools.cycle(proxy_list) | Dodjeljuje vaše statičke IP adrese redom |
Zašto je Session bolji od običnog requests.get()
Svaki pojedinačni requests.get() poziv na najvišem nivou kreira novi pool konekcija, pa se TCP veza sa proxyjem i TLS rukovanje sa sajtom ponavljaju svaki put. Session održava te konekcije aktivnim između poziva. Za skriptu koja preuzima stotine stranica preko jedne IP adrese, ta razlika je primjetna u ukupnom vremenu izvršavanja.
Postavite s.proxies.update(proxies) jednom i svaki s.get() i s.post() će ići kroz proxy. Važno je znati: ako su HTTP_PROXY ili HTTPS_PROXY postavljeni u sistemskom okruženju, requests ih može kombinovati sa postavkama sesije; proslijedite proxies= u samom pozivu kada želite biti sigurni koji se koristi.
Greške i kako ih tumačiti
ProxyErrorsa407 Proxy Authentication Required: proxy je dostupan, ali podaci za prijavu u vašem URL-u ne odgovaraju narudžbi. Pogledajte stranicu o grešci 407- Lozinke koje sadrže
@,:ili/kvare strukturu URL-a; prvo ih enkodirajte pomoćuurllib.parse.quote(password, safe='') - Promjena proxy URL-a na
https://obično prekida vezu; zadržitehttp://za oba ključa osim ako vaš proxy port nije izričito TLS port ConnectTimeoutukazuje na problem sa IP adresom ili portom, a ne na pristupne podatke; testirajte dostupnost uz provjeru porta
Isti šablon u bibliotekama httpx i aiohttp
Format URL-a ostaje isti. U httpx, kreirajte httpx.Client(proxy='http://user:pass@ip:port'); u aiohttp, proslijedite proxy= u session.get(url, proxy=...). Veća prikupljanja podataka sa raspoređivanjem i ponovnim pokušajima obično su jednostavnija u Scrapy.
Korak po korak
- 1
Kreirajte proxy URL
Prepišite svaki ProxyV4
ip:port:user:passred kaohttp://user:pass@ip:port, ili konvertujte čitavu listu pomoću konvertera proxy formata. - 2
Kreirajte rječnik
Napišite
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Dodajte ga u Session
Kreirajte
s = requests.Session()i pozovites.proxies.update(proxies)kako bi konekcije ostale aktivne između zahtjeva. - 4
Ispišite izlazni IP
Pokrenite
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP adresa u ispisu treba biti adresa proxyja.
Često postavljana pitanja
Zašto je 'https' unos http:// URL?
Šema opisuje kako Python komunicira sa proxyjem, a ne sa web stranicom. urllib3 se povezuje sa proxyjem preko običnog HTTP-a, šalje CONNECT i zatim uspostavlja TLS sa https:// sajtom kroz taj tunel, tako da je saobraćaj prema stranici i dalje šifrovan.
Kako da rasporedim zahtjeve na 25 statičkih proxyja?
Stavite 25 URL-ova u listu, kreirajte pool = itertools.cycle(PROXIES), a za svaki zahtjev uzmite p = next(pool) i proslijedite proxies={'http': p, 'https': p}. Održavajte razuman vremenski razmak po IP adresi kako nijedna ne bi bila preopterećena.
Da li se saobraćaj iz Python skripti mjeri?
Ne. ProxyV4 privatni IPv4 i statički ISP paketi dolaze sa neograničenim protokom, tako da dugotrajne skripte ne nailaze na limit potrošnje podataka.
Izvori
Bazen statičkih IP adresa za Python skripte
Privatni IPv4 u 7 zemalja plus statički ISP u SAD-u i Vijetnamu. Kupite jednu IP adresu ili paket; cijena po IP adresi opada sa količinom.
Pogledajte trenutne cijene za SAD