Python requests kroz autentificirani proxy, korak po korak
Napisao inženjerski tim ProxyV4 · Updated:
Za korištenje proxyja u Python requests biblioteci, proslijedite proxies rječnik čiji ključevi 'http' i 'https' pokazuju na http://user:pass@ip:port. Postavite taj rječnik na requests.Session() i ista veza s proxyjem ponovno se koristi za svaki poziv, što je brže od otvaranja nove veze po zahtjevu. U nastavku: rječnik, sesija, pogreške na koje možete naići i provjera izlaznog ProxyV4 IP-a u jednom retku.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 USD
- 3+ IP-ova1,70 USD
- 10+ IP-ova1,60 USD
- 25+ IP-ova1,50 USD
- 50+ IP-ova1,40 USD
- 100+ IP-ova1,30 USD
- 200+ IP-ova1,20 USD
- 500+ IP-ova1,10 USD
- 1 IP1,85 USD
- 3+ IP-ova1,70 USD
- 10+ IP-ova1,60 USD
- 25+ IP-ova1,50 USD
- 50+ IP-ova1,40 USD
- 100+ IP-ova1,30 USD
- 200+ IP-ova1,20 USD
- 500+ IP-ova1,10 USD
Objašnjenje rječnika proxies
| Postavka | Vrijednost | Razlog |
|---|---|---|
Ključ 'http' | 'http://user:pass@ip:port' | Koristi se za obične http:// URL-ove |
Ključ 'https' | 'http://user:pass@ip:port' | I dalje http:// proxy URL: urllib3 traži CONNECT tunel od proxyja i unutar njega pokreće TLS |
timeout | timeout=(5, 15) | 5 s za povezivanje, 15 s za čitanje, kako nedostupno odredište ne bi blokiralo dretvu |
| Rotacija | itertools.cycle(proxy_list) | Isporučuje vaše statičke IP adrese redom |
Zašto je Session bolji od običnog requests.get()
Svaki poziv najviše razine requests.get() stvara novi skup veza, pa se TCP veza s proxyjem i TLS rukovanje s web-stranicom ponavljaju svaki put. Session održava te veze aktivnima između poziva. Za skriptu koja dohvaća stotine stranica putem jednog IP-a, ta je razlika vidljiva u ukupnom vremenu izvođenja.
Postavite s.proxies.update(proxies) jednom i svaki s.get() te s.post() ide kroz proxy. Važno je znati: ako su u okruženju postavljene varijable HTTP_PROXY ili HTTPS_PROXY, requests ih može kombinirati s postavkama sesije; proslijedite proxies= u samom pozivu kada želite biti sigurni koji se koristi.
Pogreške i kako ih protumačiti
ProxyErroruz407 Proxy Authentication Required: proxy je dostupan, ali podaci za prijavu u vašem URL-u ne odgovaraju narudžbi. Pogledajte stranicu o pogrešci 407- Lozinke koje sadrže
@,:ili/kvare URL; prvo ih kodirajte pomoćuurllib.parse.quote(password, safe='') - Promjena proxy URL-a u
https://obično prekida vezu; zadržitehttp://za oba ključa osim ako vaš proxy priključak nije izričito TLS priključak ConnectTimeoutupućuje na IP ili priključak, a ne na vjerodajnice; testirajte dostupnost pomoću alata za provjeru priključaka
Isti obrazac u httpx i aiohttp
Format URL-a ostaje isti. U httpx, stvorite httpx.Client(proxy='http://user:pass@ip:port'); u aiohttp, proslijedite proxy= u session.get(url, proxy=...). Veća prikupljanja podataka s raspoređivanjem i ponovnim pokušajima obično su jednostavnija u Scrapy.
Korak po korak
- 1
Sastavite proxy URL
Preoblikujte svaki ProxyV4
ip:port:user:passredak uhttp://user:pass@ip:portili pretvorite cijeli popis pomoću alata za konverziju proxy formata. - 2
Izradite rječnik
Upišite
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Dodajte ga u Session
Stvorite
s = requests.Session()i pozovites.proxies.update(proxies)kako bi veze ostale aktivne između zahtjeva. - 4
Ispišite izlazni IP
Pokrenite
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP u izlazu trebao bi biti proxyjev.
Često postavljana pitanja
Zašto je 'https' unos http:// URL?
Shema opisuje kako Python komunicira s proxyjem, a ne s web-stranicom. urllib3 se povezuje na proxy putem običnog HTTP-a, šalje CONNECT i zatim uspostavlja TLS s https:// stranicom kroz taj tunel, pa je promet prema stranici i dalje šifriran.
Kako raspodijeliti zahtjeve na 25 statičkih proxyja?
Stavite 25 URL-ova na popis, izradite pool = itertools.cycle(PROXIES), a za svaki zahtjev uzmite p = next(pool) i proslijedite proxies={'http': p, 'https': p}. Održavajte razumnu odgodu po IP-u kako se nijedna adresa ne bi preopteretila.
Mjeri li se promet iz Python skripti?
Ne. ProxyV4 privatni IPv4 i statički ISP paketi dolaze s neograničenim prometom, pa dugotrajne skripte ne nailaze na ograničenje podataka.
Izvori
Bazen statičkih IP adresa za Python skripte
Privatni IPv4 u 7 zemalja plus statički ISP u SAD-u i Vijetnamu. Kupite pojedinačni IP ili paket; cijena po IP-u pada s količinom.
Provjerite cijene za SAD uživo