Cereri Python requests printr-un proxy autentificat, pas cu pas
De către echipa de inginerie ProxyV4 · Updated:
Pentru a folosi un proxy în Python requests, transmite un dicționar proxies ale cărui chei 'http' și 'https' indică ambele către http://user:pass@ip:port. Adaugă acel dicționar într-un requests.Session(), iar aceeași conexiune către proxy este reutilizată la fiecare apel, ceea ce este mai rapid decât deschiderea uneia noi pentru fiecare cerere. Mai jos: dicționarul, sesiunea, erorile pe care le poți întâlni și o verificare dintr-o singură linie a IP-ului de ieșire ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 USD
- 3+ IP-uri1,70 USD
- 10+ IP-uri1,60 USD
- 25+ IP-uri1,50 USD
- 50+ IP-uri1,40 USD
- 100+ IP-uri1,30 USD
- 200+ IP-uri1,20 USD
- 500+ IP-uri1,10 USD
- 1 IP1,85 USD
- 3+ IP-uri1,70 USD
- 10+ IP-uri1,60 USD
- 25+ IP-uri1,50 USD
- 50+ IP-uri1,40 USD
- 100+ IP-uri1,30 USD
- 200+ IP-uri1,20 USD
- 500+ IP-uri1,10 USD
Dicționarul proxies, explicat
| Setare | Valoare | Motiv |
|---|---|---|
Cheia 'http' | 'http://user:pass@ip:port' | Utilizată pentru URL-uri simple http:// |
Cheia 'https' | 'http://user:pass@ip:port' | Tot un URL de proxy http://: urllib3 solicită proxy-ului un tunel CONNECT și rulează TLS în interiorul acestuia |
timeout | timeout=(5, 15) | 5 s pentru conectare, 15 s pentru citire, astfel încât o țintă indisponibilă să nu blocheze un fir de execuție |
| Rotire | itertools.cycle(proxy_list) | Distribuie pe rând IP-urile tale statice |
De ce un Session este mai bun decât un simplu requests.get()
Fiecare apel requests.get() de nivel superior creează un nou pool de conexiuni, astfel încât conexiunea TCP către proxy și handshake-ul TLS cu site-ul se repetă de fiecare dată. Un Session menține aceste conexiuni active între apeluri. Pentru un script care descarcă sute de pagini printr-un singur IP, diferența devine vizibilă în timpul total de rulare.
Setează s.proxies.update(proxies) o singură dată și fiecare s.get() și s.post() va trece prin proxy. Un aspect de reținut: dacă variabilele HTTP_PROXY sau HTTPS_PROXY sunt setate în mediu, requests le poate combina cu setările sesiunii; transmite proxies= direct la apel atunci când vrei să fii sigur care configurație este utilizată.
Erori și cum să le interpretezi
ProxyErrorcu407 Proxy Authentication Required: proxy-ul este accesibil, dar datele de autentificare din URL nu corespund comenzii. Vezi pagina de eroare 407- Parolele care conțin
@,:sau/corup URL-ul; codifică-le mai întâi cuurllib.parse.quote(password, safe='') - Schimbarea URL-ului de proxy la
https://întrerupe de obicei conexiunea; păstreazăhttp://pentru ambele chei, cu excepția cazului în care portul proxy-ului este explicit un port TLS ConnectTimeoutindică o problemă la IP sau port, nu la datele de autentificare; testează accesibilitatea cu verificatorul de porturi
Același tipar în httpx și aiohttp
Formatul URL-ului se păstrează. În httpx, creează httpx.Client(proxy='http://user:pass@ip:port'); în aiohttp, transmite proxy= către session.get(url, proxy=...). Crawling-urile mai mari, cu programare și reîncercări, sunt de obicei mai ușor de gestionat în Scrapy.
Pas cu pas
- 1
Construiește URL-ul de proxy
Rescrie fiecare linie ProxyV4
ip:port:user:passsub formahttp://user:pass@ip:port, sau convertește întreaga listă cu convertorul de format proxy. - 2
Creează dicționarul
Scrie
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Atașează-l la un Session
Creează
s = requests.Session()și apeleazăs.proxies.update(proxies)pentru ca conexiunile să fie menținute active între cereri. - 4
Afișează IP-ul de ieșire
Rulează
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP-ul din rezultat ar trebui să fie cel al proxy-ului.
Întrebări frecvente
De ce intrarea 'https' este un URL http://?
Schema descrie modul în care Python comunică cu proxy-ul, nu cu site-ul web. urllib3 se conectează la proxy prin HTTP simplu, trimite CONNECT, iar apoi efectuează TLS cu site-ul https:// prin acel tunel, astfel încât traficul paginii rămâne criptat.
Cum distribui cererile pe 25 de proxy-uri statice?
Pune cele 25 de URL-uri într-o listă, creează pool = itertools.cycle(PROXIES), iar pentru fiecare cerere preia p = next(pool) și transmite proxies={'http': p, 'https': p}. Menține un interval rezonabil între cereri per IP, astfel încât nicio adresă să nu fie supraîncărcată.
Traficul din scripturile Python este contorizat?
Nu. Abonamentele ProxyV4 IPv4 dedicate și ISP statice includ lățime de bandă nelimitată, astfel încât scripturile de lungă durată nu se lovesc de o limită de date.
Surse
Un pool de IP-uri statice pentru scripturi Python
IPv4 dedicate în 7 țări plus ISP statice în SUA și Vietnam. Cumpără un singur IP sau un pachet; prețul per IP scade odată cu cantitatea.
Vezi prețurile actualizate pentru SUA