Python-requests via en godkendt proxy, trin for trin
Af ProxyV4s ingeniørteam · Updated:
For at bruge en proxy i Python requests skal du sende et proxies-dict, hvor både 'http'- og 'https'-nøglerne peger på http://user:pass@ip:port. Føj dette dict til en requests.Session(), så den samme forbindelse til proxyen genbruges ved hvert kald, hvilket er hurtigere end at åbne en ny for hver forespørgsel. Nedenfor: dictet, sessionen, de fejl du sandsynligvis støder på, og et enkelt linjetjek af ProxyV4-udgangs-IP'en.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 US$
- 3+ IP'er1,70 US$
- 10+ IP'er1,60 US$
- 25+ IP'er1,50 US$
- 50+ IP'er1,40 US$
- 100+ IP'er1,30 US$
- 200+ IP'er1,20 US$
- 500+ IP'er1,10 US$
- 1 IP1,85 US$
- 3+ IP'er1,70 US$
- 10+ IP'er1,60 US$
- 25+ IP'er1,50 US$
- 50+ IP'er1,40 US$
- 100+ IP'er1,30 US$
- 200+ IP'er1,20 US$
- 500+ IP'er1,10 US$
Forklaring på proxies-dictet
| Indstilling | Værdi | Årsag |
|---|---|---|
'http' key | 'http://user:pass@ip:port' | Bruges til almindelige http://-URL'er |
'https' key | 'http://user:pass@ip:port' | Stadig en http://-proxy-URL: urllib3 anmoder proxyen om en CONNECT-tunnel og afvikler TLS i den |
timeout | timeout=(5, 15) | 5 s til at oprette forbindelse, 15 s til at læse, så en utilgængelig destination ikke fryser en tråd |
| Rotation | itertools.cycle(proxy_list) | Uddeler dine statiske IP'er efter tur |
Hvorfor en Session slår almindelig requests.get()
Hvert requests.get()-kald på øverste niveau opretter en ny forbindelsespulje, så TCP-forbindelsen til proxyen og TLS-håndtrykket med webstedet gentages hver gang. En Session holder disse forbindelser i live mellem kaldene. For et script, der henter hundredvis af sider via én IP, er den forskel tydelig i den samlede kørselstid.
Angiv s.proxies.update(proxies) én gang, og hver s.get() og s.post() går gennem proxyen. Værd at vide: Hvis HTTP_PROXY eller HTTPS_PROXY er angivet i miljøet, kan requests kombinere dem med sessionens indstillinger; angiv proxies= direkte i selve kaldet, når du vil være sikker på, hvilken der bruges.
Fejl og hvordan du læser dem
ProxyErrormed407 Proxy Authentication Required: Proxyen kan nås, men loginet i din URL matcher ikke ordren. Se fejlsiden for 407- Adgangskoder, der indeholder
@,:eller/, ødelægger URL'en; indkod dem først medurllib.parse.quote(password, safe='') - Hvis du ændrer proxy-URL'en til
https://, afbrydes forbindelsen normalt; beholdhttp://for begge nøgler, medmindre din proxy-port specifikt er en TLS-port ConnectTimeoutpeger på IP'en eller porten, ikke loginoplysningerne; test tilgængeligheden med porttjekkeren
Samme mønster i httpx og aiohttp
URL-formatet genbruges. I httpx opretter du httpx.Client(proxy='http://user:pass@ip:port'); i aiohttp sender du proxy= til session.get(url, proxy=...). Større crawls med planlægning og genforsøg er normalt nemmere i Scrapy.
Trin for trin
- 1
Opbyg proxy-URL'en
Omskriv hver ProxyV4
ip:port:user:pass-linje tilhttp://user:pass@ip:port, eller konverter hele listen med proxyformat-konverteren. - 2
Opret dictet
Skriv
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Knyt det til en Session
Opret
s = requests.Session()og kalds.proxies.update(proxies), så forbindelserne holdes i live mellem forespørgsler. - 4
Udskriv udgangs-IP'en
Kør
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP'en i outputtet bør være proxyens.
Ofte stillede spørgsmål
Hvorfor er 'https'-posten en http://-URL?
Skemaet beskriver, hvordan Python kommunikerer med proxyen, ikke med webstedet. urllib3 opretter forbindelse til proxyen over almindelig HTTP, sender CONNECT og afvikler derefter TLS med https://-webstedet gennem den tunnel, så sidens trafik stadig er krypteret.
Hvordan fordeler jeg forespørgsler over 25 statiske proxyer?
Placer de 25 URL'er i en liste, opret pool = itertools.cycle(PROXIES), og for hver forespørgsel tager du p = next(pool) og sender proxies={'http': p, 'https': p}. Hold en fornuftig forsinkelse per IP, så ingen enkelt adresse overbelastes.
Bliver trafik fra Python-scripts forbrugsafregnet?
Nej. Private IPv4- og statiske ISP-abonnementer fra ProxyV4 leveres med ubegrænset båndbredde, så scripts, der kører længe, ikke rammer et dataloft.
Kilder
En statisk IP-pulje til Python-scripts
Privat IPv4 i 7 lande samt statisk ISP i USA og Vietnam. Køb en enkelt IP eller en pakke; prisen per IP falder med mængden.
Se aktuelle priser for USA