Python requests via en autentisert proxy, trinn for trinn
Av ingeniørteamet hos ProxyV4 · Updated:
For å bruke en proxy i Python requests sender du inn en proxies-dict der både 'http'- og 'https'-nøklene peker til http://user:pass@ip:port. Kobler du denne ordlisten til en requests.Session(), gjenbrukes den samme tilkoblingen til proxyen for hvert kall, noe som er raskere enn å åpne en ny per forespørsel. Nedenfor finner du ordlisten, økten, feilkodene du kan møte på, og en élinjes sjekk av ProxyV4-utgangs-IP-en.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 USD
- 3+ IP-er1,70 USD
- 10+ IP-er1,60 USD
- 25+ IP-er1,50 USD
- 50+ IP-er1,40 USD
- 100+ IP-er1,30 USD
- 200+ IP-er1,20 USD
- 500+ IP-er1,10 USD
- 1 IP1,85 USD
- 3+ IP-er1,70 USD
- 10+ IP-er1,60 USD
- 25+ IP-er1,50 USD
- 50+ IP-er1,40 USD
- 100+ IP-er1,30 USD
- 200+ IP-er1,20 USD
- 500+ IP-er1,10 USD
En gjennomgang av proxies-ordlisten
| Innstilling | Value | Årsak |
|---|---|---|
'http' key | 'http://user:pass@ip:port' | Brukes for vanlige http://-nettadresser |
'https' key | 'http://user:pass@ip:port' | Fortsatt en http://-proxyadresse: urllib3 ber proxyen om en CONNECT-tunnel og kjører TLS inni den |
timeout | timeout=(5, 15) | 5 s for å koble til, 15 s for å lese, slik at et utilgjengelig mål ikke låser tråden |
| Rotasjon | itertools.cycle(proxy_list) | Deler ut de statiske IP-ene dine etter tur |
Hvorfor en Session slår ren requests.get()
Hvert requests.get()-kall på toppnivå bygger et nytt tilkoblingsutvalg, så TCP-tilkoblingen til proxyen og TLS-håndtrykket med nettstedet gjentas hver gang. En Session holder disse tilkoblingene i live mellom kallene. For et skript som henter hundrevis av sider via én IP, utgjør denne forskjellen et merkbart utslag på total kjøretid.
Angi s.proxies.update(proxies) én gang, så går alle s.get() og s.post() gjennom proxyen. Én ting å vite: Hvis HTTP_PROXY eller HTTPS_PROXY er definert i miljøet, kan requests kombinere dem med innstillingene i økten. Send inn proxies= direkte i kallet når du må være helt sikker på hvilken som brukes.
Feilmeldinger og hvordan du tolker dem
ProxyErrormed407 Proxy Authentication Required: proxyen kan nås, men påloggingen i nettadressen stemmer ikke overens med bestillingen. Se siden for 407-feil- Passord som inneholder
@,:eller/ødelegger nettadressen; URL-enkod dem først medurllib.parse.quote(password, safe='') - Å endre proxyadressen til
https://bryter vanligvis tilkoblingen; beholdhttp://for begge nøkler med mindre proxyporten din uttrykkelig er en TLS-port ConnectTimeoutpeker mot IP-en eller porten, ikke påloggingsdetaljene; test tilgjengeligheten med portsjekkeren
Samme mønster i httpx og aiohttp
Formatet for nettadressen overføres direkte. I httpx oppretter du httpx.Client(proxy='http://user:pass@ip:port'); i aiohttp sender du proxy= til session.get(url, proxy=...). Større crawl-prosjekter med tidsplanlegging og nye forsøk er som regel enklere i Scrapy.
Trinn for trinn
- 1
Bygg proxyadressen
Skriv om hver ProxyV4
ip:port:user:pass-linje tilhttp://user:pass@ip:port, eller konverter hele listen med proxyformat-konvertereren. - 2
Opprett ordlisten
Skriv
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Koble den til en Session
Opprett
s = requests.Session()og kjørs.proxies.update(proxies)slik at tilkoblinger holdes i live mellom forespørsler. - 4
Skriv ut utgangs-IP-en
Kjør
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP-adressen i svaret skal tilhøre proxyen.
Ofte stilte spørsmål
Hvorfor er 'https'-oppføringen en http://-nettadresse?
Protokollskjemaet beskriver hvordan Python kommuniserer med proxyen, ikke med nettstedet. urllib3 kobler til proxyen over vanlig HTTP, sender CONNECT, og kjører deretter TLS mot https://-nettstedet gjennom denne tunnelen, slik at sidetrafikken forblir kryptert.
Hvordan fordeler jeg forespørsler over 25 statiske proxyer?
Legg de 25 nettadressene i en liste, opprett pool = itertools.cycle(PROXIES), og for hver forespørsel henter du p = next(pool) og sender inn proxies={'http': p, 'https': p}. Hold en fornuftig forsinkelse per IP slik at ingen enkeltadresse overbelastes.
Måles datatrafikk fra Python-skript?
Nei. Abonnementer på privat IPv4 og statisk ISP fra ProxyV4 leveres med ubegrenset båndbredde, så langkjørende skript støter ikke på noe datatak.
Kilder
En statisk IP-pool for Python-skript
Privat IPv4 i 7 land pluss statisk ISP i USA og Vietnam. Kjøp én enkelt IP eller en pakke; prisen per IP synker med volumet.
Sjekk oppdaterte priser for USA