Python-requests via een geauthenticeerde proxy, stap voor stap
Door het engineeringteam van ProxyV4 · Updated:
Om een proxy te gebruiken in Python requests, geef je een proxies-dict mee waarvan zowel de 'http'- als 'https'-sleutel naar http://user:pass@ip:port verwijst. Koppel die dict aan een requests.Session() en dezelfde verbinding met de proxy wordt hergebruikt voor elke aanroep, wat sneller is dan voor elk request een nieuwe te openen. Hieronder: de dict, de sessie, de fouten die je waarschijnlijk tegenkomt en een controle van één regel voor het ProxyV4-uitgangs-IP.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IPUS$ 1,85
- 3+ IP'sUS$ 1,70
- 10+ IP'sUS$ 1,60
- 25+ IP'sUS$ 1,50
- 50+ IP'sUS$ 1,40
- 100+ IP'sUS$ 1,30
- 200+ IP'sUS$ 1,20
- 500+ IP'sUS$ 1,10
- 1 IPUS$ 1,85
- 3+ IP'sUS$ 1,70
- 10+ IP'sUS$ 1,60
- 25+ IP'sUS$ 1,50
- 50+ IP'sUS$ 1,40
- 100+ IP'sUS$ 1,30
- 200+ IP'sUS$ 1,20
- 500+ IP'sUS$ 1,10
De proxies-dict uitgelegd
| Instelling | Waarde | Reden |
|---|---|---|
'http'-sleutel | 'http://user:pass@ip:port' | Gebruikt voor reguliere http://-URL's |
'https'-sleutel | 'http://user:pass@ip:port' | Nog steeds een http://-proxy-URL: urllib3 vraagt de proxy om een CONNECT-tunnel en voert TLS daarbinnen uit |
timeout | timeout=(5, 15) | 5 s om te verbinden, 15 s om te lezen, zodat een onbereikbaar doel een thread niet blokkeert |
| Rotatie | itertools.cycle(proxy_list) | Deelt je statische IP's om de beurt uit |
Waarom een Session beter is dan losse requests.get()
Elke aanroep van requests.get() op het hoogste niveau bouwt een nieuwe connection pool op, waardoor de TCP-verbinding met de proxy en de TLS-handshake met de site telkens opnieuw worden uitgevoerd. Een Session houdt die verbindingen actief tussen aanroepen. Voor een script dat honderden pagina's ophaalt via één IP, is dat verschil duidelijk merkbaar in de totale runtime.
Stel s.proxies.update(proxies) één keer in en elke s.get() en s.post() loopt via de proxy. Goed om te weten: als HTTP_PROXY of HTTPS_PROXY in de omgevingsvariabelen zijn ingesteld, kan requests deze combineren met de instellingen van de sessie; geef proxies= mee bij de aanroep zelf als je zeker wilt weten welke wordt gebruikt.
Foutmeldingen en hoe je ze interpreteert
ProxyErrormet407 Proxy Authentication Required: de proxy is bereikbaar, maar de inloggegevens in je URL komen niet overeen met de bestelling. Zie de 407-foutpagina- Wachtwoorden met
@,:of/maken de URL ongeldig; codeer ze eerst meturllib.parse.quote(password, safe='') - Het wijzigen van de proxy-URL naar
https://verbreekt meestal de verbinding; behoudhttp://voor beide sleutels tenzij je proxy-poort specifiek een TLS-poort is ConnectTimeoutwijst naar het IP-adres of de poort, niet naar de inloggegevens; test de bereikbaarheid met de poortchecker
Hetzelfde patroon in httpx en aiohttp
Het URL-formaat blijft hetzelfde. Maak in httpx een httpx.Client(proxy='http://user:pass@ip:port') aan; geef in aiohttp de parameter proxy= mee aan session.get(url, proxy=...). Grotere crawls met planning en retries zijn meestal eenvoudiger in Scrapy.
Stap voor stap
- 1
Bouw de proxy-URL
Herschrijf elke regel met
ip:port:user:passvan ProxyV4 alshttp://user:pass@ip:port, of converteer de hele lijst met de proxy-formaatconverter. - 2
Maak de dict aan
Schrijf
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Koppel deze aan een Session
Maak
s = requests.Session()aan en roeps.proxies.update(proxies)aan, zodat verbindingen tussen requests actief blijven. - 4
Print het uitgangs-IP
Voer
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())uit; het IP-adres in de uitvoer moet dat van de proxy zijn.
Veelgestelde vragen
Waarom is het 'https'-item een http://-URL?
Het schema beschrijft hoe Python met de proxy communiceert, niet met de website. urllib3 verbindt via gewoon HTTP met de proxy, verzendt CONNECT en voert via die tunnel TLS uit met de https://-site, waardoor het paginaverkeer nog steeds versleuteld is.
Hoe verdeel ik requests over 25 statische proxy's?
Plaats de 25 URL's in een lijst, maak pool = itertools.cycle(PROXIES) aan en neem voor elk request p = next(pool) en geef proxies={'http': p, 'https': p} mee. Hanteer een verstandige vertraging per IP zodat geen enkel adres overbelast raakt.
Wordt het verkeer van Python-scripts gemeten?
Nee. Private IPv4- en statische ISP-abonnementen van ProxyV4 zijn voorzien van onbeperkte bandbreedte, waardoor langdurig draaiende scripts niet tegen een datalimiet aanlopen.
Bronnen
Een statische IP-pool voor Python-scripts
Private IPv4 in 7 landen plus statische ISP in de VS en Vietnam. Koop een enkel IP of een bundel; de prijs per IP daalt naarmate het aantal toeneemt.
Bekijk actuele Amerikaanse prijzen