Python requests via en autentiserad proxy, steg för steg
Av ProxyV4s ingenjörsteam · Updated:
För att använda en proxy i Python requests skickar du med en proxies-dict där både nyckeln 'http' och 'https' pekar på http://user:pass@ip:port. Lägg till den dicten på en requests.Session() så återanvänds samma anslutning till proxyn för varje anrop, vilket går snabbare än att öppna en ny för varje förfrågan. Nedan: dicten, sessionen, vanliga fel du kan stöta på och en enradskontroll av utgående IP från ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 US$
- 3+ IP:n1,70 US$
- 10+ IP:n1,60 US$
- 25+ IP:n1,50 US$
- 50+ IP:n1,40 US$
- 100+ IP:n1,30 US$
- 200+ IP:n1,20 US$
- 500+ IP:n1,10 US$
- 1 IP1,85 US$
- 3+ IP:n1,70 US$
- 10+ IP:n1,60 US$
- 25+ IP:n1,50 US$
- 50+ IP:n1,40 US$
- 100+ IP:n1,30 US$
- 200+ IP:n1,20 US$
- 500+ IP:n1,10 US$
Förklaring av proxies-dicten
| Inställning | Värde | Orsak |
|---|---|---|
'http'-nyckel | 'http://user:pass@ip:port' | Används för vanliga http://-URL:er |
'https'-nyckel | 'http://user:pass@ip:port' | Fortfarande en http://-proxy-URL: urllib3 begär en CONNECT-tunnel från proxyn och kör TLS inuti den |
timeout | timeout=(5, 15) | 5 s för att ansluta, 15 s för att läsa, så att ett dött mål inte låser en tråd |
| Rotation | itertools.cycle(proxy_list) | Delar ut dina statiska IP-adresser i tur och ordning |
Varför en Session slår enskilda requests.get()
Varje anrop på toppnivå med requests.get() bygger upp en ny anslutningspool, vilket innebär att TCP-anslutningen till proxyn och TLS-handskakningen med webbplatsen upprepas varje gång. En Session håller dessa anslutningar vid liv mellan anropen. För ett skript som hämtar hundratals sidor via en och samma IP-adress märks den skillnaden tydligt i den totala körtiden.
Ange s.proxies.update(proxies) en gång så går varje s.get() och s.post() via proxyn. Bra att veta: om HTTP_PROXY eller HTTPS_PROXY är satta i miljövariablerna kan requests kombinera dem med sessionens inställningar; skicka med proxies= direkt i anropet när du vill vara helt säker på vilken som används.
Felmeddelanden och hur du tolkar dem
ProxyErrormed407 Proxy Authentication Required: proxyn kan nås, men inloggningsuppgifterna i din URL matchar inte beställningen. Se felsidan för 407- Lösenord som innehåller
@,:eller/förstör URL:en; koda dem först medurllib.parse.quote(password, safe='') - Att ändra proxy-URL:en till
https://bryter oftast anslutningen; behållhttp://för båda nycklarna såvida inte din proxyport specifikt är en TLS-port ConnectTimeoutpekar på IP-adressen eller porten, inte inloggningsuppgifterna; testa åtkomsten med portkontrollen
Samma mönster i httpx och aiohttp
URL-formatet fungerar likadant. I httpx skapar du httpx.Client(proxy='http://user:pass@ip:port'); i aiohttp skickar du med proxy= till session.get(url, proxy=...). Större webbcrawls med schemaläggning och automatiska återförsök är oftast enklare att bygga i Scrapy.
Steg för steg
- 1
Bygg proxy-URL:en
Skriv om varje rad med
ip:port:user:passfrån ProxyV4 tillhttp://user:pass@ip:port, eller konvertera hela listan med proxyformat-konverteraren. - 2
Skapa dicten
Skriv
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Koppla den till en Session
Skapa
s = requests.Session()och anropas.proxies.update(proxies)så att anslutningarna hålls vid liv mellan förfrågningarna. - 4
Skriv ut utgående IP
Kör
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP-adressen i utskriften ska vara proxyns.
Vanliga frågor
Varför är 'https'-posten en http://-URL?
Schemat beskriver hur Python kommunicerar med proxyn, inte med webbplatsen. urllib3 ansluter till proxyn via vanlig HTTP, skickar CONNECT och kör sedan TLS mot https://-webbplatsen genom den tunneln, så sidtrafiken är fortfarande krypterad.
Hur fördelar jag förfrågningar över 25 statiska proxyer?
Lägg de 25 URL:erna i en lista, skapa pool = itertools.cycle(PROXIES), och för varje förfrågan tar du p = next(pool) och skickar med proxies={'http': p, 'https': p}. Håll en rimlig fördröjning per IP-adress så att ingen enskild adress överbelastas.
Mäts trafiken från Python-skript?
Nej. Abonnemang för privat IPv4 och statisk ISP från ProxyV4 inkluderar obegränsad bandbredd, så långkörande skript slår inte i något datatak.
Källor
En statisk IP-pool för Python-skript
Privat IPv4 i 7 länder samt statisk ISP i USA och Vietnam. Köp en enskild IP eller ett paket; priset per IP sjunker med volymen.
Se aktuella priser för USA