ProxyV4

Python requests via en autentiserad proxy, steg för steg

· Updated:

För att använda en proxy i Python requests skickar du med en proxies-dict där både nyckeln 'http' och 'https' pekar på http://user:pass@ip:port. Lägg till den dicten på en requests.Session() så återanvänds samma anslutning till proxyn för varje anrop, vilket går snabbare än att öppna en ny för varje förfrågan. Nedan: dicten, sessionen, vanliga fel du kan stöta på och en enradskontroll av utgående IP från ProxyV4.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Privat IPv4 (datacenter)
🇺🇸 USA
I lager
Från
1,10 US$ / IP / månad
Mängdrabatter
  • 1 IP1,85 US$
  • 3+ IP:n1,70 US$
  • 10+ IP:n1,60 US$
  • 25+ IP:n1,50 US$
  • 50+ IP:n1,40 US$
  • 100+ IP:n1,30 US$
  • 200+ IP:n1,20 US$
  • 500+ IP:n1,10 US$
Köp USA
Privat IPv4 (datacenter)
🇻🇳 Vietnam
I lager
Från
1,10 US$ / IP / månad
Mängdrabatter
  • 1 IP1,85 US$
  • 3+ IP:n1,70 US$
  • 10+ IP:n1,60 US$
  • 25+ IP:n1,50 US$
  • 50+ IP:n1,40 US$
  • 100+ IP:n1,30 US$
  • 200+ IP:n1,20 US$
  • 500+ IP:n1,10 US$
Köp Vietnam

Förklaring av proxies-dicten

InställningVärdeOrsak
'http'-nyckel'http://user:pass@ip:port'Används för vanliga http://-URL:er
'https'-nyckel'http://user:pass@ip:port'Fortfarande en http://-proxy-URL: urllib3 begär en CONNECT-tunnel från proxyn och kör TLS inuti den
timeouttimeout=(5, 15)5 s för att ansluta, 15 s för att läsa, så att ett dött mål inte låser en tråd
Rotationitertools.cycle(proxy_list)Delar ut dina statiska IP-adresser i tur och ordning

Varför en Session slår enskilda requests.get()

Varje anrop på toppnivå med requests.get() bygger upp en ny anslutningspool, vilket innebär att TCP-anslutningen till proxyn och TLS-handskakningen med webbplatsen upprepas varje gång. En Session håller dessa anslutningar vid liv mellan anropen. För ett skript som hämtar hundratals sidor via en och samma IP-adress märks den skillnaden tydligt i den totala körtiden.

Ange s.proxies.update(proxies) en gång så går varje s.get() och s.post() via proxyn. Bra att veta: om HTTP_PROXY eller HTTPS_PROXY är satta i miljövariablerna kan requests kombinera dem med sessionens inställningar; skicka med proxies= direkt i anropet när du vill vara helt säker på vilken som används.

Felmeddelanden och hur du tolkar dem

  • ProxyError med 407 Proxy Authentication Required: proxyn kan nås, men inloggningsuppgifterna i din URL matchar inte beställningen. Se felsidan för 407
  • Lösenord som innehåller @, : eller / förstör URL:en; koda dem först med urllib.parse.quote(password, safe='')
  • Att ändra proxy-URL:en till https:// bryter oftast anslutningen; behåll http:// för båda nycklarna såvida inte din proxyport specifikt är en TLS-port
  • ConnectTimeout pekar på IP-adressen eller porten, inte inloggningsuppgifterna; testa åtkomsten med portkontrollen

Samma mönster i httpx och aiohttp

URL-formatet fungerar likadant. I httpx skapar du httpx.Client(proxy='http://user:pass@ip:port'); i aiohttp skickar du med proxy= till session.get(url, proxy=...). Större webbcrawls med schemaläggning och automatiska återförsök är oftast enklare att bygga i Scrapy.

Steg för steg

  1. 1

    Bygg proxy-URL:en

    Skriv om varje rad med ip:port:user:pass från ProxyV4 till http://user:pass@ip:port, eller konvertera hela listan med proxyformat-konverteraren.

  2. 2

    Skapa dicten

    Skriv proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Koppla den till en Session

    Skapa s = requests.Session() och anropa s.proxies.update(proxies) så att anslutningarna hålls vid liv mellan förfrågningarna.

  4. 4

    Skriv ut utgående IP

    Kör print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP-adressen i utskriften ska vara proxyns.

Vanliga frågor

Varför är 'https'-posten en http://-URL?

Schemat beskriver hur Python kommunicerar med proxyn, inte med webbplatsen. urllib3 ansluter till proxyn via vanlig HTTP, skickar CONNECT och kör sedan TLS mot https://-webbplatsen genom den tunneln, så sidtrafiken är fortfarande krypterad.

Hur fördelar jag förfrågningar över 25 statiska proxyer?

Lägg de 25 URL:erna i en lista, skapa pool = itertools.cycle(PROXIES), och för varje förfrågan tar du p = next(pool) och skickar med proxies={'http': p, 'https': p}. Håll en rimlig fördröjning per IP-adress så att ingen enskild adress överbelastas.

Mäts trafiken från Python-skript?

Nej. Abonnemang för privat IPv4 och statisk ISP från ProxyV4 inkluderar obegränsad bandbredd, så långkörande skript slår inte i något datatak.

Källor

En statisk IP-pool för Python-skript

Privat IPv4 i 7 länder samt statisk ISP i USA och Vietnam. Köp en enskild IP eller ett paket; priset per IP sjunker med volymen.

Se aktuella priser för USA

Related articles

Proxies per plattform
Proxies för web scraping: en fast IP-pool med obegränsad trafik
Web scraping-proxies för Python, Scrapy, Playwright och Selenium: en pool av privata IPv4- och statiska ISP-adresser, obegränsad bandbredd, fast pris per IP.
Proxykonfiguration
Playwright-proxyautentisering, en statisk IP per kontext
Ge varje Playwright-kontext en egen autentiserad HTTP(S)-proxy i Node.js eller Python, matcha tidszon och språk mot IP-adressen och bekräfta utgångsadressen.
Proxykonfiguration
Scrapy-proxier: meta['proxy'], middleware-ordning och rotation
Använd autentiserade HTTP(S)-proxier i Scrapy: sätt request.meta['proxy'], placera din middleware före HttpProxyMiddleware (750), rotera IP:er och styr takten.
Gratis verktyg
Formatera om en proxylista till formatet ditt verktyg kräver
Konvertera proxylistor i webbläsaren mellan ip:port:user:pass, user:pass@ip:port, http://-URL:er, SOCKS5-URI:er, JSON-arrayer och FoxyProxy-importfiler i bulk.
Proxies per plattform
Proxies för SEO-rank tracking: se sökresultaten som lokala användare ser
SEO-proxies med privat IPv4 i USA, Storbritannien, Vietnam, Japan och fyra marknader till, så rankningar, local packs och annonser matchar vad lokala ser.
Proxies per plattform
Amazon-säljarproxies som ger varje konto en permanent adress
Amazon-säljarproxies för Seller Central, KDP och Merch: statisk ISP i USA eller privat IPv4 i UK/Japan per konto, exklusivt för dig och behålls vid förnyelse.
IPV4 · united states
Privat IPv4-proxypool i USA för webbskrapning, rankspårning och annonskontroller
Köp privata USA-IPv4-proxyer: statiska amerikanska datacenter-IP, en kund per IP, obegränsad bandbredd. För scraping, SERP-spårning och annonskontroll i USA.
IPV4 · vietnam
Privat IPv4-proxy i Vietnam: En fast IP per konto i stor volym
Privata Vietnam-IPv4-proxyer: statiska vietnamesiska datacenter-IP, en kund per IP och volympriser. För seeding-profiler, sekundära Shopee-butiker och verktyg.