ProxyV4

Python-requests via een geauthenticeerde proxy, stap voor stap

· Updated:

Om een proxy te gebruiken in Python requests, geef je een proxies-dict mee waarvan zowel de 'http'- als 'https'-sleutel naar http://user:pass@ip:port verwijst. Koppel die dict aan een requests.Session() en dezelfde verbinding met de proxy wordt hergebruikt voor elke aanroep, wat sneller is dan voor elk request een nieuwe te openen. Hieronder: de dict, de sessie, de fouten die je waarschijnlijk tegenkomt en een controle van één regel voor het ProxyV4-uitgangs-IP.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Private IPv4 (datacenter)
🇺🇸 Verenigde Staten
Op voorraad
Vanaf
US$ 1,10 / IP / maand
Staffelkortingen
  • 1 IPUS$ 1,85
  • 3+ IP'sUS$ 1,70
  • 10+ IP'sUS$ 1,60
  • 25+ IP'sUS$ 1,50
  • 50+ IP'sUS$ 1,40
  • 100+ IP'sUS$ 1,30
  • 200+ IP'sUS$ 1,20
  • 500+ IP'sUS$ 1,10
Koop Verenigde Staten
Private IPv4 (datacenter)
🇻🇳 Vietnam
Op voorraad
Vanaf
US$ 1,10 / IP / maand
Staffelkortingen
  • 1 IPUS$ 1,85
  • 3+ IP'sUS$ 1,70
  • 10+ IP'sUS$ 1,60
  • 25+ IP'sUS$ 1,50
  • 50+ IP'sUS$ 1,40
  • 100+ IP'sUS$ 1,30
  • 200+ IP'sUS$ 1,20
  • 500+ IP'sUS$ 1,10
Koop Vietnam

De proxies-dict uitgelegd

InstellingWaardeReden
'http'-sleutel'http://user:pass@ip:port'Gebruikt voor reguliere http://-URL's
'https'-sleutel'http://user:pass@ip:port'Nog steeds een http://-proxy-URL: urllib3 vraagt de proxy om een CONNECT-tunnel en voert TLS daarbinnen uit
timeouttimeout=(5, 15)5 s om te verbinden, 15 s om te lezen, zodat een onbereikbaar doel een thread niet blokkeert
Rotatieitertools.cycle(proxy_list)Deelt je statische IP's om de beurt uit

Waarom een Session beter is dan losse requests.get()

Elke aanroep van requests.get() op het hoogste niveau bouwt een nieuwe connection pool op, waardoor de TCP-verbinding met de proxy en de TLS-handshake met de site telkens opnieuw worden uitgevoerd. Een Session houdt die verbindingen actief tussen aanroepen. Voor een script dat honderden pagina's ophaalt via één IP, is dat verschil duidelijk merkbaar in de totale runtime.

Stel s.proxies.update(proxies) één keer in en elke s.get() en s.post() loopt via de proxy. Goed om te weten: als HTTP_PROXY of HTTPS_PROXY in de omgevingsvariabelen zijn ingesteld, kan requests deze combineren met de instellingen van de sessie; geef proxies= mee bij de aanroep zelf als je zeker wilt weten welke wordt gebruikt.

Foutmeldingen en hoe je ze interpreteert

  • ProxyError met 407 Proxy Authentication Required: de proxy is bereikbaar, maar de inloggegevens in je URL komen niet overeen met de bestelling. Zie de 407-foutpagina
  • Wachtwoorden met @, : of / maken de URL ongeldig; codeer ze eerst met urllib.parse.quote(password, safe='')
  • Het wijzigen van de proxy-URL naar https:// verbreekt meestal de verbinding; behoud http:// voor beide sleutels tenzij je proxy-poort specifiek een TLS-poort is
  • ConnectTimeout wijst naar het IP-adres of de poort, niet naar de inloggegevens; test de bereikbaarheid met de poortchecker

Hetzelfde patroon in httpx en aiohttp

Het URL-formaat blijft hetzelfde. Maak in httpx een httpx.Client(proxy='http://user:pass@ip:port') aan; geef in aiohttp de parameter proxy= mee aan session.get(url, proxy=...). Grotere crawls met planning en retries zijn meestal eenvoudiger in Scrapy.

Stap voor stap

  1. 1

    Bouw de proxy-URL

    Herschrijf elke regel met ip:port:user:pass van ProxyV4 als http://user:pass@ip:port, of converteer de hele lijst met de proxy-formaatconverter.

  2. 2

    Maak de dict aan

    Schrijf proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Koppel deze aan een Session

    Maak s = requests.Session() aan en roep s.proxies.update(proxies) aan, zodat verbindingen tussen requests actief blijven.

  4. 4

    Print het uitgangs-IP

    Voer print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()) uit; het IP-adres in de uitvoer moet dat van de proxy zijn.

Veelgestelde vragen

Waarom is het 'https'-item een http://-URL?

Het schema beschrijft hoe Python met de proxy communiceert, niet met de website. urllib3 verbindt via gewoon HTTP met de proxy, verzendt CONNECT en voert via die tunnel TLS uit met de https://-site, waardoor het paginaverkeer nog steeds versleuteld is.

Hoe verdeel ik requests over 25 statische proxy's?

Plaats de 25 URL's in een lijst, maak pool = itertools.cycle(PROXIES) aan en neem voor elk request p = next(pool) en geef proxies={'http': p, 'https': p} mee. Hanteer een verstandige vertraging per IP zodat geen enkel adres overbelast raakt.

Wordt het verkeer van Python-scripts gemeten?

Nee. Private IPv4- en statische ISP-abonnementen van ProxyV4 zijn voorzien van onbeperkte bandbreedte, waardoor langdurig draaiende scripts niet tegen een datalimiet aanlopen.

Bronnen

Een statische IP-pool voor Python-scripts

Private IPv4 in 7 landen plus statische ISP in de VS en Vietnam. Koop een enkel IP of een bundel; de prijs per IP daalt naarmate het aantal toeneemt.

Bekijk actuele Amerikaanse prijzen

Related articles

Proxy's per platform
Proxy's voor webscraping: een vaste pool van IP's met onbeperkt dataverkeer
Webscraping-proxy's voor Python, Scrapy, Playwright en Selenium: een pool van private IPv4 en statische ISP-adressen, onbeperkte bandbreedte, vaste IP-prijs.
Proxy instellen
Playwright-proxyauthenticatie, één statisch IP per context
Geef elke Playwright-context een eigen geauthenticeerde HTTP(S)-proxy in Node.js of Python, stem tijdzone en locale af op het IP en verifieer het exit-adres.
Proxy instellen
Scrapy-proxy's: meta['proxy'], middleware-volgorde en rotatie
Gebruik geauthenticeerde HTTP(S)-proxy's in Scrapy: stel request.meta['proxy'] in, zet middleware voor HttpProxyMiddleware (750), roteer IP's en doseer crawls.
Gratis tools
Zet een proxylijst om naar het formaat dat uw tool verwacht
Zet proxylijsten in bulk om in uw browser tussen ip:port:user:pass, user:pass@ip:port, http://-URL's, SOCKS5-URI's, JSON-arrays en FoxyProxy-bestanden.
Proxy's per platform
Proxy's voor SEO rank tracking: zie de resultatenpagina die een lokale zoeker ziet
SEO rank tracking proxy's met privé-IPv4 in de VS, VK, Vietnam, Japan en 4 andere markten, zodat rankings, local packs en ads tonen wat lokale zoekers zien.
Proxy's per platform
Amazon seller proxies die elk account een permanent adres geven
Amazon seller proxies voor Seller Central, KDP en Merch: US statische ISP of UK/Japan private IPv4 per account, exclusief verhuurd en behouden bij verlenging.
IPV4 · united states
Amerikaanse privé IPv4-proxypool voor scraping, rank tracking en advertentiecontroles
Koop Amerikaanse privé IPv4-proxy's: statische datacenter-IP's, één klant per IP, onbeperkte bandbreedte. Voor scraping, SERP-tracking en ad-checks in de VS.
IPV4 · vietnam
Vietnamese privé IPv4-proxy: één vast IP per account in grote volumes
Privé IPv4-proxy's Vietnam: statische Vietnamese datacenter-IP's, één klant per IP, lage volumeprijzen. Voor seedingprofielen, secundaire Shopee-shops en tools.