ProxyV4

Python-requests via en godkendt proxy, trin for trin

· Updated:

For at bruge en proxy i Python requests skal du sende et proxies-dict, hvor både 'http'- og 'https'-nøglerne peger på http://user:pass@ip:port. Føj dette dict til en requests.Session(), så den samme forbindelse til proxyen genbruges ved hvert kald, hvilket er hurtigere end at åbne en ny for hver forespørgsel. Nedenfor: dictet, sessionen, de fejl du sandsynligvis støder på, og et enkelt linjetjek af ProxyV4-udgangs-IP'en.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Privat IPv4 (datacenter)
🇺🇸 USA
På lager
Fra
1,10 US$ / IP / måned
Mængderabatter
  • 1 IP1,85 US$
  • 3+ IP'er1,70 US$
  • 10+ IP'er1,60 US$
  • 25+ IP'er1,50 US$
  • 50+ IP'er1,40 US$
  • 100+ IP'er1,30 US$
  • 200+ IP'er1,20 US$
  • 500+ IP'er1,10 US$
Køb USA
Privat IPv4 (datacenter)
🇻🇳 Vietnam
På lager
Fra
1,10 US$ / IP / måned
Mængderabatter
  • 1 IP1,85 US$
  • 3+ IP'er1,70 US$
  • 10+ IP'er1,60 US$
  • 25+ IP'er1,50 US$
  • 50+ IP'er1,40 US$
  • 100+ IP'er1,30 US$
  • 200+ IP'er1,20 US$
  • 500+ IP'er1,10 US$
Køb Vietnam

Forklaring på proxies-dictet

IndstillingVærdiÅrsag
'http' key'http://user:pass@ip:port'Bruges til almindelige http://-URL'er
'https' key'http://user:pass@ip:port'Stadig en http://-proxy-URL: urllib3 anmoder proxyen om en CONNECT-tunnel og afvikler TLS i den
timeouttimeout=(5, 15)5 s til at oprette forbindelse, 15 s til at læse, så en utilgængelig destination ikke fryser en tråd
Rotationitertools.cycle(proxy_list)Uddeler dine statiske IP'er efter tur

Hvorfor en Session slår almindelig requests.get()

Hvert requests.get()-kald på øverste niveau opretter en ny forbindelsespulje, så TCP-forbindelsen til proxyen og TLS-håndtrykket med webstedet gentages hver gang. En Session holder disse forbindelser i live mellem kaldene. For et script, der henter hundredvis af sider via én IP, er den forskel tydelig i den samlede kørselstid.

Angiv s.proxies.update(proxies) én gang, og hver s.get() og s.post() går gennem proxyen. Værd at vide: Hvis HTTP_PROXY eller HTTPS_PROXY er angivet i miljøet, kan requests kombinere dem med sessionens indstillinger; angiv proxies= direkte i selve kaldet, når du vil være sikker på, hvilken der bruges.

Fejl og hvordan du læser dem

  • ProxyError med 407 Proxy Authentication Required: Proxyen kan nås, men loginet i din URL matcher ikke ordren. Se fejlsiden for 407
  • Adgangskoder, der indeholder @, : eller /, ødelægger URL'en; indkod dem først med urllib.parse.quote(password, safe='')
  • Hvis du ændrer proxy-URL'en til https://, afbrydes forbindelsen normalt; behold http:// for begge nøgler, medmindre din proxy-port specifikt er en TLS-port
  • ConnectTimeout peger på IP'en eller porten, ikke loginoplysningerne; test tilgængeligheden med porttjekkeren

Samme mønster i httpx og aiohttp

URL-formatet genbruges. I httpx opretter du httpx.Client(proxy='http://user:pass@ip:port'); i aiohttp sender du proxy= til session.get(url, proxy=...). Større crawls med planlægning og genforsøg er normalt nemmere i Scrapy.

Trin for trin

  1. 1

    Opbyg proxy-URL'en

    Omskriv hver ProxyV4 ip:port:user:pass-linje til http://user:pass@ip:port, eller konverter hele listen med proxyformat-konverteren.

  2. 2

    Opret dictet

    Skriv proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Knyt det til en Session

    Opret s = requests.Session() og kald s.proxies.update(proxies), så forbindelserne holdes i live mellem forespørgsler.

  4. 4

    Udskriv udgangs-IP'en

    Kør print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP'en i outputtet bør være proxyens.

Ofte stillede spørgsmål

Hvorfor er 'https'-posten en http://-URL?

Skemaet beskriver, hvordan Python kommunikerer med proxyen, ikke med webstedet. urllib3 opretter forbindelse til proxyen over almindelig HTTP, sender CONNECT og afvikler derefter TLS med https://-webstedet gennem den tunnel, så sidens trafik stadig er krypteret.

Hvordan fordeler jeg forespørgsler over 25 statiske proxyer?

Placer de 25 URL'er i en liste, opret pool = itertools.cycle(PROXIES), og for hver forespørgsel tager du p = next(pool) og sender proxies={'http': p, 'https': p}. Hold en fornuftig forsinkelse per IP, så ingen enkelt adresse overbelastes.

Bliver trafik fra Python-scripts forbrugsafregnet?

Nej. Private IPv4- og statiske ISP-abonnementer fra ProxyV4 leveres med ubegrænset båndbredde, så scripts, der kører længe, ikke rammer et dataloft.

Kilder

En statisk IP-pulje til Python-scripts

Privat IPv4 i 7 lande samt statisk ISP i USA og Vietnam. Køb en enkelt IP eller en pakke; prisen per IP falder med mængden.

Se aktuelle priser for USA

Related articles

Proxyer efter platform
Proxyer til web scraping: en fast pulje af IP'er med ubegrænset trafik
Web scraping-proxyer til Python, Scrapy, Playwright og Selenium: en pulje af private IPv4- og statiske ISP-adresser, ubegrænset båndbredde, fast pris pr. IP.
Proxy-opsætning
Playwright-proxygodkendelse, én statisk IP pr. kontekst
Giv hver Playwright-browserkontekst sin egen godkendte HTTP(S)-proxy i Node.js eller Python, match tidszone og locale til IP'en, og bekræft exit-adressen.
Proxy-opsætning
Scrapy-proxyer: meta['proxy'], middleware-rækkefølge og rotation
Brug godkendte HTTP(S)-proxyer i Scrapy: sæt request.meta['proxy'], placer din middleware før HttpProxyMiddleware (750), roter IP'er og styr dit crawl-tempo.
Gratis værktøjer
Omskriv en proxyliste til det format, dit værktøj forventer
Konverter proxylister direkte i browseren mellem ip:port:user:pass, user:pass@ip:port, http://-URL'er, SOCKS5-URI'er, JSON-arrays og FoxyProxy-filer samlet.
Proxyer efter platform
Proxyer til SEO-rank tracking: Se resultatsiden, som en lokal bruger ser den
SEO-rank tracking-proxyer med privat IPv4 i USA, UK, Vietnam, Japan og fire andre markeder, så rankings, local packs og annoncer matcher det, lokale ser.
Proxyer efter platform
Amazon seller-proxyer, der giver hver konto en permanent adresse
Amazon seller-proxyer til Seller Central, KDP og Merch: en statisk US ISP eller UK/Japan privat IPv4 pr. konto, lejet til dig alene og beholdt ved fornyelse.
IPV4 · united states
Privat IPv4-proxypool i USA til scraping, rangsporing og annoncekontrol
Køb private amerikanske IPv4-proxies: statiske datacenter-IP'er, én kunde pr. IP, ubegrænset båndbredde. Til scraping, SERP-sporing og tjek af US-annoncer.
IPV4 · vietnam
Privat IPv4-proxy i Vietnam: Én fast IP pr. konto i store mængder
Private Vietnam IPv4-proxyer: statiske datacenter-IP'er, én kunde pr. IP, mængdepriser. Til seeding-profiler, sekundære Shopee-butikker og værktøjer.