ProxyV4

Python requests přes ověřenou proxy krok za krokem

· Updated:

Chcete-li v Python requests použít proxy, předejte slovník proxies, jehož klíče 'http' i 'https' odkazují na http://user:pass@ip:port. Tento slovník nastavte na requests.Session() a stejné spojení s proxy se znovu použije pro každé volání, což je rychlejší než otevírat nové pro každý požadavek. Níže najdete slovník, session, chyby, na které můžete narazit, a jednořádkovou kontrolu výstupní IP adresy od ProxyV4.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Privátní IPv4 (datacentrové)
🇺🇸 Spojené státy
Skladem
Od
1,10 US$ / IP / měsíc
Množstevní slevy
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Koupit Spojené státy
Privátní IPv4 (datacentrové)
🇻🇳 Vietnam
Skladem
Od
1,10 US$ / IP / měsíc
Množstevní slevy
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Koupit Vietnam

Vysvětlení slovníku proxies

NastaveníHodnotaDůvod
Klíč 'http''http://user:pass@ip:port'Používá se pro běžné adresy URL s http://
Klíč 'https''http://user:pass@ip:port'Stále jde o http:// proxy URL: urllib3 požádá proxy o CONNECT tunel a spustí v něm TLS
timeouttimeout=(5, 15)5 s na připojení, 15 s na čtení, aby nedostupný cíl nezablokoval vlákno
Střídáníitertools.cycle(proxy_list)Postupně přiděluje vaše statické IP adresy

Proč je Session lepší než samotné requests.get()

Každé samostatné volání requests.get() vytváří nový fond spojení, takže se TCP spojení s proxy i TLS handshake se stránkou opakují při každém volání. Session udržuje tato spojení mezi voláními aktivní. U skriptu, který stahuje stovky stránek přes jednu IP adresu, je tento rozdíl v celkové době běhu znatelný.

Nastavte s.proxies.update(proxies) jednou a každé s.get() i s.post() půjde přes proxy. Jedna důležitá věc: pokud jsou v systémovém prostředí nastaveny proměnné HTTP_PROXY nebo HTTPS_PROXY, requests je může zkombinovat s nastavením session; pokud potřebujete mít jistotu, co se použije, předejte proxies= přímo při samotném volání.

Chyby a jak jim rozumět

  • ProxyError s kódem 407 Proxy Authentication Required: proxy je dostupná, ale přihlašovací údaje ve vaší URL neodpovídají objednávce. Podívejte se na stránku s chybou 407
  • Hesla obsahující @, : nebo / naruší URL; nejprve je zakódujte pomocí urllib.parse.quote(password, safe='')
  • Změna URL proxy na https:// obvykle přeruší spojení; ponechte http:// pro oba klíče, pokud váš proxy port není výslovně TLS port
  • ConnectTimeout ukazuje na problém s IP adresou nebo portem, nikoli s přihlašovacími údaji; ověřte dostupnost pomocí nástroje pro kontrolu portů

Stejný vzor v httpx a aiohttp

Formát URL zůstává stejný. V httpx vytvořte httpx.Client(proxy='http://user:pass@ip:port'); v aiohttp předejte proxy= do session.get(url, proxy=...). Rozsáhlejší crawling s plánováním a opakovanými pokusy je obvykle jednodušší v Scrapy.

Krok za krokem

  1. 1

    Sestavte URL proxy

    Přepište každý řádek ip:port:user:pass od ProxyV4 do tvaru http://user:pass@ip:port, nebo převeďte celý seznam pomocí převodníku formátu proxy.

  2. 2

    Vytvořte slovník

    Zapište proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Připojte jej k Session

    Vytvořte s = requests.Session() a zavolejte s.proxies.update(proxies), aby se spojení mezi požadavky udržovala aktivní.

  4. 4

    Vypište výstupní IP adresu

    Spusťte print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP adresa ve výstupu by měla patřit proxy.

Často kladené otázky

Proč je položka 'https' ve tvaru http:// URL?

Schéma popisuje, jak Python komunikuje s proxy, nikoli s webovou stránkou. urllib3 se k proxy připojí přes běžné HTTP, odešle CONNECT a přes tento tunel naváže TLS spojení s webem na https://, takže provoz na stránku zůstává šifrovaný.

Jak rozdělit požadavky mezi 25 statických proxy?

Vložte 25 URL do seznamu, vytvořte pool = itertools.cycle(PROXIES) a pro každý požadavek vezměte p = next(pool) a předejte proxies={'http': p, 'https': p}. Udržujte mezi požadavky na jednu IP rozumnou prodlevu, aby nebyla žádná adresa přetížena.

Je provoz z pythonových skriptů měřený?

Ne. Tarify privátních IPv4 a statických ISP od ProxyV4 nabízejí neomezenou šířku pásma, takže dlouho běžící skripty nenarazí na žádný datový limit.

Zdroje

Fond statických IP adres pro skripty v Pythonu

Privátní IPv4 v 7 zemích a statické ISP v USA a Vietnamu. Kupte si jednu IP nebo celý balíček; cena za IP klesá s množstvím.

Zkontrolovat aktuální ceny v USA

Related articles

Proxy podle platforem
Proxy pro web scraping: fixní pool IP adres s neomezeným přenosem
Proxy pro web scraping pro Python, Scrapy, Playwright a Selenium: pool privátních IPv4 a statických ISP adres, neomezený přenos a fixní cena za IP.
Nastavení proxy
Autentizace Playwright proxy: jedna statická IP na kontext
Přiřaďte každému kontextu v Playwright vlastní autentizovanou HTTP(S) proxy v Node.js či Pythonu, slaďte časové pásmo i locale s IP a ověřte výstupní adresu.
Nastavení proxy
Proxy v Scrapy: meta['proxy'], pořadí middleware a rotace
Použijte v Scrapy ověřené HTTP(S) proxy: nastavte request.meta['proxy'], řaďte middleware před HttpProxyMiddleware (750), rotujte IP a řiďte tempo procházení.
Bezplatné nástroje
Převeďte seznam proxy do formátu, který váš nástroj očekává
Hromadně převádějte seznamy proxy v prohlížeči mezi ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON poli a importními soubory FoxyProxy.
Proxy podle platforem
Proxy pro sledování pozic v SEO: podívejte se na výsledky očima místních uživatelů
Proxy pro sledování pozic v SEO s privátní IPv4 v USA, Británii, Vietnamu, Japonsku a 4 dalších zemích. Pozice, local pack i reklamy uvidíte očima místních.
Proxy podle platforem
Amazon seller proxy, které každému účtu zajistí stálou adresu
Amazon seller proxy pro Seller Central, KDP a Merch: statická ISP v USA nebo privátní IPv4 v UK a Japonsku. Pouze pro vás, při prodloužení se nemění.
IPV4 · united states
Pool privátních amerických IPv4 proxy pro scraping, sledování pozic a kontrolu reklam
Kupte privátní IPv4 proxy v USA: statické americké datacenter IP, jeden klient na IP, neomezená data. Ideální pro scraping, SERP i kontrolu reklam v USA.
IPV4 · vietnam
Privátní vietnamské IPv4 proxy: jedna pevná IP na účet i ve velkém objemu
Privátní IPv4 proxy Vietnam: statické datacentrové IP, pro jednoho zákazníka, výhodná cena za objem. Pro seedingové profily, vedlejší Shopee obchody a nástroje.