ProxyV4

Python requests cez overenú proxy, krok za krokom

· Updated:

Ak chcete použiť proxy v Python requests, odovzdajte slovník proxies, ktorého kľúče 'http' aj 'https' smerujú na http://user:pass@ip:port. Priraďte tento slovník k objektu requests.Session() a rovnaké spojenie k proxy sa znovu použije pre každé volanie, čo je rýchlejšie než otváranie nového spojenia pri každej požiadavke. Nižšie nájdete: slovník, session, chyby, na ktoré môžete naraziť, a jednoriadkovú kontrolu výstupnej IP adresy od ProxyV4.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Privátne IPv4 (dátacentrum)
🇺🇸 Spojené štáty
Na sklade
Od
1,10 USD / IP / mesiac
Množstevné zľavy
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Kúpiť: Spojené štáty
Privátne IPv4 (dátacentrum)
🇻🇳 Vietnam
Na sklade
Od
1,10 USD / IP / mesiac
Množstevné zľavy
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Kúpiť: Vietnam

Vysvetlenie slovníka proxies

NastavenieHodnotaDôvod
Kľúč 'http''http://user:pass@ip:port'Používa sa pre bežné http:// URL adresy
Kľúč 'https''http://user:pass@ip:port'Stále ide o http:// proxy URL: urllib3 požiada proxy o tunel CONNECT a v ňom spustí TLS
timeouttimeout=(5, 15)5 s na pripojenie, 15 s na čítanie, aby nedostupný cieľ nezablokoval vlákno
Rotáciaitertools.cycle(proxy_list)Postupne strieda vaše statické IP adresy

Prečo je Session lepšia ako samotné requests.get()

Každé samostatné volanie requests.get() vytvorí nový pool spojení, takže TCP spojenie s proxy a TLS handshake s cieľovým webom prebiehajú zakaždým znova. Objekt Session udržiava tieto spojenia aktívne medzi jednotlivými volaniami. Pri skripte, ktorý sťahuje stovky stránok cez jednu IP adresu, sa tento rozdiel viditeľne prejaví na celkovom čase behu.

Nastavte s.proxies.update(proxies) raz a každé volanie s.get() aj s.post() pôjde cez proxy. Jedna dôležitá vec: ak sú v prostredí nastavené premenné HTTP_PROXY alebo HTTPS_PROXY, requests ich môže skombinovať s nastaveniami session; ak chcete mať istotu, ktorá proxy sa použije, odovzdajte parameter proxies= priamo pri volaní.

Chyby a ako ich správne čítať

  • ProxyError s 407 Proxy Authentication Required: proxy je dostupná, ale prihlasovacie údaje v URL nezodpovedajú objednávke. Pozrite si stránku s chybou 407
  • Heslá obsahujúce znaky @, : alebo / narušia štruktúru URL; najprv ich zakódujte pomocou urllib.parse.quote(password, safe='')
  • Zmena URL proxy na https:// zvyčajne preruší spojenie; ponechajte http:// pre oba kľúče, pokiaľ váš proxy port nie je vyslovene TLS portom
  • ConnectTimeout poukazuje na problém s IP adresou alebo portom, nie na prihlasovacie údaje; otestujte dostupnosť pomocou kontroly portov

Rovnaký postup v httpx a aiohttp

Formát URL zostáva rovnaký. V knižnici httpx vytvorte httpx.Client(proxy='http://user:pass@ip:port'); v aiohttp odovzdajte parameter proxy= do session.get(url, proxy=...). Rozsiahlejšie scrapovanie s plánovaním a opakovanými pokusmi je zvyčajne jednoduchšie realizovať v Scrapy.

Krok za krokom

  1. 1

    Zostavte URL adresu proxy

    Prepíšte každý riadok ProxyV4 v tvare ip:port:user:pass na http://user:pass@ip:port, alebo preveďte celý zoznam pomocou konvertora formátu proxy.

  2. 2

    Vytvorte slovník

    Zapíšte proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Pripojte ho k Session

    Vytvorte s = requests.Session() a zavolajte s.proxies.update(proxies), aby sa spojenia medzi požiadavkami udržiavali aktívne.

  4. 4

    Vypíšte výstupnú IP adresu

    Spustite print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP adresa vo výstupe by mala patriť proxy.

Často kladené otázky

Prečo má záznam pre 'https' URL adresu s http://?

Schéma definuje, ako Python komunikuje s proxy serverom, nie s cieľovou webovou stránkou. Knižnica urllib3 sa pripojí k proxy cez bežné HTTP, odošle požiadavku CONNECT a cez tento vytvorený tunel nadviaže TLS spojenie so stránkou na https://, takže prevádzka zostáva plne šifrovaná.

Ako rozložiť požiadavky medzi 25 statických proxy?

Uložte 25 URL adries do zoznamu, vytvorte pool = itertools.cycle(PROXIES) a pre každú požiadavku vyberte p = next(pool) a odovzdajte proxies={'http': p, 'https': p}. Dodržiavajte rozumné oneskorenie pre každú IP, aby žiadna adresa nebola preťažená.

Je prevádzka z Python skriptov meraná?

Nie. Balíky privátnych IPv4 a statických ISP od ProxyV4 zahŕňajú neobmedzený prenos dát, takže dlho bežiace skripty nenarazia na žiadny dátový limit.

Zdroje

Pool statických IP pre Python skripty

Privátne IPv4 v 7 krajinách a statické ISP v USA a vo Vietname. Kúpte si jednu IP alebo celý balík; cena za IP klesá s počtom kusov.

Zobraziť aktuálne ceny v USA

Related articles

Proxy podľa platformy
Proxy na web scraping: fixný pool IP adries s neobmedzeným prenosom
Proxy na web scraping pre Python, Scrapy, Playwright a Selenium: pool privátnych IPv4 a statických ISP adries, neobmedzený prenos a fixná cena za IP.
Nastavenie proxy
Autentifikácia Playwright proxy: jedna statická IP na kontext
Nastavte overenú HTTP(S) proxy pre každý Playwright kontext v Node.js či Python, zlaďte časové pásmo aj jazyk s IP a overte si výstupnú adresu.
Nastavenie proxy
Scrapy proxy: meta['proxy'], poradie middleware a rotácia
Použite overené HTTP(S) proxy v Scrapy: nastavte request.meta['proxy'], zaraďte middleware pred HttpProxyMiddleware (750), rotujte IP a riaďte tempo scrapingu.
Bezplatné nástroje
Preveďte zoznam proxy do formátu, ktorý vyžaduje váš nástroj
Hromadne konvertujte zoznamy proxy v prehliadači medzi ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON poľami a súbormi pre FoxyProxy.
Proxy podľa platformy
Proxy na sledovanie SEO pozícií: pozrite sa na stránku s výsledkami očami miestnych
SEO proxy s privátnou IPv4 v USA, UK, Vietname, Japonsku a ďalších 4 trhoch. Pozície, lokálne balíčky aj reklamy uvidíte tak, ako ich vidia miestni.
Proxy podľa platformy
Amazon proxy, ktoré zabezpečia každému účtu trvalú adresu
Amazon proxy pre Seller Central, KDP a Merch: statická ISP v USA či privátna IPv4 pre každý účet. Výhradný prenájom s garanciou rovnakej IP pri predĺžení.
IPV4 · united states
Fond privátnych IPv4 proxy v USA pre scraping, sledovanie pozícií a kontrolu reklám
Kúpte privátne IPv4 proxy v USA: statické dátacentrové IP, jeden používateľ na IP a neobmedzený prenos. Ideálne na scraping, sledovanie SERP a kontrolu reklám.
IPV4 · vietnam
Privátne vietnamské IPv4 proxy: Jedna fixná IP na účet aj vo veľkom objeme
Privátne IPv4 proxy Vietnam: statické dátacentrové IP pre jedného klienta za výhodnú cenu. Vhodné na seeding profilov, vedľajšie Shopee obchody a nástroje.