ProxyV4

Zahteve Python prek overjenega proxyja, korak za korakom

· Updated:

Za uporabo proxyja v knjižnici Python requests posredujte slovar proxies, pri katerem ključa 'http' in 'https' oba kažeta na http://user:pass@ip:port. Ta slovar dodelite objektu requests.Session() in ista povezava s proxyjem se bo znova uporabila za vsak klic, kar je hitreje kot odpiranje nove pri vsaki zahtevi. Spodaj: slovar, seja, napake, na katere boste verjetno naleteli, ter enovrstično preverjanje izhodnega naslova IP storitve ProxyV4.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Zasebni IPv4 (podatkovni center)
🇺🇸 Združene države Amerike
Na zalogi
Od
1,10 $ / IP / mesec
Količinski popusti
  • 1 IP1,85 $
  • 3+ IP-jev1,70 $
  • 10+ IP-jev1,60 $
  • 25+ IP-jev1,50 $
  • 50+ IP-jev1,40 $
  • 100+ IP-jev1,30 $
  • 200+ IP-jev1,20 $
  • 500+ IP-jev1,10 $
Kupi Združene države Amerike
Zasebni IPv4 (podatkovni center)
🇻🇳 Vietnam
Na zalogi
Od
1,10 $ / IP / mesec
Količinski popusti
  • 1 IP1,85 $
  • 3+ IP-jev1,70 $
  • 10+ IP-jev1,60 $
  • 25+ IP-jev1,50 $
  • 50+ IP-jev1,40 $
  • 100+ IP-jev1,30 $
  • 200+ IP-jev1,20 $
  • 500+ IP-jev1,10 $
Kupi Vietnam

Pojasnilo slovarja proxies

NastavitevVrednostRazlog
Ključ 'http''http://user:pass@ip:port'Uporablja se za navadne URL-je http://
Ključ 'https''http://user:pass@ip:port'Še vedno proxy URL http://: urllib3 od proxyja zahteva tunel CONNECT in v njem izvaja TLS
timeouttimeout=(5, 15)5 s za povezavo, 15 s za branje, da neodzivna tarča ne more zamrzniti niti
Menjavanjeitertools.cycle(proxy_list)Zaporedoma dodeljuje vaše statične naslove IP

Zakaj je Session boljši od običajnega requests.get()

Vsak vrhnji klic requests.get() zgradi nov sklad povezav, zato se povezava TCP s proxyjem in stisk rok TLS s spletnim mestom ponovita vsakič znova. Objekt Session ohranja te povezave odprte med klici. Pri skriptu, ki prek enega naslova IP prenese na stotine strani, je ta razlika opazna v celotnem času izvajanja.

Nastavite s.proxies.update(proxies) enkrat in vsak s.get() ter s.post() bo šel prek proxyja. Pomembno je vedeti: če sta v okolju nastavljeni spremenljivki HTTP_PROXY ali HTTPS_PROXY, ju knjižnica requests lahko združi z nastavitvami seje; posredujte proxies= neposredno v klicu, kadar se želite prepričati, kateri proxy se uporablja.

Napake in kako jih razumeti

  • ProxyError z 407 Proxy Authentication Required: proxy je dosegljiv, vendar se prijava v vašem URL-ju ne ujema z naročilom. Oglejte si stran z napako 407
  • Gesla, ki vsebujejo @, : ali /, pokvarijo URL; najprej jih kodirajte z urllib.parse.quote(password, safe='')
  • Sprememba proxy URL-ja v https:// običajno prekine povezavo; ohranite http:// za oba ključa, razen če so vaša vrata proxyja posebej vrata TLS
  • ConnectTimeout nakazuje na težavo z naslovom IP ali vrati, ne s poverilnicami; preizkusite dosegljivost z orodjem za preverjanje vrat

Enak vzorec v httpx in aiohttp

Oblika URL-ja se prenaša. V httpx ustvarite httpx.Client(proxy='http://user:pass@ip:port'); v aiohttp posredujte proxy= klicu session.get(url, proxy=...). Večja plazenja z razporejanjem in ponovnimi poskusi so običajno enostavnejša v orodju Scrapy.

Korak za korakom

  1. 1

    Sestavite URL proxyja

    Prepišite vsako vrstico ProxyV4 ip:port:user:pass v obliko http://user:pass@ip:port ali pretvorite celoten seznam z orodjem za pretvorbo oblike proxyjev.

  2. 2

    Ustvarite slovar

    Zapišite proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Pripnite ga seji Session

    Ustvarite s = requests.Session() in pokličite s.proxies.update(proxies), da povezave ostanejo aktivne med zahtevami.

  4. 4

    Izpišite izhodni IP

    Zaženite print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); izpisani naslov IP bi moral biti naslov proxyja.

Pogosta vprašanja

Zakaj je vnos 'https' URL http://?

Shema opisuje, kako se Python pogovarja s proxyjem in ne s spletnim mestom. Knjižnica urllib3 se s proxyjem poveže prek navadnega HTTP, pošlje CONNECT ter nato prek tega tunela vzpostavi TLS s spletnim mestom https://, zato je promet strani še vedno šifriran.

Kako porazdelim zahteve med 25 statičnih proxyjev?

Vnesite 25 URL-jev v seznam, ustvarite pool = itertools.cycle(PROXIES) ter za vsako zahtevo vzemite p = next(pool) in podajte proxies={'http': p, 'https': p}. Ohranite razumen zamik na posamezen IP, da noben naslov ni preobremenjen.

Ali se promet iz skriptov Python meri?

Ne. Paketi zasebnih IPv4 in statičnih ISP ponudnika ProxyV4 vključujejo neomejeno pasovno širino, zato dolgotrajni skripti ne dosežejo podatkovne omejitve.

Viri

Bazen statičnih naslovov IP za skripte Python

Zasebni IPv4 v 7 državah in statični ISP v ZDA ter Vietnamu. Kupite posamezen IP ali paket; cena na IP se s količino znižuje.

Preverite trenutne cene za ZDA

Related articles

Proxyji po platformah
Proxyji za spletno strganje: fiksen nabor IP-jev z neomejenim prenosom podatkov
Proxyji za spletno strganje za Python, Scrapy, Playwright in Selenium: nabor zasebnih IPv4 in statičnih ISP naslovov, neomejen prenos in fiksna cena na IP.
Nastavitev proxyja
Avtentikacija proxyja v Playwrightu, en statični IP na kontekst
Vsakemu Playwright kontekstu dodelite avtenticiran HTTP(S) proxy v Node.js ali Pythonu, uskladite časovni pas in jezik z IP-jem ter potrdite izhodni naslov.
Nastavitev proxyja
Scrapy proxyji: meta['proxy'], vrstni red middleware in rotacija
Uporabite overjene proxyje HTTP(S) v Scrapyju: nastavite request.meta['proxy'], razvrstite middleware pred HttpProxyMiddleware (750), rotirajte IP-je in tempo.
Brezplačna orodja
Preoblikujte seznam proxyjev v obliko, ki jo pričakuje vaše orodje
V brskalniku množično pretvorite sezname proxyjev med ip:port:user:pass, user:pass@ip:port, URL-ji http://, URI-ji SOCKS5, polji JSON in datotekami FoxyProxy.
Proxyji po platformah
Proxyji za SEO sledenje uvrstitvam: oglejte si rezultate, kot jih vidi lokalni uporabnik
SEO proxyji z zasebnim IPv4 v ZDA, VB, Vietnamu, na Japonskem in 4 drugih trgih, da uvrstitve, lokalni paketi in oglasi ustrezajo temu, kar vidijo domačini.
Proxyji po platformah
Amazon proxyji za prodajalce, ki vsakemu računu zagotovijo stalen naslov
Amazon proxyji za Seller Central, KDP in Merch: statični ISP v ZDA ali zasebni IPv4 v ZK/Japonski za vsak račun, v najemu le za vas in ohranjen ob obnovi.
IPV4 · united states
Ameriški nabor zasebnih IPv4 proxyjev za strganje podatkov, spremljanje uvrstitev in preverjanje oglasov
Kupite ameriške zasebne IPv4 proxyje: statični IP-ji podatkovnih centrov, en kupec na IP, neomejen prenos. Za strganje, SERP sledenje in preverjanje oglasov.
IPV4 · vietnam
Vietnamski zasebni IPv4 proxy: en fiksni IP na račun pri večjih količinah
Zasebni IPv4 proxyji za Vietnam: statični IP-ji podatkovnih centrov za enega kupca, ugodni na količino. Za seeding profile, dodatne Shopee trgovine in orodja.