Zahteve Python prek overjenega proxyja, korak za korakom
Avtor: inženirska ekipa ProxyV4 · Updated:
Za uporabo proxyja v knjižnici Python requests posredujte slovar proxies, pri katerem ključa 'http' in 'https' oba kažeta na http://user:pass@ip:port. Ta slovar dodelite objektu requests.Session() in ista povezava s proxyjem se bo znova uporabila za vsak klic, kar je hitreje kot odpiranje nove pri vsaki zahtevi. Spodaj: slovar, seja, napake, na katere boste verjetno naleteli, ter enovrstično preverjanje izhodnega naslova IP storitve ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 $
- 3+ IP-jev1,70 $
- 10+ IP-jev1,60 $
- 25+ IP-jev1,50 $
- 50+ IP-jev1,40 $
- 100+ IP-jev1,30 $
- 200+ IP-jev1,20 $
- 500+ IP-jev1,10 $
- 1 IP1,85 $
- 3+ IP-jev1,70 $
- 10+ IP-jev1,60 $
- 25+ IP-jev1,50 $
- 50+ IP-jev1,40 $
- 100+ IP-jev1,30 $
- 200+ IP-jev1,20 $
- 500+ IP-jev1,10 $
Pojasnilo slovarja proxies
| Nastavitev | Vrednost | Razlog |
|---|---|---|
Ključ 'http' | 'http://user:pass@ip:port' | Uporablja se za navadne URL-je http:// |
Ključ 'https' | 'http://user:pass@ip:port' | Še vedno proxy URL http://: urllib3 od proxyja zahteva tunel CONNECT in v njem izvaja TLS |
timeout | timeout=(5, 15) | 5 s za povezavo, 15 s za branje, da neodzivna tarča ne more zamrzniti niti |
| Menjavanje | itertools.cycle(proxy_list) | Zaporedoma dodeljuje vaše statične naslove IP |
Zakaj je Session boljši od običajnega requests.get()
Vsak vrhnji klic requests.get() zgradi nov sklad povezav, zato se povezava TCP s proxyjem in stisk rok TLS s spletnim mestom ponovita vsakič znova. Objekt Session ohranja te povezave odprte med klici. Pri skriptu, ki prek enega naslova IP prenese na stotine strani, je ta razlika opazna v celotnem času izvajanja.
Nastavite s.proxies.update(proxies) enkrat in vsak s.get() ter s.post() bo šel prek proxyja. Pomembno je vedeti: če sta v okolju nastavljeni spremenljivki HTTP_PROXY ali HTTPS_PROXY, ju knjižnica requests lahko združi z nastavitvami seje; posredujte proxies= neposredno v klicu, kadar se želite prepričati, kateri proxy se uporablja.
Napake in kako jih razumeti
ProxyErrorz407 Proxy Authentication Required: proxy je dosegljiv, vendar se prijava v vašem URL-ju ne ujema z naročilom. Oglejte si stran z napako 407- Gesla, ki vsebujejo
@,:ali/, pokvarijo URL; najprej jih kodirajte zurllib.parse.quote(password, safe='') - Sprememba proxy URL-ja v
https://običajno prekine povezavo; ohranitehttp://za oba ključa, razen če so vaša vrata proxyja posebej vrata TLS ConnectTimeoutnakazuje na težavo z naslovom IP ali vrati, ne s poverilnicami; preizkusite dosegljivost z orodjem za preverjanje vrat
Enak vzorec v httpx in aiohttp
Oblika URL-ja se prenaša. V httpx ustvarite httpx.Client(proxy='http://user:pass@ip:port'); v aiohttp posredujte proxy= klicu session.get(url, proxy=...). Večja plazenja z razporejanjem in ponovnimi poskusi so običajno enostavnejša v orodju Scrapy.
Korak za korakom
- 1
Sestavite URL proxyja
Prepišite vsako vrstico ProxyV4
ip:port:user:passv oblikohttp://user:pass@ip:portali pretvorite celoten seznam z orodjem za pretvorbo oblike proxyjev. - 2
Ustvarite slovar
Zapišite
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Pripnite ga seji Session
Ustvarite
s = requests.Session()in pokličites.proxies.update(proxies), da povezave ostanejo aktivne med zahtevami. - 4
Izpišite izhodni IP
Zaženite
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); izpisani naslov IP bi moral biti naslov proxyja.
Pogosta vprašanja
Zakaj je vnos 'https' URL http://?
Shema opisuje, kako se Python pogovarja s proxyjem in ne s spletnim mestom. Knjižnica urllib3 se s proxyjem poveže prek navadnega HTTP, pošlje CONNECT ter nato prek tega tunela vzpostavi TLS s spletnim mestom https://, zato je promet strani še vedno šifriran.
Kako porazdelim zahteve med 25 statičnih proxyjev?
Vnesite 25 URL-jev v seznam, ustvarite pool = itertools.cycle(PROXIES) ter za vsako zahtevo vzemite p = next(pool) in podajte proxies={'http': p, 'https': p}. Ohranite razumen zamik na posamezen IP, da noben naslov ni preobremenjen.
Ali se promet iz skriptov Python meri?
Ne. Paketi zasebnih IPv4 in statičnih ISP ponudnika ProxyV4 vključujejo neomejeno pasovno širino, zato dolgotrajni skripti ne dosežejo podatkovne omejitve.
Viri
Bazen statičnih naslovov IP za skripte Python
Zasebni IPv4 v 7 državah in statični ISP v ZDA ter Vietnamu. Kupite posamezen IP ali paket; cena na IP se s količino znižuje.
Preverite trenutne cene za ZDA