Python requests cez overenú proxy, krok za krokom
Od inžinierskeho tímu ProxyV4 · Updated:
Ak chcete použiť proxy v Python requests, odovzdajte slovník proxies, ktorého kľúče 'http' aj 'https' smerujú na http://user:pass@ip:port. Priraďte tento slovník k objektu requests.Session() a rovnaké spojenie k proxy sa znovu použije pre každé volanie, čo je rýchlejšie než otváranie nového spojenia pri každej požiadavke. Nižšie nájdete: slovník, session, chyby, na ktoré môžete naraziť, a jednoriadkovú kontrolu výstupnej IP adresy od ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
Vysvetlenie slovníka proxies
| Nastavenie | Hodnota | Dôvod |
|---|---|---|
Kľúč 'http' | 'http://user:pass@ip:port' | Používa sa pre bežné http:// URL adresy |
Kľúč 'https' | 'http://user:pass@ip:port' | Stále ide o http:// proxy URL: urllib3 požiada proxy o tunel CONNECT a v ňom spustí TLS |
timeout | timeout=(5, 15) | 5 s na pripojenie, 15 s na čítanie, aby nedostupný cieľ nezablokoval vlákno |
| Rotácia | itertools.cycle(proxy_list) | Postupne strieda vaše statické IP adresy |
Prečo je Session lepšia ako samotné requests.get()
Každé samostatné volanie requests.get() vytvorí nový pool spojení, takže TCP spojenie s proxy a TLS handshake s cieľovým webom prebiehajú zakaždým znova. Objekt Session udržiava tieto spojenia aktívne medzi jednotlivými volaniami. Pri skripte, ktorý sťahuje stovky stránok cez jednu IP adresu, sa tento rozdiel viditeľne prejaví na celkovom čase behu.
Nastavte s.proxies.update(proxies) raz a každé volanie s.get() aj s.post() pôjde cez proxy. Jedna dôležitá vec: ak sú v prostredí nastavené premenné HTTP_PROXY alebo HTTPS_PROXY, requests ich môže skombinovať s nastaveniami session; ak chcete mať istotu, ktorá proxy sa použije, odovzdajte parameter proxies= priamo pri volaní.
Chyby a ako ich správne čítať
ProxyErrors407 Proxy Authentication Required: proxy je dostupná, ale prihlasovacie údaje v URL nezodpovedajú objednávke. Pozrite si stránku s chybou 407- Heslá obsahujúce znaky
@,:alebo/narušia štruktúru URL; najprv ich zakódujte pomocouurllib.parse.quote(password, safe='') - Zmena URL proxy na
https://zvyčajne preruší spojenie; ponechajtehttp://pre oba kľúče, pokiaľ váš proxy port nie je vyslovene TLS portom ConnectTimeoutpoukazuje na problém s IP adresou alebo portom, nie na prihlasovacie údaje; otestujte dostupnosť pomocou kontroly portov
Rovnaký postup v httpx a aiohttp
Formát URL zostáva rovnaký. V knižnici httpx vytvorte httpx.Client(proxy='http://user:pass@ip:port'); v aiohttp odovzdajte parameter proxy= do session.get(url, proxy=...). Rozsiahlejšie scrapovanie s plánovaním a opakovanými pokusmi je zvyčajne jednoduchšie realizovať v Scrapy.
Krok za krokom
- 1
Zostavte URL adresu proxy
Prepíšte každý riadok ProxyV4 v tvare
ip:port:user:passnahttp://user:pass@ip:port, alebo preveďte celý zoznam pomocou konvertora formátu proxy. - 2
Vytvorte slovník
Zapíšte
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Pripojte ho k Session
Vytvorte
s = requests.Session()a zavolajtes.proxies.update(proxies), aby sa spojenia medzi požiadavkami udržiavali aktívne. - 4
Vypíšte výstupnú IP adresu
Spustite
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP adresa vo výstupe by mala patriť proxy.
Často kladené otázky
Prečo má záznam pre 'https' URL adresu s http://?
Schéma definuje, ako Python komunikuje s proxy serverom, nie s cieľovou webovou stránkou. Knižnica urllib3 sa pripojí k proxy cez bežné HTTP, odošle požiadavku CONNECT a cez tento vytvorený tunel nadviaže TLS spojenie so stránkou na https://, takže prevádzka zostáva plne šifrovaná.
Ako rozložiť požiadavky medzi 25 statických proxy?
Uložte 25 URL adries do zoznamu, vytvorte pool = itertools.cycle(PROXIES) a pre každú požiadavku vyberte p = next(pool) a odovzdajte proxies={'http': p, 'https': p}. Dodržiavajte rozumné oneskorenie pre každú IP, aby žiadna adresa nebola preťažená.
Je prevádzka z Python skriptov meraná?
Nie. Balíky privátnych IPv4 a statických ISP od ProxyV4 zahŕňajú neobmedzený prenos dát, takže dlho bežiace skripty nenarazia na žiadny dátový limit.
Zdroje
Pool statických IP pre Python skripty
Privátne IPv4 v 7 krajinách a statické ISP v USA a vo Vietname. Kúpte si jednu IP alebo celý balík; cena za IP klesá s počtom kusov.
Zobraziť aktuálne ceny v USA