Python requests přes ověřenou proxy krok za krokem
Od inženýrského týmu ProxyV4 · Updated:
Chcete-li v Python requests použít proxy, předejte slovník proxies, jehož klíče 'http' i 'https' odkazují na http://user:pass@ip:port. Tento slovník nastavte na requests.Session() a stejné spojení s proxy se znovu použije pro každé volání, což je rychlejší než otevírat nové pro každý požadavek. Níže najdete slovník, session, chyby, na které můžete narazit, a jednořádkovou kontrolu výstupní IP adresy od ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
Vysvětlení slovníku proxies
| Nastavení | Hodnota | Důvod |
|---|---|---|
Klíč 'http' | 'http://user:pass@ip:port' | Používá se pro běžné adresy URL s http:// |
Klíč 'https' | 'http://user:pass@ip:port' | Stále jde o http:// proxy URL: urllib3 požádá proxy o CONNECT tunel a spustí v něm TLS |
timeout | timeout=(5, 15) | 5 s na připojení, 15 s na čtení, aby nedostupný cíl nezablokoval vlákno |
| Střídání | itertools.cycle(proxy_list) | Postupně přiděluje vaše statické IP adresy |
Proč je Session lepší než samotné requests.get()
Každé samostatné volání requests.get() vytváří nový fond spojení, takže se TCP spojení s proxy i TLS handshake se stránkou opakují při každém volání. Session udržuje tato spojení mezi voláními aktivní. U skriptu, který stahuje stovky stránek přes jednu IP adresu, je tento rozdíl v celkové době běhu znatelný.
Nastavte s.proxies.update(proxies) jednou a každé s.get() i s.post() půjde přes proxy. Jedna důležitá věc: pokud jsou v systémovém prostředí nastaveny proměnné HTTP_PROXY nebo HTTPS_PROXY, requests je může zkombinovat s nastavením session; pokud potřebujete mít jistotu, co se použije, předejte proxies= přímo při samotném volání.
Chyby a jak jim rozumět
ProxyErrors kódem407 Proxy Authentication Required: proxy je dostupná, ale přihlašovací údaje ve vaší URL neodpovídají objednávce. Podívejte se na stránku s chybou 407- Hesla obsahující
@,:nebo/naruší URL; nejprve je zakódujte pomocíurllib.parse.quote(password, safe='') - Změna URL proxy na
https://obvykle přeruší spojení; ponechtehttp://pro oba klíče, pokud váš proxy port není výslovně TLS port ConnectTimeoutukazuje na problém s IP adresou nebo portem, nikoli s přihlašovacími údaji; ověřte dostupnost pomocí nástroje pro kontrolu portů
Stejný vzor v httpx a aiohttp
Formát URL zůstává stejný. V httpx vytvořte httpx.Client(proxy='http://user:pass@ip:port'); v aiohttp předejte proxy= do session.get(url, proxy=...). Rozsáhlejší crawling s plánováním a opakovanými pokusy je obvykle jednodušší v Scrapy.
Krok za krokem
- 1
Sestavte URL proxy
Přepište každý řádek
ip:port:user:passod ProxyV4 do tvaruhttp://user:pass@ip:port, nebo převeďte celý seznam pomocí převodníku formátu proxy. - 2
Vytvořte slovník
Zapište
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Připojte jej k Session
Vytvořte
s = requests.Session()a zavolejtes.proxies.update(proxies), aby se spojení mezi požadavky udržovala aktivní. - 4
Vypište výstupní IP adresu
Spusťte
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP adresa ve výstupu by měla patřit proxy.
Často kladené otázky
Proč je položka 'https' ve tvaru http:// URL?
Schéma popisuje, jak Python komunikuje s proxy, nikoli s webovou stránkou. urllib3 se k proxy připojí přes běžné HTTP, odešle CONNECT a přes tento tunel naváže TLS spojení s webem na https://, takže provoz na stránku zůstává šifrovaný.
Jak rozdělit požadavky mezi 25 statických proxy?
Vložte 25 URL do seznamu, vytvořte pool = itertools.cycle(PROXIES) a pro každý požadavek vezměte p = next(pool) a předejte proxies={'http': p, 'https': p}. Udržujte mezi požadavky na jednu IP rozumnou prodlevu, aby nebyla žádná adresa přetížena.
Je provoz z pythonových skriptů měřený?
Ne. Tarify privátních IPv4 a statických ISP od ProxyV4 nabízejí neomezenou šířku pásma, takže dlouho běžící skripty nenarazí na žádný datový limit.
Zdroje
Fond statických IP adres pro skripty v Pythonu
Privátní IPv4 v 7 zemích a statické ISP v USA a Vietnamu. Kupte si jednu IP nebo celý balíček; cena za IP klesá s množstvím.
Zkontrolovat aktuální ceny v USA