Kërkesat Python requests përmes një proxy të autentikuar, hap pas hapi
Nga ekipi inxhinierik i ProxyV4 · Updated:
Për të përdorur një proxy në Python requests, kaloni një fjalor proxies ku çelësat 'http' dhe 'https' tregojnë të dy te http://user:pass@ip:port. Vendoseni këtë fjalor në një requests.Session() dhe e njëjta lidhje me proxy-n ripërdoret për çdo thirrje, gjë që është më e shpejtë sesa hapja e një lidhjeje të re për çdo kërkesë. Më poshtë: fjalori, sesioni, gabimet me të cilat ka të ngjarë të haseni dhe një kontroll me një rresht i IP-së dalëse të ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
Shpjegimi i fjalorit proxies
| Cilësimi | Vlera | Arsyeja |
|---|---|---|
Çelësi 'http' | 'http://user:pass@ip:port' | Përdoret për URL-të e thjeshta http:// |
Çelësi 'https' | 'http://user:pass@ip:port' | Gjithsesi një URL proxy http://: urllib3 i kërkon proxy-t një tunel CONNECT dhe ekzekuton TLS brenda tij |
timeout | timeout=(5, 15) | 5 s për t'u lidhur, 15 s për të lexuar, në mënyrë që një objektiv jofunksional të mos bllokojë thread-in |
| Rotacioni | itertools.cycle(proxy_list) | Shpërndan IP-të tuaja statike me radhë |
Pse një Session është më i mirë se requests.get() i thjeshtë
Çdo thirrje e nivelit të lartë requests.get() ndërton një connection pool të ri, kështu që lidhja TCP me proxy-n dhe shtrëngimi i duarve TLS me faqen përsëriten çdo herë. Një Session i mban këto lidhje aktive midis thirrjeve. Për një skript që shkarkon qindra faqe përmes një IP-je, ky ndryshim është i dukshëm në kohën totale të ekzekutimit.
Vendosni s.proxies.update(proxies) një herë dhe çdo s.get() e s.post() kalon përmes proxy-t. Diçka që duhet ditur: nëse HTTP_PROXY ose HTTPS_PROXY janë të caktuar në mjedis, requests mund t'i kombinojë ato me cilësimet e sesionit; kaloni proxies= në vetë thirrjen kur duhet të jeni të sigurt se cili përdoret.
Gabimet dhe si t'i lexoni ato
ProxyErrorme407 Proxy Authentication Required: proxy është i arritshëm, por të dhënat e hyrjes në URL-në tuaj nuk përputhen me porosinë. Shihni faqen e gabimit 407- Fjalëkalimet që përmbajnë
@,:ose/prishin URL-në; kodojini ato fillimisht meurllib.parse.quote(password, safe='') - Ndryshimi i URL-së së proxy-t në
https://zakonisht e prish lidhjen; mbanihttp://për të dy çelësat përveç nëse porta juaj e proxy-t është posaçërisht një portë TLS ConnectTimeouttregon IP-në ose portën, jo kredencialet; testoni arritshmërinë me kontrolluesin e portave
I njëjti model në httpx dhe aiohttp
Formati i URL-së mbetet i njëjtë. Në httpx, krijoni httpx.Client(proxy='http://user:pass@ip:port'); në aiohttp, kaloni proxy= te session.get(url, proxy=...). Crawl-et më të mëdha me planifikim dhe ritenta zakonisht janë më të lehta në Scrapy.
Hap pas hapi
- 1
Ndërtoni URL-në e proxy-t
Rishkruani çdo rresht
ip:port:user:passtë ProxyV4 sihttp://user:pass@ip:port, ose konvertoni të gjithë listën me konvertuesin e formatit të proxy-ve. - 2
Krijoni fjalorin
Shkruani
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Lidheni me një Session
Krijoni
s = requests.Session()dhe thirrnis.proxies.update(proxies)në mënyrë që lidhjet të mbahen aktive midis kërkesave. - 4
Shfaqni IP-në dalëse
Ekzekutoni
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP-ja në rezultat duhet të jetë ajo e proxy-t.
Pyetjet e shpeshta
Pse hyrja 'https' është një URL http://?
Skema përshkruan se si Python komunikon me proxy-n, jo me uebsajtin. urllib3 lidhet me proxy-n përmes HTTP të thjeshtë, dërgon CONNECT dhe më pas kryen TLS me faqen https:// përmes atij tuneli, kështu që trafiku i faqes mbetet i koduar.
Si t'i shpërndaj kërkesat në 25 proxy statikë?
Vendosni 25 URL-të në një listë, krijoni pool = itertools.cycle(PROXIES), dhe për çdo kërkesë merrni p = next(pool) dhe kaloni proxies={'http': p, 'https': p}. Mbani një vonesë të arsyeshme për çdo IP që asnjë adresë e vetme të mos mbingarkohet.
A matet trafiku nga skriptet Python?
Jo. Planet me IPv4 private dhe ISP statike të ProxyV4 vijnë me brez të pakufizuar kalimi, kështu që skriptet që ekzekutohen për një kohë të gjatë nuk hasin kufizime të dhënash.
Burimet
Një grup IP-sh statike për skripte Python
IPv4 private në 7 vende plus ISP statike në SHBA dhe Vietnam. Blini një IP të vetme ose në grup; çmimi për IP ulet me sasinë.
Shikoni çmimet e drejtpërdrejta për SHBA