Python requests hitelesített proxyn keresztül, lépésről lépésre
A ProxyV4 mérnökcsapatától · Updated:
A proxy használatához a Python requests könyvtárban adjon át egy proxies szótárat, amelynek 'http' és 'https' kulcsa egyaránt a http://user:pass@ip:port címre mutat. Ha ezt a szótárat egy requests.Session() objektumhoz rendeli, a proxykapcsolat minden hívásnál újrafelhasználásra kerül, ami gyorsabb, mint kérésenként újat nyitni. Az alábbiakban bemutatjuk a szótárat, a sessiont, a várható hibákat és a(z) ProxyV4 kimenő IP-címének egysoros ellenőrzését.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
A proxies szótár részletesen
| Beállítás | Érték | Ok |
|---|---|---|
'http' kulcs | 'http://user:pass@ip:port' | A sima http:// URL-ekhez használatos |
'https' kulcs | 'http://user:pass@ip:port' | Továbbra is http:// proxy URL: a urllib3 egy CONNECT alagutat kér a proxytól, és azon belül futtatja a TLS-t |
timeout | timeout=(5, 15) | 5 mp a csatlakozásra, 15 mp az olvasásra, így a nem válaszoló célpont nem fagyasztja le a szálat |
| Rotáció | itertools.cycle(proxy_list) | Sorban kiosztja a statikus IP-címeket |
Miért jobb a Session a sima requests.get()-nél?
Minden legfelső szintű requests.get() hívás új kapcsolatkészletet hoz létre, így a proxyhoz vezető TCP-kapcsolat és a weboldallal történő TLS-kézfogás minden alkalommal megismétlődik. A Session életben tartja ezeket a kapcsolatokat a hívások között. Egy olyan szkriptnél, amely több száz oldalt kér le egyetlen IP-n keresztül, ez a különbség egyértelműen meglátszik a teljes futási időn.
Állítsa be egyszer az s.proxies.update(proxies) értéket, és minden s.get(), valamint s.post() a proxyn keresztül fut le. Fontos tudni: ha a HTTP_PROXY vagy a HTTPS_PROXY be van állítva a környezetben, a requests kombinálhatja azokat a session beállításaival; adjon át proxies= paramétert közvetlenül a hívásban, ha biztosra akar menni, melyik érvényesül.
Hibák és értelmezésük
ProxyError407 Proxy Authentication Requiredhibával: a proxy elérhető, de az URL-ben szereplő bejelentkezési adatok nem egyeznek a rendeléssel. Lásd a 407-es hibaoldalt- A
@,:vagy/karaktert tartalmazó jelszavak megtörik az URL-t; először kódolja őket aurllib.parse.quote(password, safe='')függvénnyel - A proxy URL átváltása
https://protokollra általában megszakítja a kapcsolatot; tartsa meg ahttp://protokollt mindkét kulcshoz, kivéve ha a proxy portja kifejezetten TLS-port - A
ConnectTimeoutaz IP-címre vagy a portra utal, nem a hitelesítési adatokra; ellenőrizze az elérhetőséget a portellenőrzővel
Ugyanez a minta httpx és aiohttp alatt
Az URL-formátum változatlan marad. httpx esetén hozza létre a klienst: httpx.Client(proxy='http://user:pass@ip:port'); aiohttp esetén adja át a proxy= paramétert: session.get(url, proxy=...). Az ütemezést és újrapróbálkozást igénylő nagyobb adatgyűjtésekhez általában egyszerűbb a Scrapy használata.
Lépésről lépésre
- 1
Állítsa össze a proxy URL-t
Írja át az egyes ProxyV4
ip:port:user:passsorokathttp://user:pass@ip:portalakra, vagy alakítsa át a teljes listát a proxy formátum konvertálóval. - 2
Hozza létre a szótárat
Írja be:
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Csatolja egy Sessionhöz
Hozzon létre egy
s = requests.Session()példányt, és hívja meg azs.proxies.update(proxies)metódust, hogy a kapcsolatok megmaradjanak a kérések között. - 4
Írassa ki a kimenő IP-címet
Futtassa a
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())parancsot; a kimenetben megjelenő IP-nek a proxy címének kell lennie.
Gyakran ismételt kérdések
Miért http:// URL a 'https' bejegyzés?
A séma azt adja meg, ahogyan a Python a proxyval kommunikál, nem pedig a weboldallal való kapcsolatot. A urllib3 sima HTTP-n keresztül csatlakozik a proxyhoz, elküldi a CONNECT kérést, majd ezen az alagúton keresztül végzi a TLS-t a https:// weboldallal, így az oldal forgalma mindvégig titkosított.
Hogyan oszthatom el a kéréseket 25 statikus proxy között?
Helyezze a 25 URL-t egy listába, hozza létre a pool = itertools.cycle(PROXIES) iterátort, majd minden kérésnél kérje le a p = next(pool) elemet, és adja át a proxies={'http': p, 'https': p} értéket. Tartson ésszerű időközöket IP-nként, hogy ne terheljen túl egyetlen címet sem.
Forgalmi korlátos a Python szkriptek adatforgalma?
Nem. A ProxyV4 privát IPv4 és statikus ISP csomagjai korlátlan sávszélességgel érkeznek, így a hosszan futó szkriptek nem ütköznek adatforgalmi korlátba.
Források
Statikus IP-készlet Python szkriptekhez
Privát IPv4 7 országban, valamint statikus ISP az USA-ban és Vietnámban. Vásároljon egyetlen IP-t vagy csomagot; az IP-nkénti ár a mennyiséggel csökken.
Élő amerikai árak megtekintése