ProxyV4

Python requests hitelesített proxyn keresztül, lépésről lépésre

· Updated:

A proxy használatához a Python requests könyvtárban adjon át egy proxies szótárat, amelynek 'http' és 'https' kulcsa egyaránt a http://user:pass@ip:port címre mutat. Ha ezt a szótárat egy requests.Session() objektumhoz rendeli, a proxykapcsolat minden hívásnál újrafelhasználásra kerül, ami gyorsabb, mint kérésenként újat nyitni. Az alábbiakban bemutatjuk a szótárat, a sessiont, a várható hibákat és a(z) ProxyV4 kimenő IP-címének egysoros ellenőrzését.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Privát IPv4 (adatközponti)
🇺🇸 Egyesült Államok
Készleten
Kezdőár:
1,10 USD / IP / hónap
Mennyiségi kedvezmények
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Vásárlás: Egyesült Államok
Privát IPv4 (adatközponti)
🇻🇳 Vietnám
Készleten
Kezdőár:
1,10 USD / IP / hónap
Mennyiségi kedvezmények
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Vásárlás: Vietnám

A proxies szótár részletesen

BeállításÉrtékOk
'http' kulcs'http://user:pass@ip:port'A sima http:// URL-ekhez használatos
'https' kulcs'http://user:pass@ip:port'Továbbra is http:// proxy URL: a urllib3 egy CONNECT alagutat kér a proxytól, és azon belül futtatja a TLS-t
timeouttimeout=(5, 15)5 mp a csatlakozásra, 15 mp az olvasásra, így a nem válaszoló célpont nem fagyasztja le a szálat
Rotációitertools.cycle(proxy_list)Sorban kiosztja a statikus IP-címeket

Miért jobb a Session a sima requests.get()-nél?

Minden legfelső szintű requests.get() hívás új kapcsolatkészletet hoz létre, így a proxyhoz vezető TCP-kapcsolat és a weboldallal történő TLS-kézfogás minden alkalommal megismétlődik. A Session életben tartja ezeket a kapcsolatokat a hívások között. Egy olyan szkriptnél, amely több száz oldalt kér le egyetlen IP-n keresztül, ez a különbség egyértelműen meglátszik a teljes futási időn.

Állítsa be egyszer az s.proxies.update(proxies) értéket, és minden s.get(), valamint s.post() a proxyn keresztül fut le. Fontos tudni: ha a HTTP_PROXY vagy a HTTPS_PROXY be van állítva a környezetben, a requests kombinálhatja azokat a session beállításaival; adjon át proxies= paramétert közvetlenül a hívásban, ha biztosra akar menni, melyik érvényesül.

Hibák és értelmezésük

  • ProxyError 407 Proxy Authentication Required hibával: a proxy elérhető, de az URL-ben szereplő bejelentkezési adatok nem egyeznek a rendeléssel. Lásd a 407-es hibaoldalt
  • A @, : vagy / karaktert tartalmazó jelszavak megtörik az URL-t; először kódolja őket a urllib.parse.quote(password, safe='') függvénnyel
  • A proxy URL átváltása https:// protokollra általában megszakítja a kapcsolatot; tartsa meg a http:// protokollt mindkét kulcshoz, kivéve ha a proxy portja kifejezetten TLS-port
  • A ConnectTimeout az IP-címre vagy a portra utal, nem a hitelesítési adatokra; ellenőrizze az elérhetőséget a portellenőrzővel

Ugyanez a minta httpx és aiohttp alatt

Az URL-formátum változatlan marad. httpx esetén hozza létre a klienst: httpx.Client(proxy='http://user:pass@ip:port'); aiohttp esetén adja át a proxy= paramétert: session.get(url, proxy=...). Az ütemezést és újrapróbálkozást igénylő nagyobb adatgyűjtésekhez általában egyszerűbb a Scrapy használata.

Lépésről lépésre

  1. 1

    Állítsa össze a proxy URL-t

    Írja át az egyes ProxyV4 ip:port:user:pass sorokat http://user:pass@ip:port alakra, vagy alakítsa át a teljes listát a proxy formátum konvertálóval.

  2. 2

    Hozza létre a szótárat

    Írja be: proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Csatolja egy Sessionhöz

    Hozzon létre egy s = requests.Session() példányt, és hívja meg az s.proxies.update(proxies) metódust, hogy a kapcsolatok megmaradjanak a kérések között.

  4. 4

    Írassa ki a kimenő IP-címet

    Futtassa a print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()) parancsot; a kimenetben megjelenő IP-nek a proxy címének kell lennie.

Gyakran ismételt kérdések

Miért http:// URL a 'https' bejegyzés?

A séma azt adja meg, ahogyan a Python a proxyval kommunikál, nem pedig a weboldallal való kapcsolatot. A urllib3 sima HTTP-n keresztül csatlakozik a proxyhoz, elküldi a CONNECT kérést, majd ezen az alagúton keresztül végzi a TLS-t a https:// weboldallal, így az oldal forgalma mindvégig titkosított.

Hogyan oszthatom el a kéréseket 25 statikus proxy között?

Helyezze a 25 URL-t egy listába, hozza létre a pool = itertools.cycle(PROXIES) iterátort, majd minden kérésnél kérje le a p = next(pool) elemet, és adja át a proxies={'http': p, 'https': p} értéket. Tartson ésszerű időközöket IP-nként, hogy ne terheljen túl egyetlen címet sem.

Forgalmi korlátos a Python szkriptek adatforgalma?

Nem. A ProxyV4 privát IPv4 és statikus ISP csomagjai korlátlan sávszélességgel érkeznek, így a hosszan futó szkriptek nem ütköznek adatforgalmi korlátba.

Források

Statikus IP-készlet Python szkriptekhez

Privát IPv4 7 országban, valamint statikus ISP az USA-ban és Vietnámban. Vásároljon egyetlen IP-t vagy csomagot; az IP-nkénti ár a mennyiséggel csökken.

Élő amerikai árak megtekintése

Related articles

Proxyk platform szerint
Proxyk web scrapinghez: fix IP-pool korlátlan adatforgalommal
Web scraping proxyk Python, Scrapy, Playwright és Selenium eszközökhöz: privát IPv4 és statikus ISP-címek, korlátlan sávszélesség, fix IP-alapú árazás.
Proxybeállítás
Playwright proxy-hitelesítés, kontextusonként egy statikus IP
Adjon a Playwright kontextusokhoz hitelesített HTTP(S) proxyt Node.js vagy Pythonban, igazítsa az időzónát és nyelvet az IP-hez, és ellenőrizze a kilépő címet.
Proxybeállítás
Scrapy-proxyk: meta['proxy'], middleware-sorrend és rotáció
Használjon hitelesített HTTP(S)-proxykat Scrapyben: request.meta['proxy'], middleware a HttpProxyMiddleware (750) elé, IP-rotáció és a gyűjtés ütemezése.
Ingyenes eszközök
Alakítsa át a proxylistát az eszköze által igényelt formátumra
Alakítson át proxylistákat a böngészőben ip:port:user:pass, user:pass@ip:port, http:// URL-ek, SOCKS5 URI-k, JSON-tömbök és FoxyProxy-fájlok között, tömegesen.
Proxyk platform szerint
Proxyk SEO pozíciókövetéshez: lássa a találati oldalt a helyi keresők szemével
SEO pozíciókövető proxyk dedikált IPv4-gyel az USA-ban, az Egyesült Királyságban, Vietnámban és további piacokon a pontos helyi találatokért és hirdetésekért.
Proxyk platform szerint
Amazon eladói proxyk, amelyek állandó címet biztosítanak minden fióknak
Amazon-proxyk Seller Centralhoz, KDP-hez és Merch-höz: amerikai statikus ISP vagy brit/japán privát IPv4 fiókonként, csak Önnek, megújításkor megtartva.
IPV4 · united states
Amerikai privát IPv4 proxypool adatgyűjtéshez, rangsorkövetéshez és hirdetésellenőrzéshez
Vásároljon privát USA IPv4 proxyt: statikus amerikai adatközponti IP-k, IP-nként egy ügyfél, korlátlan sávszélesség scrapingre, SERP- és hirdetés-ellenőrzésre.
IPV4 · vietnam
Vietnámi privát IPv4 proxy: Egy fix IP fiókonként, nagy tételben
Vietnámi privát IPv4 proxyk: statikus adatközponti IP-k egyetlen ügyfélnek, mennyiségi áron. Seeding profilokhoz, másodlagos Shopee boltokhoz és eszközökhöz.