ProxyV4

Kërkesat Python requests përmes një proxy të autentikuar, hap pas hapi

· Updated:

Për të përdorur një proxy në Python requests, kaloni një fjalor proxies ku çelësat 'http' dhe 'https' tregojnë të dy te http://user:pass@ip:port. Vendoseni këtë fjalor në një requests.Session() dhe e njëjta lidhje me proxy-n ripërdoret për çdo thirrje, gjë që është më e shpejtë sesa hapja e një lidhjeje të re për çdo kërkesë. Më poshtë: fjalori, sesioni, gabimet me të cilat ka të ngjarë të haseni dhe një kontroll me një rresht i IP-së dalëse të ProxyV4.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
IPv4 privat (datacenter)
🇺🇸 Shtetet e Bashkuara
Në gjendje
Nga
1,10 US$ / IP / muaj
Zbritje për sasi
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Bli në Shtetet e Bashkuara
IPv4 privat (datacenter)
🇻🇳 Vietnami
Në gjendje
Nga
1,10 US$ / IP / muaj
Zbritje për sasi
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Bli në Vietnami

Shpjegimi i fjalorit proxies

CilësimiVleraArsyeja
Çelësi 'http''http://user:pass@ip:port'Përdoret për URL-të e thjeshta http://
Çelësi 'https''http://user:pass@ip:port'Gjithsesi një URL proxy http://: urllib3 i kërkon proxy-t një tunel CONNECT dhe ekzekuton TLS brenda tij
timeouttimeout=(5, 15)5 s për t'u lidhur, 15 s për të lexuar, në mënyrë që një objektiv jofunksional të mos bllokojë thread-in
Rotacioniitertools.cycle(proxy_list)Shpërndan IP-të tuaja statike me radhë

Pse një Session është më i mirë se requests.get() i thjeshtë

Çdo thirrje e nivelit të lartë requests.get() ndërton një connection pool të ri, kështu që lidhja TCP me proxy-n dhe shtrëngimi i duarve TLS me faqen përsëriten çdo herë. Një Session i mban këto lidhje aktive midis thirrjeve. Për një skript që shkarkon qindra faqe përmes një IP-je, ky ndryshim është i dukshëm në kohën totale të ekzekutimit.

Vendosni s.proxies.update(proxies) një herë dhe çdo s.get() e s.post() kalon përmes proxy-t. Diçka që duhet ditur: nëse HTTP_PROXY ose HTTPS_PROXY janë të caktuar në mjedis, requests mund t'i kombinojë ato me cilësimet e sesionit; kaloni proxies= në vetë thirrjen kur duhet të jeni të sigurt se cili përdoret.

Gabimet dhe si t'i lexoni ato

  • ProxyError me 407 Proxy Authentication Required: proxy është i arritshëm, por të dhënat e hyrjes në URL-në tuaj nuk përputhen me porosinë. Shihni faqen e gabimit 407
  • Fjalëkalimet që përmbajnë @, : ose / prishin URL-në; kodojini ato fillimisht me urllib.parse.quote(password, safe='')
  • Ndryshimi i URL-së së proxy-t në https:// zakonisht e prish lidhjen; mbani http:// për të dy çelësat përveç nëse porta juaj e proxy-t është posaçërisht një portë TLS
  • ConnectTimeout tregon IP-në ose portën, jo kredencialet; testoni arritshmërinë me kontrolluesin e portave

I njëjti model në httpx dhe aiohttp

Formati i URL-së mbetet i njëjtë. Në httpx, krijoni httpx.Client(proxy='http://user:pass@ip:port'); në aiohttp, kaloni proxy= te session.get(url, proxy=...). Crawl-et më të mëdha me planifikim dhe ritenta zakonisht janë më të lehta në Scrapy.

Hap pas hapi

  1. 1

    Ndërtoni URL-në e proxy-t

    Rishkruani çdo rresht ip:port:user:pass të ProxyV4 si http://user:pass@ip:port, ose konvertoni të gjithë listën me konvertuesin e formatit të proxy-ve.

  2. 2

    Krijoni fjalorin

    Shkruani proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Lidheni me një Session

    Krijoni s = requests.Session() dhe thirrni s.proxies.update(proxies) në mënyrë që lidhjet të mbahen aktive midis kërkesave.

  4. 4

    Shfaqni IP-në dalëse

    Ekzekutoni print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP-ja në rezultat duhet të jetë ajo e proxy-t.

Pyetjet e shpeshta

Pse hyrja 'https' është një URL http://?

Skema përshkruan se si Python komunikon me proxy-n, jo me uebsajtin. urllib3 lidhet me proxy-n përmes HTTP të thjeshtë, dërgon CONNECT dhe më pas kryen TLS me faqen https:// përmes atij tuneli, kështu që trafiku i faqes mbetet i koduar.

Si t'i shpërndaj kërkesat në 25 proxy statikë?

Vendosni 25 URL-të në një listë, krijoni pool = itertools.cycle(PROXIES), dhe për çdo kërkesë merrni p = next(pool) dhe kaloni proxies={'http': p, 'https': p}. Mbani një vonesë të arsyeshme për çdo IP që asnjë adresë e vetme të mos mbingarkohet.

A matet trafiku nga skriptet Python?

Jo. Planet me IPv4 private dhe ISP statike të ProxyV4 vijnë me brez të pakufizuar kalimi, kështu që skriptet që ekzekutohen për një kohë të gjatë nuk hasin kufizime të dhënash.

Burimet

Një grup IP-sh statike për skripte Python

IPv4 private në 7 vende plus ISP statike në SHBA dhe Vietnam. Blini një IP të vetme ose në grup; çmimi për IP ulet me sasinë.

Shikoni çmimet e drejtpërdrejta për SHBA

Related articles

Proxy sipas platformës
Proxy për web scraping: grup fiks IP-sh me trafik të pakufizuar
Proxy për web scraping për Python, Scrapy, Playwright e Selenium: adresat private IPv4 dhe ISP statike, brez i pakufizuar, çmim fiks për çdo IP.
Konfigurimi i proxy-t
Autentikimi i proxy-t në Playwright, një IP statike për kontekst
Jepini çdo konteksti Playwright një proxy HTTP(S) të autentikuar në Node.js ose Python, përshtatni zonën kohore e gjuhën me IP-në dhe konfirmoni adresën dalëse.
Konfigurimi i proxy-t
Proxy për Scrapy: meta['proxy'], renditja e middleware dhe rrotullimi
Përdorni proxy HTTP(S) në Scrapy: vendosni request.meta['proxy'], renditni para HttpProxyMiddleware (750), rrotulloni IP-të dhe kontrolloni ritmin e crawl-it.
Vegla falas
Riformatoni listën e proxy-ve në formatin që kërkon mjeti juaj
Konvertoni lista proxy në shfletues midis ip:port:user:pass, user:pass@ip:port, URL-ve http://, URI-ve SOCKS5, vargjeve JSON dhe skedarëve FoxyProxy, në masë.
Proxy sipas platformës
Proxy për ndjekjen e renditjes SEO: shikoni faqen e rezultateve siç e sheh një kërkues lokal
Proxy për SEO me IPv4 private në SHBA, MB, Vietnam, Japoni e 4 tregje të tjera, që renditjet, paketat lokale e reklamat të përputhen me çfarë shohin vendasit.
Proxy sipas platformës
Proxy për shitësit në Amazon që i japin çdo llogarie një adresë të përhershme
Proxy Amazon për Seller Central, KDP e Merch: ISP statike në SHBA ose IPv4 private në MB/Japoni për llogari, me qira vetëm për ju dhe që ruhet në rinovim.
IPV4 · united states
Pool Proxy Privat IPv4 në SHBA për Scraping, Monitorim Renditjeje dhe Kontroll Reklamash
Blini proxy privatë IPv4 në SHBA: IP statike datacenter, një klient për IP, trafik i pakufizuar. Për scraping, ndjekje SERP dhe verifikim reklamash në SHBA.
IPV4 · vietnam
Proxy Privat IPv4 i Vietnamit: Një IP Fikse për Llogari në Sasi të Mëdha
Proxy privatë IPv4 në Vietnam: IP statike datacenter, një klient për secilën, çmim për vëllim. Për profile seeding, dyqane dytësore në Shopee dhe vegla pune.