ProxyV4

Python requests per autentifikuotą proxy žingsnis po žingsnio

· Updated:

Norėdami naudoti proxy Python requests bibliotekoje, perduokite proxies žodyną, kurio raktai 'http' ir 'https' abu nukreipia į http://user:pass@ip:port. Priskirkite šį žodyną requests.Session() ir tas pats ryšys su proxy bus naudojamas pakartotinai kiekvienai užklausai – tai daug greičiau nei atidaryti naują kaskart. Žemiau: žodynas, sesija, dažniausiai pasitaikančios klaidos ir vienos eilutės ProxyV4 išorinio IP patikra.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Privatus IPv4 (duomenų centras)
🇺🇸 Jungtinės Valstijos
Yra sandėlyje
Nuo
1,10 USD / IP / mėn.
Kiekio nuolaidos
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Pirkti Jungtinės Valstijos
Privatus IPv4 (duomenų centras)
🇻🇳 Vietnamas
Yra sandėlyje
Nuo
1,10 USD / IP / mėn.
Kiekio nuolaidos
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Pirkti Vietnamas

proxies žodyno paaiškinimas

NustatymasReikšmėPaskirtis
'http' key'http://user:pass@ip:port'Naudojamas paprastiems http:// URL
'https' key'http://user:pass@ip:port'Vis tiek http:// proxy URL: urllib3 paprašo proxy CONNECT tunelio ir vykdo TLS jo viduje
timeouttimeout=(5, 15)5 s prisijungimui, 15 s nuskaitymui, kad neatsakantis taikinys neužšaldytų gijos
Rotationitertools.cycle(proxy_list)Paeiliui paskirsto jūsų statinius IP adresus

Kodėl Session yra pranašesnė už paprastą requests.get()

Kiekvienas tiesioginis requests.get() iškvietimas sukuria naują ryšių telkinį, todėl TCP ryšys su proxy ir TLS pasisveikinimas su svetaine kartojami kaskart. Session išlaiko šiuos ryšius aktyvius tarp iškvietimų. Skriptui, kuris siunčia šimtus puslapių per vieną IP, šis skirtumas akivaizdžiai matomas bendrame vykdymo laike.

Nustatykite s.proxies.update(proxies) vieną kartą, ir kiekvienas s.get() bei s.post() keliaus per proxy. Svarbu žinoti: jei aplinkoje nustatyti HTTP_PROXY arba HTTPS_PROXY, requests gali juos sujungti su sesijos nustatymais; perduokite proxies= pačiame iškvetime, kai reikia būti tikriems, kas naudojama.

Klaidos ir kaip jas suprasti

  • ProxyError with 407 Proxy Authentication Required: proxy yra pasiekiamas, tačiau prisijungimo duomenys URL nesutampa su užsakymu. Žr. 407 error page
  • Slaptažodžiai su @, : arba / sugadina URL; pirmiausia užkoduokite juos su urllib.parse.quote(password, safe='')
  • Pakeitus proxy URL į https://, ryšys paprastai nutrūksta; palikite http:// abiem raktams, nebent jūsų proxy prievadas yra specialiai TLS prievadas
  • ConnectTimeout rodo į IP arba prievado problemą, o ne kredencialus; pasiekiamumą patikrinkite naudodami port checker

Tas pats šablonas httpx ir aiohttp

URL formatas išlieka toks pat. httpx atveju sukurkite httpx.Client(proxy='http://user:pass@ip:port'); aiohttp atveju perduokite proxy= į session.get(url, proxy=...). Didesnius duomenų rinkimus su planavimu ir pakartotiniais bandymais paprastai lengviau atlikti naudojant Scrapy.

Žingsnis po žingsnio

  1. 1

    Sukonstruokite proxy URL

    Perrašykite kiekvieną ProxyV4 ip:port:user:pass eilutę kaip http://user:pass@ip:port arba konvertuokite visą sąrašą naudodami proxy format converter.

  2. 2

    Sukurkite žodyną

    Parašykite proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Prijunkite prie Session

    Sukurkite s = requests.Session() ir iškvieskite s.proxies.update(proxies), kad ryšiai išliktų aktyvūs tarp užklausų.

  4. 4

    Išveskite išorinį IP

    Paleiskite print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); išvestyje rodomas IP turi būti proxy adresas.

Dažnai užduodami klausimai

Kodėl „https“ įrašas yra http:// URL?

Protokolo schema nurodo, kaip Python bendrauja su proxy, o ne su svetaine. urllib3 jungiasi prie proxy per paprastą HTTP, siunčia CONNECT ir per šį tunelį atlieka TLS su https:// svetaine, todėl puslapio srautas vis tiek lieka užšifruotas.

Kaip paskirstyti užklausas per 25 statinius proxy?

Sudėkite 25 URL į sąrašą, sukurkite pool = itertools.cycle(PROXIES) ir kiekvienai užklausai paimkite p = next(pool) bei perduokite proxies={'http': p, 'https': p}. Nustatykite protingą delsą vienam IP, kad nė vienas adresas nebūtų perkrautas.

Ar srautas iš Python skriptų yra ribojamas?

Ne. ProxyV4 privatūs IPv4 ir statiniai ISP planai suteikia neribotą duomenų srautą, todėl ilgai veikiantys skriptai neatsitrenks į duomenų limitą.

Šaltiniai

Statinių IP telkinys Python skriptams

Privatūs IPv4 7 šalyse ir statiniai ISP JAV bei Vietname. Pirkite vieną IP arba jų paketą; kaina už vieną IP mažėja didėjant kiekiui.

Tikrinti JAV kainas realiuoju laiku

Related articles

Proxy pagal platformą
Proxy duomenų nuskaitymui: fiksuotas IP adresų telkinys su neribotu srautu
Web scraping proxy Python, Scrapy, Playwright ir Selenium: privačių IPv4 ir statinių ISP adresų telkinys, neribotas srautas bei fiksuota kaina už IP.
Proxy nustatymas
Playwright proxy autentifikavimas: po vieną statinį IP kiekvienam kontekstui
Suteikite Playwright naršyklės kontekstui autorizuotą HTTP(S) proxy Node.js ar Python, suderinkite laiko juostą bei kalbą su IP ir patvirtinkite išorinį adresą.
Proxy nustatymas
Scrapy proxy: meta['proxy'], middleware eiliškumas ir rotacija
Naudokite autorizuotus HTTP(S) proxy Scrapy: nustatykite request.meta['proxy'], rikiuokite middleware prieš HttpProxyMiddleware (750), keiskite IP ir tempą.
Nemokami įrankiai
Pakeiskite proxy sąrašą į įrankiui reikalingą formatą
Masiškai konvertuokite proxy sąrašus naršyklėje: ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON masyvai ir FoxyProxy importo failai.
Proxy pagal platformą
Proxy SEO pozicijų sekimui: matykite rezultatų puslapį vietinio vartotojo akimis
SEO pozicijų sekimo proxy su privačiu IPv4 JAV, JK, Vietname, Japonijoje ir 4 kitose rinkose: pozicijos, vietiniai paketai ir reklama atitiks vietinių paiešką.
Proxy pagal platformą
Amazon pardavėjų proxy, suteikiantys kiekvienai paskyrai nuolatinį adresą
Amazon seller proxy paskyroms Seller Central, KDP ir Merch: JAV statinis ISP ar JK/Japonijos privatus IPv4, nuomojamas tik jums ir išlaikomas pratęsiant.
IPV4 · united states
Privatus JAV IPv4 proxy telkinys duomenų rinkimui, pozicijų stebėjimui ir reklamų patikrai
Pirkite JAV privačius IPv4 proxy: statiniai JAV duomenų centrų IP, vienas klientas vienam IP, neribotas srautas. Tinka scrapingui, SERP ir JAV reklamų patikrai.
IPV4 · vietnam
Privatus Vietnamo IPv4 proxy: vienas fiksuotas IP kiekvienai paskyrai dideliais kiekiais
Privatūs Vietnamo IPv4 proxy: statiniai duomenų centrų IP, vienam klientui. Tinka profiliams auginti, antraeilėms Shopee parduotuvėms ir įrankiams.