ProxyV4

Python requests caur autentificētu starpniekserveri soli pa solim

· Updated:

Lai izmantotu starpniekserveri Python requests bibliotēkā, norādiet proxies vārdnīcu, kuras 'http' un 'https' atslēgas abas norāda uz http://user:pass@ip:port. Piesaistiet šo vārdnīcu pie requests.Session(), un viens un tas pats savienojums ar starpniekserveri tiks atkārtoti izmantots katram izsaukumam, kas ir ātrāk nekā jauna savienojuma izveide katram pieprasījumam. Tālāk aprakstīta: vārdnīca, sesija, kļūdas, ar kurām visdrīzāk saskarsieties, un vienas rindiņas ProxyV4 izejas IP pārbaude.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Privāts IPv4 (datu centrs)
🇺🇸 Amerikas Savienotās Valstis
Pieejams
No
1,10 $ / IP / mēnesī
Apjoma atlaides
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Pirkt Amerikas Savienotās Valstis
Privāts IPv4 (datu centrs)
🇻🇳 Vjetnama
Pieejams
No
1,10 $ / IP / mēnesī
Apjoma atlaides
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Pirkt Vjetnama

Skaidrojums par proxies vārdnīcu

IestatījumsVērtībaPamatojums
'http' atslēga'http://user:pass@ip:port'Tiek izmantota vienkāršiem http:// URL
'https' atslēga'http://user:pass@ip:port'Joprojām ir http:// starpniekservera URL: urllib3 pieprasa starpniekserverim CONNECT tuneli un tajā izpilda TLS
timeouttimeout=(5, 15)5 s savienojuma izveidei, 15 s lasīšanai, lai nereaģējošs mērķis neapturētu pavedienu
Rotācijaitertools.cycle(proxy_list)Pēc kārtas izdala jūsu statiskās IP adreses

Kāpēc Session pārspēj parastu requests.get()

Katrs augstākā līmeņa requests.get() izsaukums izveido jaunu savienojumu pūlu, tāpēc TCP savienojums ar starpniekserveri un TLS rokasspiediens ar vietni tiek atkārtots katru reizi. Session uztur šos savienojumus aktīvus starp izsaukumiem. Skriptam, kas caur vienu IP ielādē simtiem lapu, šī atšķirība ir skaidri redzama kopējā izpildes laikā.

Iestatiet s.proxies.update(proxies) vienreiz, un katrs s.get() un s.post() darbosies caur starpniekserveri. Svarīgi zināt: ja vidē ir iestatīts HTTP_PROXY vai HTTPS_PROXY, requests var tos apvienot ar sesijas iestatījumiem; norādiet proxies= pašā izsaukumā, ja nepieciešams būt drošam par to, kurš tiek izmantots.

Kļūdas un kā tās nolasīt

  • ProxyError ar 407 Proxy Authentication Required: starpniekserveris ir sasniedzams, taču jūsu URL norādītie pieslēgšanās dati neatbilst pasūtījumam. Skatiet 407 kļūdas lapu
  • Paroles, kas satur @, : vai /, sabojā URL struktūru; vispirms iekodējiet tās ar urllib.parse.quote(password, safe='')
  • Starpniekservera URL maiņa uz https:// parasti pārtrauc savienojumu; saglabājiet http:// abām atslēgām, ja vien jūsu starpniekservera ports nav tieši TLS ports
  • ConnectTimeout norāda uz problēmu ar IP vai portu, nevis autentifikācijas datiem; pārbaudiet sasniedzamību ar portu pārbaudītāju

Tāds pats modelis bibliotēkās httpx un aiohttp

URL formāts ir tieši tāds pats. Bibliotēkā httpx izveidojiet httpx.Client(proxy='http://user:pass@ip:port'); bibliotēkā aiohttp norādiet proxy= parametrā session.get(url, proxy=...). Apjomīgākiem datu vākšanas procesiem ar plānošanu un atkārtotiem mēģinājumiem parasti ērtāk ir izmantot Scrapy.

Soli pa solim

  1. 1

    Izveidojiet starpniekservera URL

    Pārrakstiet katru ProxyV4 ip:port:user:pass rindiņu kā http://user:pass@ip:port vai konvertējiet visu sarakstu ar starpniekserveru formāta pārveidotāju.

  2. 2

    Izveidojiet vārdnīcu

    Ierakstiet proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Piesaistiet to Session

    Izveidojiet s = requests.Session() un izsauciet s.proxies.update(proxies), lai savienojumi tiktu uzturēti aktīvi starp pieprasījumiem.

  4. 4

    Izvadiet izejas IP

    Izpildiet print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); izvadē redzamajai IP adresei ir jābūt starpniekservera adresei.

Biežāk uzdotie jautājumi

Kāpēc 'https' ieraksts ir http:// URL?

Shēma raksturo to, kā Python sazinās ar starpniekserveri, nevis ar tīmekļa vietni. urllib3 izveido savienojumu ar starpniekserveri caur parastu HTTP, nosūta CONNECT un pēc tam caur šo tuneli veic TLS savienojumu ar https:// vietni, tāpēc lapas datplūsma joprojām ir šifrēta.

Kā sadalīt pieprasījumus pa 25 statiskajiem starpniekserveriem?

Ievietojiet 25 URL sarakstā, izveidojiet pool = itertools.cycle(PROXIES), un katram pieprasījumam paņemiet p = next(pool) un nododiet proxies={'http': p, 'https': p}. Ievērojiet saprātīgu aizkavi katrai IP, lai neviena adrese netiktu pārslogota.

Vai Python skriptu datplūsma tiek uzskaitīta?

Nē. ProxyV4 privātie IPv4 un statiskie ISP plāni ietver neierobežotu joslas platumu, tāpēc ilgstoši strādājoši skripti nesaskarsies ar datu apjoma ierobežojumiem.

Avoti

Statisko IP adrešu pūls Python skriptiem

Privātās IPv4 adreses 7 valstīs, kā arī statiskie ISP ASV un Vjetnamā. Iegādājieties vienu IP vai vairākas; cena par vienu IP samazinās līdz ar daudzumu.

Skatīt aktuālās ASV cenas

Related articles

Proksiji pēc platformas
Proksiji tīmekļa skrāpēšanai: fiksēts IP pūls ar neierobežotu datu plūsmu
Web scraping proksiji Python, Scrapy, Playwright un Selenium: privāts IPv4 un statisku ISP adrešu pūls, neierobežota datu plūsma un fiksēta cena par katru IP.
Proksiju iestatīšana
Playwright proxy autentifikācija: viena statiskā IP katram kontekstam
Piešķiriet katram Playwright kontekstam autentificētu HTTP(S) proxy Node.js vai Python, pielāgojiet laika joslu un lokāli IP un apstipriniet izejas adresi.
Proksiju iestatīšana
Scrapy starpniekserveri: meta['proxy'], starpprogrammatūras secība un rotācija
Izmantojiet autorizētus HTTP(S) starpniekus Scrapy: iestatiet request.meta['proxy'], palaidiet pirms HttpProxyMiddleware (750), rotējiet IP un regulējiet tempu.
Bezmaksas rīki
Pārveidojiet starpnieku sarakstu rīkam nepieciešamajā formātā
Konvertējiet starpnieku sarakstus pārlūkā starp ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON masīviem un FoxyProxy failiem lielā apjomā.
Proksiji pēc platformas
Starpniekserveri SEO rangu izsekošanai: skatiet rezultātu lapu vietējā meklētāja acīm
SEO rangu starpnieki ar privātu IPv4 ASV, Lielbritānijā, Vjetnamā, Japānā un vēl 4 tirgos, lai rangi, vietējie bloki un reklāmas atbilstu vietējo skatam.
Proksiji pēc platformas
Amazon pārdevēju proksi, kas nodrošina katram kontam pastāvīgu adresi
Amazon pārdevēju proksi Seller Central, KDP un Merch: ASV statisks ISP vai UK/Japānas privāts IPv4 katram kontam, izīrēts tikai jums un saglabāts atjaunojot.
IPV4 · united states
ASV privāto IPv4 starpniekserveru kopa datu vākšanai, pozīciju izsekošanai un reklāmu pārbaudei
Pērc ASV privātos IPv4 proxy: statiskas ASV datu centra IP, viens klients uz IP, neierobežota datplūsma. Piemēroti skrāpēšanai, SERP un ASV reklāmu pārbaudei.
IPV4 · vietnam
Vjetnamas privātais IPv4 starpniekserveris: viena fiksēta IP adrese katram kontam lielos apjomos
Vjetnamas privātie IPv4 proxy: statiskas datu centra IP vienam lietotājam, izdevīgi apjomam. Profilu sēšanai, sekundārajiem Shopee veikaliem un rīkiem.