Python requests caur autentificētu starpniekserveri soli pa solim
Autors: ProxyV4 inženieru komanda · Updated:
Lai izmantotu starpniekserveri Python requests bibliotēkā, norādiet proxies vārdnīcu, kuras 'http' un 'https' atslēgas abas norāda uz http://user:pass@ip:port. Piesaistiet šo vārdnīcu pie requests.Session(), un viens un tas pats savienojums ar starpniekserveri tiks atkārtoti izmantots katram izsaukumam, kas ir ātrāk nekā jauna savienojuma izveide katram pieprasījumam. Tālāk aprakstīta: vārdnīca, sesija, kļūdas, ar kurām visdrīzāk saskarsieties, un vienas rindiņas ProxyV4 izejas IP pārbaude.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
Skaidrojums par proxies vārdnīcu
| Iestatījums | Vērtība | Pamatojums |
|---|---|---|
'http' atslēga | 'http://user:pass@ip:port' | Tiek izmantota vienkāršiem http:// URL |
'https' atslēga | 'http://user:pass@ip:port' | Joprojām ir http:// starpniekservera URL: urllib3 pieprasa starpniekserverim CONNECT tuneli un tajā izpilda TLS |
timeout | timeout=(5, 15) | 5 s savienojuma izveidei, 15 s lasīšanai, lai nereaģējošs mērķis neapturētu pavedienu |
| Rotācija | itertools.cycle(proxy_list) | Pēc kārtas izdala jūsu statiskās IP adreses |
Kāpēc Session pārspēj parastu requests.get()
Katrs augstākā līmeņa requests.get() izsaukums izveido jaunu savienojumu pūlu, tāpēc TCP savienojums ar starpniekserveri un TLS rokasspiediens ar vietni tiek atkārtots katru reizi. Session uztur šos savienojumus aktīvus starp izsaukumiem. Skriptam, kas caur vienu IP ielādē simtiem lapu, šī atšķirība ir skaidri redzama kopējā izpildes laikā.
Iestatiet s.proxies.update(proxies) vienreiz, un katrs s.get() un s.post() darbosies caur starpniekserveri. Svarīgi zināt: ja vidē ir iestatīts HTTP_PROXY vai HTTPS_PROXY, requests var tos apvienot ar sesijas iestatījumiem; norādiet proxies= pašā izsaukumā, ja nepieciešams būt drošam par to, kurš tiek izmantots.
Kļūdas un kā tās nolasīt
ProxyErrorar407 Proxy Authentication Required: starpniekserveris ir sasniedzams, taču jūsu URL norādītie pieslēgšanās dati neatbilst pasūtījumam. Skatiet 407 kļūdas lapu- Paroles, kas satur
@,:vai/, sabojā URL struktūru; vispirms iekodējiet tās arurllib.parse.quote(password, safe='') - Starpniekservera URL maiņa uz
https://parasti pārtrauc savienojumu; saglabājiethttp://abām atslēgām, ja vien jūsu starpniekservera ports nav tieši TLS ports ConnectTimeoutnorāda uz problēmu ar IP vai portu, nevis autentifikācijas datiem; pārbaudiet sasniedzamību ar portu pārbaudītāju
Tāds pats modelis bibliotēkās httpx un aiohttp
URL formāts ir tieši tāds pats. Bibliotēkā httpx izveidojiet httpx.Client(proxy='http://user:pass@ip:port'); bibliotēkā aiohttp norādiet proxy= parametrā session.get(url, proxy=...). Apjomīgākiem datu vākšanas procesiem ar plānošanu un atkārtotiem mēģinājumiem parasti ērtāk ir izmantot Scrapy.
Soli pa solim
- 1
Izveidojiet starpniekservera URL
Pārrakstiet katru ProxyV4
ip:port:user:passrindiņu kāhttp://user:pass@ip:portvai konvertējiet visu sarakstu ar starpniekserveru formāta pārveidotāju. - 2
Izveidojiet vārdnīcu
Ierakstiet
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Piesaistiet to Session
Izveidojiet
s = requests.Session()un izsauciets.proxies.update(proxies), lai savienojumi tiktu uzturēti aktīvi starp pieprasījumiem. - 4
Izvadiet izejas IP
Izpildiet
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); izvadē redzamajai IP adresei ir jābūt starpniekservera adresei.
Biežāk uzdotie jautājumi
Kāpēc 'https' ieraksts ir http:// URL?
Shēma raksturo to, kā Python sazinās ar starpniekserveri, nevis ar tīmekļa vietni. urllib3 izveido savienojumu ar starpniekserveri caur parastu HTTP, nosūta CONNECT un pēc tam caur šo tuneli veic TLS savienojumu ar https:// vietni, tāpēc lapas datplūsma joprojām ir šifrēta.
Kā sadalīt pieprasījumus pa 25 statiskajiem starpniekserveriem?
Ievietojiet 25 URL sarakstā, izveidojiet pool = itertools.cycle(PROXIES), un katram pieprasījumam paņemiet p = next(pool) un nododiet proxies={'http': p, 'https': p}. Ievērojiet saprātīgu aizkavi katrai IP, lai neviena adrese netiktu pārslogota.
Vai Python skriptu datplūsma tiek uzskaitīta?
Nē. ProxyV4 privātie IPv4 un statiskie ISP plāni ietver neierobežotu joslas platumu, tāpēc ilgstoši strādājoši skripti nesaskarsies ar datu apjoma ierobežojumiem.
Avoti
Statisko IP adrešu pūls Python skriptiem
Privātās IPv4 adreses 7 valstīs, kā arī statiskie ISP ASV un Vjetnamā. Iegādājieties vienu IP vai vairākas; cena par vienu IP samazinās līdz ar daudzumu.
Skatīt aktuālās ASV cenas