ProxyV4

Cereri Python requests printr-un proxy autentificat, pas cu pas

· Updated:

Pentru a folosi un proxy în Python requests, transmite un dicționar proxies ale cărui chei 'http' și 'https' indică ambele către http://user:pass@ip:port. Adaugă acel dicționar într-un requests.Session(), iar aceeași conexiune către proxy este reutilizată la fiecare apel, ceea ce este mai rapid decât deschiderea uneia noi pentru fiecare cerere. Mai jos: dicționarul, sesiunea, erorile pe care le poți întâlni și o verificare dintr-o singură linie a IP-ului de ieșire ProxyV4.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
IPv4 privat (datacenter)
🇺🇸 Statele Unite
În stoc
De la
1,10 USD / IP / lună
Reduceri de volum
  • 1 IP1,85 USD
  • 3+ IP-uri1,70 USD
  • 10+ IP-uri1,60 USD
  • 25+ IP-uri1,50 USD
  • 50+ IP-uri1,40 USD
  • 100+ IP-uri1,30 USD
  • 200+ IP-uri1,20 USD
  • 500+ IP-uri1,10 USD
Cumpără Statele Unite
IPv4 privat (datacenter)
🇻🇳 Vietnam
În stoc
De la
1,10 USD / IP / lună
Reduceri de volum
  • 1 IP1,85 USD
  • 3+ IP-uri1,70 USD
  • 10+ IP-uri1,60 USD
  • 25+ IP-uri1,50 USD
  • 50+ IP-uri1,40 USD
  • 100+ IP-uri1,30 USD
  • 200+ IP-uri1,20 USD
  • 500+ IP-uri1,10 USD
Cumpără Vietnam

Dicționarul proxies, explicat

SetareValoareMotiv
Cheia 'http''http://user:pass@ip:port'Utilizată pentru URL-uri simple http://
Cheia 'https''http://user:pass@ip:port'Tot un URL de proxy http://: urllib3 solicită proxy-ului un tunel CONNECT și rulează TLS în interiorul acestuia
timeouttimeout=(5, 15)5 s pentru conectare, 15 s pentru citire, astfel încât o țintă indisponibilă să nu blocheze un fir de execuție
Rotireitertools.cycle(proxy_list)Distribuie pe rând IP-urile tale statice

De ce un Session este mai bun decât un simplu requests.get()

Fiecare apel requests.get() de nivel superior creează un nou pool de conexiuni, astfel încât conexiunea TCP către proxy și handshake-ul TLS cu site-ul se repetă de fiecare dată. Un Session menține aceste conexiuni active între apeluri. Pentru un script care descarcă sute de pagini printr-un singur IP, diferența devine vizibilă în timpul total de rulare.

Setează s.proxies.update(proxies) o singură dată și fiecare s.get() și s.post() va trece prin proxy. Un aspect de reținut: dacă variabilele HTTP_PROXY sau HTTPS_PROXY sunt setate în mediu, requests le poate combina cu setările sesiunii; transmite proxies= direct la apel atunci când vrei să fii sigur care configurație este utilizată.

Erori și cum să le interpretezi

  • ProxyError cu 407 Proxy Authentication Required: proxy-ul este accesibil, dar datele de autentificare din URL nu corespund comenzii. Vezi pagina de eroare 407
  • Parolele care conțin @, : sau / corup URL-ul; codifică-le mai întâi cu urllib.parse.quote(password, safe='')
  • Schimbarea URL-ului de proxy la https:// întrerupe de obicei conexiunea; păstrează http:// pentru ambele chei, cu excepția cazului în care portul proxy-ului este explicit un port TLS
  • ConnectTimeout indică o problemă la IP sau port, nu la datele de autentificare; testează accesibilitatea cu verificatorul de porturi

Același tipar în httpx și aiohttp

Formatul URL-ului se păstrează. În httpx, creează httpx.Client(proxy='http://user:pass@ip:port'); în aiohttp, transmite proxy= către session.get(url, proxy=...). Crawling-urile mai mari, cu programare și reîncercări, sunt de obicei mai ușor de gestionat în Scrapy.

Pas cu pas

  1. 1

    Construiește URL-ul de proxy

    Rescrie fiecare linie ProxyV4 ip:port:user:pass sub forma http://user:pass@ip:port, sau convertește întreaga listă cu convertorul de format proxy.

  2. 2

    Creează dicționarul

    Scrie proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Atașează-l la un Session

    Creează s = requests.Session() și apelează s.proxies.update(proxies) pentru ca conexiunile să fie menținute active între cereri.

  4. 4

    Afișează IP-ul de ieșire

    Rulează print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP-ul din rezultat ar trebui să fie cel al proxy-ului.

Întrebări frecvente

De ce intrarea 'https' este un URL http://?

Schema descrie modul în care Python comunică cu proxy-ul, nu cu site-ul web. urllib3 se conectează la proxy prin HTTP simplu, trimite CONNECT, iar apoi efectuează TLS cu site-ul https:// prin acel tunel, astfel încât traficul paginii rămâne criptat.

Cum distribui cererile pe 25 de proxy-uri statice?

Pune cele 25 de URL-uri într-o listă, creează pool = itertools.cycle(PROXIES), iar pentru fiecare cerere preia p = next(pool) și transmite proxies={'http': p, 'https': p}. Menține un interval rezonabil între cereri per IP, astfel încât nicio adresă să nu fie supraîncărcată.

Traficul din scripturile Python este contorizat?

Nu. Abonamentele ProxyV4 IPv4 dedicate și ISP statice includ lățime de bandă nelimitată, astfel încât scripturile de lungă durată nu se lovesc de o limită de date.

Surse

Un pool de IP-uri statice pentru scripturi Python

IPv4 dedicate în 7 țări plus ISP statice în SUA și Vietnam. Cumpără un singur IP sau un pachet; prețul per IP scade odată cu cantitatea.

Vezi prețurile actualizate pentru SUA

Related articles

Proxy-uri după platformă
Proxy-uri pentru web scraping: pool fix de IP-uri cu trafic nelimitat
Proxy-uri de web scraping pentru Python, Scrapy, Playwright și Selenium: pool de IP-uri IPv4 private și ISP statice, trafic nelimitat, preț fix per IP.
Configurare proxy
Autentificare proxy în Playwright, un IP static per context
Oferă fiecărui context Playwright un proxy HTTP(S) autentificat în Node.js sau Python, potrivește fusul orar și limba cu IP-ul și confirmă adresa de ieșire.
Configurare proxy
Proxy-uri Scrapy: meta['proxy'], ordinea middleware-urilor și rotire
Proxy HTTP(S) autentificat în Scrapy: setează request.meta['proxy'], pune middleware înainte de HttpProxyMiddleware (750), rotește IP-uri și ritmează crawl-ul.
Instrumente gratuite
Rescrie o listă de proxy-uri în formatul cerut de instrumentul tău
Convertește liste proxy în browser între ip:port:user:pass, user:pass@ip:port, URL-uri http://, URI-uri SOCKS5, vectori JSON și fișiere FoxyProxy, în masă.
Proxy-uri după platformă
Proxy-uri pentru SEO rank tracking: vezi pagina de rezultate pe care o vede un utilizator local
Proxy-uri SEO rank tracking cu IPv4 privat în SUA, UK, Vietnam, Japonia și alte 4 piețe: pozițiile, pachetele locale și reclamele reflectă ce văd localnicii.
Proxy-uri după platformă
Proxy-uri Amazon seller care oferă fiecărui cont o adresă permanentă
Proxy-uri Amazon seller pentru Seller Central, KDP și Merch: ISP static SUA sau IPv4 privat UK/Japonia per cont, alocate doar ție și păstrate la reînnoire.
IPV4 · united states
Pool de proxy-uri IPv4 private SUA pentru scraping, monitorizarea pozițiilor și verificarea reclamelor
Cumpără proxy-uri IPv4 private SUA: IP-uri statice de datacenter, trafic nelimitat, un client per IP. Ideale pentru scraping, SERP și verificat reclame.
IPV4 · vietnam
Proxy IPv4 privat Vietnam: Un singur IP fix per cont, la volum
Proxy-uri IPv4 private Vietnam: IP-uri statice de datacenter, un singur client per IP, preț de volum. Pentru profiluri de seeding, magazine Shopee și unelte.