ProxyV4

Selenium WebDriver și proxy-uri cu autentificare: ce funcționează

· Updated:

Autentificarea prin proxy în Selenium necesită o soluție alternativă, deoarece parametrul --proxy-server=http://ip:port din ChromeDriver nu poate include un utilizator și o parolă; Chrome elimină valorile inline user:pass și afișează o fereastră de conectare pe care WebDriver nu o poate completa. Cele două soluții fiabile sunt selenium-wire, care gestionează autentificarea ProxyV4 în Python, și o mică extensie Chrome care răspunde la onAuthRequired în orice limbaj compatibil cu Selenium.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
IPv4 privat (datacenter)
🇺🇸 Statele Unite
În stoc
De la
1,10 USD / IP / lună
Reduceri de volum
  • 1 IP1,85 USD
  • 3+ IP-uri1,70 USD
  • 10+ IP-uri1,60 USD
  • 25+ IP-uri1,50 USD
  • 50+ IP-uri1,40 USD
  • 100+ IP-uri1,30 USD
  • 200+ IP-uri1,20 USD
  • 500+ IP-uri1,10 USD
Cumpără Statele Unite
ISP rezidențial static
🇺🇸 Statele Unite
În stoc
De la
1,50 USD / IP / lună
Reduceri de volum
  • 1 IP2,25 USD
  • 3+ IP-uri2,10 USD
  • 10+ IP-uri2,00 USD
  • 25+ IP-uri1,90 USD
  • 50+ IP-uri1,80 USD
  • 100+ IP-uri1,70 USD
  • 200+ IP-uri1,60 USD
  • 500+ IP-uri1,50 USD
Cumpără Statele Unite

Comparație între soluții

MetodăCum se configureazăCând este potrivită
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Cea mai rapidă opțiune în Python; proxy-ul poate fi schimbat în timp ce browserul rămâne deschis
Extensie de autentificareO extensie arhivată zip al cărei script de fundal gestionează chrome.webRequest.onAuthRequiredLa fel de potrivită pentru Java, C#, Python și undetected-chromedriver
Trecerea la Playwrightbrowser.newContext({ proxy: { server, username, password } })Proiecte noi; autentificarea proxy este integrată nativ, fără extensii

Ce se întâmplă cu simplul --proxy-server

Chrome preia adresa proxy-ului din linia de comandă, dar ignoră orice date de autentificare incluse în aceasta. Când proxy-ul răspunde cu 407, Chrome afișează o fereastră nativă de autentificare. Aceasta se află în afara DOM-ului paginii, astfel încât find_element nu o poate detecta, iar scriptul așteaptă până la expirarea timpului (timeout). Prin urmare, fiecare metodă funcțională transmite datele de conectare în alt mod decât prin acest parametru.

Rețineți că selenium-wire nu mai este menținut activ. Funcționează în continuare pentru multe configurații, dar pentru proiecte pe termen lung, abordarea cu extensie sau Playwright reprezintă o alegere mai sigură.

Menținerea eficienței sesiunilor Selenium cu proxy

  • Setați options.page_load_strategy = 'eager' pentru ca scriptul să continue imediat ce DOM-ul este pregătit, în loc să aștepte scripturi terțe lente
  • Pentru rulări headless pe Chrome 109 sau versiuni mai noi, folosiți --headless=new; extensiile, inclusiv cea de autentificare, funcționează la fel ca într-o fereastră normală
  • Dezactivați încărcarea imaginilor din preferințele Chrome atunci când aveți nevoie doar de text, cum ar fi prețuri sau titluri
  • Includeți driver.quit() într-un bloc try / finally, astfel încât o eroare neașteptată să nu lase procese Chrome active în fundal

Înainte de scalare

Fiecare sesiune WebDriver este un browser complet, așa că alocă fiecărei sesiuni propriul IP dacă site-ul asociază conturile după adresă. Un IPv4 privat ProxyV4 este închiriat unui singur client și își păstrează adresa la reînnoire, ceea ce menține conturile de testare de lungă durată pe același IP. Trece mai întâi proxy-urile noi prin verificatorul de proxy, astfel încât o conexiune defectuoasă să nu apară ca un timeout derutant în Selenium.

Dacă o rulare continuă să deschidă pagini de pe IP-ul propriu al serverului sau se oprește la o eroare de tunel, secțiunea Selenium din proxy-ul nu funcționează enumeră cauzele obișnuite în ordine.

Pas cu pas

  1. 1

    Instalați selenium-wire

    În mediul dumneavoastră virtual, rulați pip install selenium-wire.

  2. 2

    Definiți setările proxy-ului

    Construiți sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} folosind datele comenzii dumneavoastră ProxyV4.

  3. 3

    Porniți Chrome cu aceste opțiuni

    Inițializați driverul cu driver = webdriver.Chrome(seleniumwire_options=sw_options), importând webdriver din seleniumwire.

  4. 4

    Verificați IP-ul de ieșire

    Apelați driver.get('https://proxyv4.com/api/my-ip') și confirmați că pagina afișează adresa proxy-ului.

Întrebări frecvente

De ce este ignorat --proxy-server=http://user:pass@ip:port în ChromeOptions?

Chrome elimină din construcție datele de autentificare din valoarea parametrului --proxy-server. Transmiteți-le prin selenium-wire, printr-o extensie onAuthRequired sau treceți la Playwright, care acceptă utilizator și parolă în mod direct.

Poate selenium-wire să schimbe proxy-ul fără repornirea browserului?

Da. Atribuiți un nou dicționar, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, iar cererile următoare vor folosi noul proxy upstream.

Funcționează extensia de autentificare în Chrome headless?

Da, cu opțiunea --headless=new. Vechiul mod --headless nu încărca extensiile în același mod.

Selenium dă timeout pe fiecare pagină prin proxy. Ce urmează?

Accesați endpoint-ul de verificare a IP-ului cu cURL folosind aceleași date de conectare. Dacă și cURL eșuează, problema provine de la linie sau port; ghidul pentru erori de timeout la proxy prezintă pașii de verificare.

Surse

IP-uri stabile pentru sesiunile Selenium

IPv4 dedicat în 7 țări și ISP static în SUA și Vietnam, cu utilizator și parolă, trafic nelimitat și un singur client per IP.

Verifică prețurile live pentru SUA

Related articles

Proxy-uri după platformă
Proxy-uri pentru web scraping: pool fix de IP-uri cu trafic nelimitat
Proxy-uri de web scraping pentru Python, Scrapy, Playwright și Selenium: pool de IP-uri IPv4 private și ISP statice, trafic nelimitat, preț fix per IP.
Configurare proxy
Autentificare proxy în Playwright, un IP static per context
Oferă fiecărui context Playwright un proxy HTTP(S) autentificat în Node.js sau Python, potrivește fusul orar și limba cu IP-ul și confirmă adresa de ieșire.
Configurare proxy
Cereri Python requests printr-un proxy autentificat, pas cu pas
Trimite cereri Python prin proxy HTTP(S) autentificat: creează dict-ul proxies, atașează-l la Session, codifică parole speciale, rotește lista, verifică IP-ul.
Configurare proxy
Puppeteer cu proxy autentificat: flag de lansare și login
Autentificare proxy în Puppeteer, cu exemplu funcțional: --proxy-server pentru adresă, page.authenticate() pentru login, apoi SOCKS5, contexte și soluții.
Proxy-uri după platformă
Proxy-uri pentru SEO rank tracking: vezi pagina de rezultate pe care o vede un utilizator local
Proxy-uri SEO rank tracking cu IPv4 privat în SUA, UK, Vietnam, Japonia și alte 4 piețe: pozițiile, pachetele locale și reclamele reflectă ce văd localnicii.
Proxy-uri după platformă
Proxy-uri Amazon seller care oferă fiecărui cont o adresă permanentă
Proxy-uri Amazon seller pentru Seller Central, KDP și Merch: ISP static SUA sau IPv4 privat UK/Japonia per cont, alocate doar ție și păstrate la reînnoire.
IPV4 · united states
Pool de proxy-uri IPv4 private SUA pentru scraping, monitorizarea pozițiilor și verificarea reclamelor
Cumpără proxy-uri IPv4 private SUA: IP-uri statice de datacenter, trafic nelimitat, un client per IP. Ideale pentru scraping, SERP și verificat reclame.
ISP · united states
Proxy ISP static SUA: Un IP rezidențial care nu se schimbă niciodată
Proxy-uri ISP statice SUA pe IP-uri de provideri rezidențiali. Câte un IP american fix per cont pentru selleri Amazon, conturi de reclame și Instagram.