Selenium WebDriver și proxy-uri cu autentificare: ce funcționează
De către echipa de inginerie ProxyV4 · Updated:
Autentificarea prin proxy în Selenium necesită o soluție alternativă, deoarece parametrul --proxy-server=http://ip:port din ChromeDriver nu poate include un utilizator și o parolă; Chrome elimină valorile inline user:pass și afișează o fereastră de conectare pe care WebDriver nu o poate completa. Cele două soluții fiabile sunt selenium-wire, care gestionează autentificarea ProxyV4 în Python, și o mică extensie Chrome care răspunde la onAuthRequired în orice limbaj compatibil cu Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 USD
- 3+ IP-uri1,70 USD
- 10+ IP-uri1,60 USD
- 25+ IP-uri1,50 USD
- 50+ IP-uri1,40 USD
- 100+ IP-uri1,30 USD
- 200+ IP-uri1,20 USD
- 500+ IP-uri1,10 USD
- 1 IP2,25 USD
- 3+ IP-uri2,10 USD
- 10+ IP-uri2,00 USD
- 25+ IP-uri1,90 USD
- 50+ IP-uri1,80 USD
- 100+ IP-uri1,70 USD
- 200+ IP-uri1,60 USD
- 500+ IP-uri1,50 USD
Comparație între soluții
| Metodă | Cum se configurează | Când este potrivită |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Cea mai rapidă opțiune în Python; proxy-ul poate fi schimbat în timp ce browserul rămâne deschis |
| Extensie de autentificare | O extensie arhivată zip al cărei script de fundal gestionează chrome.webRequest.onAuthRequired | La fel de potrivită pentru Java, C#, Python și undetected-chromedriver |
| Trecerea la Playwright | browser.newContext({ proxy: { server, username, password } }) | Proiecte noi; autentificarea proxy este integrată nativ, fără extensii |
Ce se întâmplă cu simplul --proxy-server
Chrome preia adresa proxy-ului din linia de comandă, dar ignoră orice date de autentificare incluse în aceasta. Când proxy-ul răspunde cu 407, Chrome afișează o fereastră nativă de autentificare. Aceasta se află în afara DOM-ului paginii, astfel încât find_element nu o poate detecta, iar scriptul așteaptă până la expirarea timpului (timeout). Prin urmare, fiecare metodă funcțională transmite datele de conectare în alt mod decât prin acest parametru.
Rețineți că selenium-wire nu mai este menținut activ. Funcționează în continuare pentru multe configurații, dar pentru proiecte pe termen lung, abordarea cu extensie sau Playwright reprezintă o alegere mai sigură.
Menținerea eficienței sesiunilor Selenium cu proxy
- Setați
options.page_load_strategy = 'eager'pentru ca scriptul să continue imediat ce DOM-ul este pregătit, în loc să aștepte scripturi terțe lente - Pentru rulări headless pe Chrome 109 sau versiuni mai noi, folosiți
--headless=new; extensiile, inclusiv cea de autentificare, funcționează la fel ca într-o fereastră normală - Dezactivați încărcarea imaginilor din preferințele Chrome atunci când aveți nevoie doar de text, cum ar fi prețuri sau titluri
- Includeți
driver.quit()într-un bloctry / finally, astfel încât o eroare neașteptată să nu lase procese Chrome active în fundal
Înainte de scalare
Fiecare sesiune WebDriver este un browser complet, așa că alocă fiecărei sesiuni propriul IP dacă site-ul asociază conturile după adresă. Un IPv4 privat ProxyV4 este închiriat unui singur client și își păstrează adresa la reînnoire, ceea ce menține conturile de testare de lungă durată pe același IP. Trece mai întâi proxy-urile noi prin verificatorul de proxy, astfel încât o conexiune defectuoasă să nu apară ca un timeout derutant în Selenium.
Dacă o rulare continuă să deschidă pagini de pe IP-ul propriu al serverului sau se oprește la o eroare de tunel, secțiunea Selenium din proxy-ul nu funcționează enumeră cauzele obișnuite în ordine.
Pas cu pas
- 1
Instalați selenium-wire
În mediul dumneavoastră virtual, rulați
pip install selenium-wire. - 2
Definiți setările proxy-ului
Construiți
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}folosind datele comenzii dumneavoastră ProxyV4. - 3
Porniți Chrome cu aceste opțiuni
Inițializați driverul cu
driver = webdriver.Chrome(seleniumwire_options=sw_options), importândwebdriverdinseleniumwire. - 4
Verificați IP-ul de ieșire
Apelați
driver.get('https://proxyv4.com/api/my-ip')și confirmați că pagina afișează adresa proxy-ului.
Întrebări frecvente
De ce este ignorat --proxy-server=http://user:pass@ip:port în ChromeOptions?
Chrome elimină din construcție datele de autentificare din valoarea parametrului --proxy-server. Transmiteți-le prin selenium-wire, printr-o extensie onAuthRequired sau treceți la Playwright, care acceptă utilizator și parolă în mod direct.
Poate selenium-wire să schimbe proxy-ul fără repornirea browserului?
Da. Atribuiți un nou dicționar, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, iar cererile următoare vor folosi noul proxy upstream.
Funcționează extensia de autentificare în Chrome headless?
Da, cu opțiunea --headless=new. Vechiul mod --headless nu încărca extensiile în același mod.
Selenium dă timeout pe fiecare pagină prin proxy. Ce urmează?
Accesați endpoint-ul de verificare a IP-ului cu cURL folosind aceleași date de conectare. Dacă și cURL eșuează, problema provine de la linie sau port; ghidul pentru erori de timeout la proxy prezintă pașii de verificare.
Surse
IP-uri stabile pentru sesiunile Selenium
IPv4 dedicat în 7 țări și ISP static în SUA și Vietnam, cu utilizator și parolă, trafic nelimitat și un singur client per IP.
Verifică prețurile live pentru SUA