Selenium WebDriver og autentiserte proxyer: dette fungerer
Av ingeniørteamet hos ProxyV4 · Updated:
Selenium proxy-autentisering krever en omvei, fordi Chromedrivers flagg --proxy-server=http://ip:port ikke kan inneholde brukernavn og passord; Chrome fjerner inline user:pass og viser en påloggingsdialog som WebDriver ikke kan fylle ut. De to pålitelige løsningene er selenium-wire, som håndterer ProxyV4-påloggingen i Python, og en liten Chrome-utvidelse som svarer på onAuthRequired i alle Selenium-språk.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 USD
- 3+ IP-er1,70 USD
- 10+ IP-er1,60 USD
- 25+ IP-er1,50 USD
- 50+ IP-er1,40 USD
- 100+ IP-er1,30 USD
- 200+ IP-er1,20 USD
- 500+ IP-er1,10 USD
- 1 IP2,25 USD
- 3+ IP-er2,10 USD
- 10+ IP-er2,00 USD
- 25+ IP-er1,90 USD
- 50+ IP-er1,80 USD
- 100+ IP-er1,70 USD
- 200+ IP-er1,60 USD
- 500+ IP-er1,50 USD
Sammenligning av alternativer
| Metode | Hvordan konfigurere | Passer best for |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Raskeste løsning i Python; proxyen kan endres mens nettleseren kjører |
| Autentiseringsutvidelse | En pakket utvidelse der bakgrunnsskriptet håndterer chrome.webRequest.onAuthRequired | Java, C#, Python og undetected-chromedriver |
| Bytt til Playwright | browser.newContext({ proxy: { server, username, password } }) | Nye prosjekter; proxy-pålogging er innebygd, ingen utvidelse nødvendig |
Hva skjer med vanlig --proxy-server
Chrome henter proxy-adressen fra kommandolinjen, men ignorerer eventuelle påloggingsdetaljer som er lagt til. Når proxyen svarer med 407, åpner Chrome en innebygd påloggingsdialog. Denne dialogen ligger utenfor sidens DOM, så find_element kan ikke finne den, og skriptet venter til det oppstår et tidsavbrudd. Alle fungerende metoder leverer derfor påloggingsdetaljene på et annet sted enn via flagget.
Merk at selenium-wire ikke lenger vedlikeholdes aktivt. Det fungerer fortsatt fint for mange oppsett, men for langsiktige prosjekter er utvidelsesmetoden eller Playwright et tryggere valg.
Hold Selenium-kjøringer med proxy effektive
- Sett
options.page_load_strategy = 'eager'slik at skriptet fortsetter så snart DOM-en er klar, i stedet for å vente på trege tredjepartsskript - For headless-kjøringer på Chrome 109 eller nyere, bruk
--headless=new; utvidelser, inkludert autentiseringsutvidelsen, fungerer da som i et vanlig vindu - Deaktiver lasting av bilder i innstillingene til Chrome når du bare trenger tekst som priser eller titler
- Legg
driver.quit()i entry / finally-blokk slik at en krasj ikke etterlater kjørende Chrome-prosesser
Før du skalerer opp
Hver WebDriver-økt er en fullverdig nettleser, så gi hver økt sin egen IP hvis nettstedet kobler sammen kontoer etter adresse. En privat IPv4 fra ProxyV4 leies ut til én kunde og beholder adressen når du fornyer, noe som holder langvarige testkontoer på samme IP. Kjør nye proxyer gjennom proxy-sjekkeren først, slik at en dårlig linje ikke dukker opp som et forvirrende Selenium-tidsavbrudd.
Hvis en kjøring likevel åpner sider fra serverens egen IP eller stopper ved en tunnelfeil, lister Selenium-delen av proxy fungerer ikke opp de vanligste årsakene i rekkefølge.
Trinn for trinn
- 1
Installer selenium-wire
Kjør
pip install selenium-wirei det virtuelle miljøet ditt. - 2
Definer proxyen
Bygg
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}fra din ProxyV4-bestilling. - 3
Start Chrome med disse innstillingene
Opprett driveren med
driver = webdriver.Chrome(seleniumwire_options=sw_options), og importerwebdriverfraseleniumwire. - 4
Sjekk ekstern IP-adresse
Kall
driver.get('https://proxyv4.com/api/my-ip')og bekreft at siden viser proxy-adressen.
Ofte stilte spørsmål
Hvorfor ignoreres --proxy-server=http://user:pass@ip:port i ChromeOptions?
Chrome fjerner påloggingsinformasjon fra --proxy-server-verdien med vilje. Oppgi dem via selenium-wire, en onAuthRequired-utvidelse, eller bytt til Playwright, som støtter brukernavn og passord direkte.
Kan selenium-wire bytte proxy uten å starte nettleseren på nytt?
Ja. Tildel en ny ordliste, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, så vil påfølgende forespørsler bruke den nye oppstrømsproxyen.
Fungerer autentiseringsutvidelsen i headless Chrome?
Ja, med --headless=new. Den eldre --headless-modusen lastet ikke inn utvidelser på samme måte.
Selenium får tidsavbrudd på hver side gjennom proxyen. Hva gjør jeg nå?
Last inn IP-endepunktet med curl og de samme påloggingsdetaljene. Hvis curl også feiler, ligger problemet i linjen eller porten; sjekk veiledningen for proxy-tidsavbrudd for feilsøking.
Kilder
Stabile IP-adresser for Selenium-økter
Privat IPv4 i 7 land og statisk ISP i USA og Vietnam, med brukernavn og passord, ubegrenset båndbredde og én kunde per IP.
Se oppdaterte priser for USA