Selenium WebDriver og autentificerede proxyer: hvad der virker
Af ProxyV4s ingeniørteam · Updated:
Proxygodkendelse i Selenium kræver en workaround, da ChromeDrivers --proxy-server=http://ip:port-flag ikke kan indeholde et brugernavn og en adgangskode; Chrome ignorerer inline user:pass og viser en logindialog, som WebDriver ikke kan udfylde. De to pålidelige løsninger er selenium-wire, som håndterer ProxyV4-login i Python, og en lille Chrome-udvidelse, der besvarer onAuthRequired i et hvilket som helst Selenium-sprog.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 US$
- 3+ IP'er1,70 US$
- 10+ IP'er1,60 US$
- 25+ IP'er1,50 US$
- 50+ IP'er1,40 US$
- 100+ IP'er1,30 US$
- 200+ IP'er1,20 US$
- 500+ IP'er1,10 US$
- 1 IP2,25 US$
- 3+ IP'er2,10 US$
- 10+ IP'er2,00 US$
- 25+ IP'er1,90 US$
- 50+ IP'er1,80 US$
- 100+ IP'er1,70 US$
- 200+ IP'er1,60 US$
- 500+ IP'er1,50 US$
Sammenligning af muligheder
| Metode | Sådan konfigureres det | Velegnet til |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Den hurtigste løsning i Python; proxyen kan ændres, mens browseren er åben |
| Auth-udvidelse | En zippet udvidelse, hvis baggrundsscript håndterer chrome.webRequest.onAuthRequired | Både Java, C#, Python og undetected-chromedriver |
| Skift til Playwright | browser.newContext({ proxy: { server, username, password } }) | Nye projekter; proxy-login er indbygget, ingen udvidelse |
Hvad der sker med et almindeligt --proxy-server
Chrome henter proxyadressen fra kommandolinjen, men ignorerer eventuelle loginoplysninger skrevet deri. Når proxyen svarer 407, åbner Chrome en indbygget login-prompt. Denne prompt er uden for sidens DOM, så find_element ikke kan se den, og scriptet venter, indtil der opstår timeout. Enhver fungerende metode leverer derfor loginoplysningerne et andet sted end i flaget.
Bemærk, at selenium-wire ikke længere vedligeholdes aktivt. Det fungerer stadig til mange opsætninger, men til langsigtede projekter er udvidelsesmetoden eller Playwright det mere sikre valg.
Hold Selenium-kørsler med proxy effektive
- Sæt
options.page_load_strategy = 'eager', så scriptet fortsætter, så snart DOM'en er klar, i stedet for at vente på langsomme tredjepartsscripts - Til headless-kørsler i Chrome 109 eller nyere bruges
--headless=new; udvidelser, herunder auth-udvidelsen, fungerer som i et normalt vindue - Slå billedindlæsning fra i Chrome-indstillingerne, når du kun har brug for tekst som priser eller titler
- Placer
driver.quit()i entry / finally-blok, så et nedbrud ikke efterlader åbne Chrome-processer
Før du skalerer op
Hver WebDriver-session er en fuld browser, så giv hver session sin egen IP, hvis sitet knytter konti sammen via adressen. En privat ProxyV4 IPv4 udlejes til én kunde og beholder sin adresse ved fornyelse, hvilket holder langvarige testkonti på samme IP. Kør nye proxyer igennem proxy-tjekkeren først, så en dårlig linje ikke viser sig som et forvirrende Selenium-timeout.
Hvis en kørsel stadig åbner sider fra serverens egen IP eller stopper ved en tunnelfejl, oplister Selenium-afsnittet i proxy virker ikke de typiske årsager i rækkefølge.
Trin for trin
- 1
Installer selenium-wire
Kør
pip install selenium-wirei dit virtuelle miljø. - 2
Definer proxyen
Opret
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}ud fra din ProxyV4-ordre. - 3
Start Chrome med disse indstillinger
Opret driveren med
driver = webdriver.Chrome(seleniumwire_options=sw_options), hvorwebdriverimporteres fraseleniumwire. - 4
Tjek udgangs-IP'en
Kald
driver.get('https://proxyv4.com/api/my-ip'), og bekræft, at siden viser proxyadressen.
Ofte stillede spørgsmål
Hvorfor ignoreres --proxy-server=http://user:pass@ip:port i ChromeOptions?
Chrome fjerner bevidst loginoplysninger fra --proxy-server-værdien. Angiv dem via selenium-wire, en onAuthRequired-udvidelse, eller skift til Playwright, som accepterer et brugernavn og en adgangskode direkte.
Kan selenium-wire skifte proxy uden at genstarte browseren?
Ja. Tildel en ny dict, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, hvorefter de efterfølgende anmodninger bruger den nye upstream-proxy.
Fungerer auth-udvidelsen i headless Chrome?
Ja, med --headless=new. Den gamle --headless-tilstand indlæste ikke udvidelser på samme måde.
Selenium får timeout på alle sider gennem proxyen. Hvad gør jeg nu?
Indlæs IP-slutpunktet med cURL ved hjælp af de samme loginoplysninger. Hvis cURL også fejler, er linjen eller porten problemet; vores guide til proxy-timeout oplister, hvad du kan tjekke.
Kilder
Stabile IP'er til Selenium-sessioner
Privat IPv4 i 7 lande og statisk ISP i USA og Vietnam, med bruger og adgangskode, ubegrænset forbrug og én kunde pr. IP.
Se aktuelle priser i USA