Selenium WebDriver och autentiserade proxyservrar: vad som fungerar
Av ProxyV4s ingenjörsteam · Updated:
Selenium proxyautentisering kräver en nödlösning eftersom ChromeDrivers flagga --proxy-server=http://ip:port inte kan hantera användarnamn och lösenord; Chrome ignorerar inline user:pass och visar en inloggningsruta som WebDriver inte kan fylla i. De två pålitliga lösningarna är selenium-wire, som hanterar inloggningen till ProxyV4 i Python, och ett litet Chrome-tillägg som svarar på onAuthRequired i valfritt Selenium-språk.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 US$
- 3+ IP:n1,70 US$
- 10+ IP:n1,60 US$
- 25+ IP:n1,50 US$
- 50+ IP:n1,40 US$
- 100+ IP:n1,30 US$
- 200+ IP:n1,20 US$
- 500+ IP:n1,10 US$
- 1 IP2,25 US$
- 3+ IP:n2,10 US$
- 10+ IP:n2,00 US$
- 25+ IP:n1,90 US$
- 50+ IP:n1,80 US$
- 100+ IP:n1,70 US$
- 200+ IP:n1,60 US$
- 500+ IP:n1,50 US$
Jämförelse av alternativ
| Metod | Hur du konfigurerar den | Passar bäst för |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Snabbaste vägen i Python; proxyn kan bytas medan webbläsaren är öppen |
| Autentiseringstillägg | Ett zippat tillägg vars bakgrundsskript hanterar chrome.webRequest.onAuthRequired | Lika bra för Java, C#, Python och undetected-chromedriver |
| Byt till Playwright | browser.newContext({ proxy: { server, username, password } }) | Nya projekt; proxyinloggning är inbyggd, inget tillägg behövs |
Vad som händer med enbart --proxy-server
Chrome hämtar proxyadressen från kommandoraden men ignorerar alla inloggningsuppgifter som angetts i den. När proxyn svarar med 407 öppnar Chrome en inbyggd inloggningsruta. Den rutan ligger utanför sidans DOM, så find_element kan inte se den och skriptet väntar tills det gör en timeout. Alla fungerande metoder skickar därför inloggningsuppgifterna på något annat sätt än via flaggan.
Observera att selenium-wire inte längre underhålls aktivt. Det fungerar fortfarande för många konfigurationer, men för långsiktiga projekt är tilläggsmetoden eller Playwright ett säkrare kort.
Håll Selenium-körningar via proxy effektiva
- Sätt
options.page_load_strategy = 'eager'så att skriptet fortsätter så fort DOM är redo istället för att vänta på långsamma tredjepartsskript - För headless-körningar i Chrome 109 eller senare, använd
--headless=new; tillägg, inklusive autentiseringstillägget, fungerar då precis som i ett vanligt fönster - Stäng av bildinläsning i Chromes inställningar när du bara behöver text såsom priser eller titlar
- Placera
driver.quit()i etttry / finally-block så att en krasch inte lämnar kvar Chrome-processer i bakgrunden
Innan du skalar upp
Varje WebDriver-session är en fullständig webbläsare, så ge varje session en egen IP-adress om webbplatsen kopplar samman konton via adress. En privat IPv4 från ProxyV4 hyrs ut till en enskild kund och behåller sin adress vid förnyelse, vilket håller långvariga testkonton på samma IP-adress. Kör nya proxyservrar genom proxytestaren först så att en dålig anslutning inte visar sig som en förvirrande Selenium-timeout.
Om en körning ändå öppnar sidor från serverns egen IP-adress eller stannar vid ett tunnelfel, listar Selenium-avsnittet i proxy fungerar inte de vanligaste orsakerna i tur och ordning.
Steg för steg
- 1
Installera selenium-wire
Kör
pip install selenium-wirei din virtuella miljö. - 2
Definiera proxyn
Skapa
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}utifrån din ProxyV4-beställning. - 3
Starta Chrome med alternativen
Initiera drivern med
driver = webdriver.Chrome(seleniumwire_options=sw_options)och importerawebdriverfrånseleniumwire. - 4
Kontrollera utgående IP
Anropa
driver.get('https://proxyv4.com/api/my-ip')och bekräfta att sidan visar proxyadressen.
Vanliga frågor
Varför ignoreras --proxy-server=http://user:pass@ip:port i ChromeOptions?
Chrome tar avsiktligt bort inloggningsuppgifter från värdet i --proxy-server. Ange dem via selenium-wire, ett onAuthRequired-tillägg, eller byt till Playwright, som stödjer användarnamn och lösenord direkt.
Kan selenium-wire byta proxy utan att webbläsaren startas om?
Ja. Tilldela en ny dict, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, så använder efterföljande förfrågningar den nya uppströmsproxyn.
Fungerar autentiseringstillägget i headless Chrome?
Ja, med --headless=new. Det gamla --headless-läget laddade inte tillägg på samma sätt.
Selenium får timeout på varje sida via proxyn. Vad gör jag nu?
Läs in IP-slutpunkten med cURL och samma inloggningsuppgifter. Om även cURL misslyckas ligger problemet i anslutningen eller porten; vår guide för proxy-timeout listar vad du bör kontrollera.
Källor
Stabila IP-adresser för Selenium-sessioner
Privat IPv4 i 7 länder och statisk ISP i USA och Vietnam, med användarnamn och lösenord, obegränsad trafik och en kund per IP.
Se aktuella priser för USA