Selenium WebDriver en geauthenticeerde proxy's: wat werkt
Door het engineeringteam van ProxyV4 · Updated:
Voor authenticatie bij een Selenium-proxy is een workaround nodig, omdat de flag --proxy-server=http://ip:port van ChromeDriver geen gebruikersnaam en wachtwoord kan bevatten; Chrome negeert inline user:pass en toont een inlogvenster dat WebDriver niet kan invullen. De twee betrouwbare oplossingen zijn selenium-wire, dat de ProxyV4-login in Python afhandelt, en een kleine Chrome-extensie die onAuthRequired beantwoordt in elke Selenium-taal.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IPUS$ 1,85
- 3+ IP'sUS$ 1,70
- 10+ IP'sUS$ 1,60
- 25+ IP'sUS$ 1,50
- 50+ IP'sUS$ 1,40
- 100+ IP'sUS$ 1,30
- 200+ IP'sUS$ 1,20
- 500+ IP'sUS$ 1,10
- 1 IPUS$ 2,25
- 3+ IP'sUS$ 2,10
- 10+ IP'sUS$ 2,00
- 25+ IP'sUS$ 1,90
- 50+ IP'sUS$ 1,80
- 100+ IP'sUS$ 1,70
- 200+ IP'sUS$ 1,60
- 500+ IP'sUS$ 1,50
Opties vergeleken
| Methode | Hoe je het configureert | Geschikt voor |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | De snelste route in Python; de proxy kan worden gewijzigd terwijl de browser openstaat |
| Auth-extensie | Een zip-extensie waarvan het achtergrondscript chrome.webRequest.onAuthRequired afhandelt | Zowel voor Java, C# en Python als voor undetected-chromedriver |
| Overstappen naar Playwright | browser.newContext({ proxy: { server, username, password } }) | Nieuwe projecten; proxy-login is ingebouwd, geen extensie nodig |
Wat er gebeurt met een gewone --proxy-server
Chrome haalt het proxy-adres uit de command-line, maar negeert eventuele inloggegevens die erin staan. Wanneer de proxy met 407 antwoordt, opent Chrome een native inlogvenster. Die prompt bevindt zich buiten de DOM van de pagina, waardoor find_element deze niet kan zien en het script wacht tot de time-out optreedt. Elke werkende methode levert de inloggegevens daarom op een andere manier aan dan via de flag.
Let op: selenium-wire wordt niet langer actief onderhouden. Het werkt nog steeds voor veel configuraties, maar voor langlopende projecten is de extensie-aanpak of Playwright de veiligere keuze.
Selenium-sessies met proxy efficiënt houden
- Stel
options.page_load_strategy = 'eager'in zodat het script doorgaat zodra de DOM klaar is, in plaats van te wachten op trage scripts van derden - Gebruik voor headless sessies in Chrome 109 of nieuwer
--headless=new; extensies, inclusief de auth-extensie, werken dan net zoals in een normaal venster - Schakel het laden van afbeeldingen uit in de Chrome-voorkeuren wanneer je alleen tekst zoals prijzen of titels nodig hebt
- Plaats
driver.quit()in eentry / finally-blok, zodat een crash geen Chrome-processen achterlaat
Voordat je opschaalt
Elke WebDriver-sessie is een volwaardige browser, dus geef elke sessie een eigen IP als de site accounts koppelt op basis van adres. Een privé-IPv4 van ProxyV4 wordt aan één klant verhuurd en behoudt zijn adres bij verlenging, waardoor langlopende testaccounts op hetzelfde IP blijven. Haal nieuwe proxy's eerst door de proxychecker, zodat een slechte verbinding niet voor een verwarrende Selenium-timeout zorgt.
Als een run nog steeds pagina's opent vanaf het eigen IP van de server of stopt bij een tunnelfout, toont het Selenium-gedeelte van proxy werkt niet de gebruikelijke oorzaken op volgorde.
Stap voor stap
- 1
Installeer selenium-wire
Voer in je virtuele omgeving
pip install selenium-wireuit. - 2
Definieer de proxy
Stel
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}samen op basis van je ProxyV4-bestelling. - 3
Start Chrome met deze opties
Maak de driver aan met
driver = webdriver.Chrome(seleniumwire_options=sw_options), waarbij jewebdriverimporteert uitseleniumwire. - 4
Controleer het uitgaande IP
Roep
driver.get('https://proxyv4.com/api/my-ip')aan en controleer of de pagina het proxy-adres toont.
Veelgestelde vragen
Waarom wordt --proxy-server=http://user:pass@ip:port genegeerd in ChromeOptions?
Chrome verwijdert inloggegevens uit de waarde van --proxy-server volgens ontwerp. Geef ze door via selenium-wire, een onAuthRequired-extensie, of stap over naar Playwright, dat een gebruikersnaam en wachtwoord direct ondersteunt.
Kan selenium-wire van proxy wisselen zonder de browser opnieuw op te starten?
Ja. Wijs een nieuwe dict toe via driver.proxy = {'http': 'http://...', 'https': 'http://...'}, waarna de volgende verzoeken de nieuwe upstream-proxy gebruiken.
Werkt de auth-extensie in headless Chrome?
Ja, met --headless=new. De oude --headless-modus laadde extensies niet op dezelfde manier.
Selenium geeft een time-out op elke pagina via de proxy. Wat nu?
Laad het IP-eindpunt met curl via dezelfde inloggegevens. Als curl ook mislukt, ligt het probleem bij de lijn of poort; de handleiding voor proxy-time-outs laat zien wat je moet controleren.
Bronnen
Stabiele IP's voor Selenium-sessies
Private IPv4 in 7 landen en statische ISP in de VS en Vietnam, met gebruikersnaam en wachtwoord, onbeperkt dataverkeer en één klant per IP.
Bekijk actuele Amerikaanse prijzen