Selenium WebDriver und authentifizierte Proxys: Was funktioniert
Vom ProxyV4-Entwicklungsteam · Updated:
Die Selenium-Proxy-Authentifizierung erfordert einen Workaround, da das Flag --proxy-server=http://ip:port von ChromeDriver weder Benutzername noch Passwort unterstützt; Chrome verwirft Inline-user:pass und zeigt einen Login-Dialog an, den WebDriver nicht ausfüllen kann. Die beiden verlässlichen Lösungen sind selenium-wire, das den ProxyV4-Login in Python übernimmt, sowie eine kleine Chrome-Extension, die onAuthRequired in jeder Selenium-Sprache beantwortet.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 $
- 3+ IPs1,70 $
- 10+ IPs1,60 $
- 25+ IPs1,50 $
- 50+ IPs1,40 $
- 100+ IPs1,30 $
- 200+ IPs1,20 $
- 500+ IPs1,10 $
- 1 IP2,25 $
- 3+ IPs2,10 $
- 10+ IPs2,00 $
- 25+ IPs1,90 $
- 50+ IPs1,80 $
- 100+ IPs1,70 $
- 200+ IPs1,60 $
- 500+ IPs1,50 $
Optionen im Vergleich
| Methode | Konfiguration | Ideal für |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Schnellster Weg in Python; der Proxy kann bei geöffnetem Browser gewechselt werden |
| Auth-Extension | Eine gezippte Extension, deren Hintergrundskript chrome.webRequest.onAuthRequired verarbeitet | Gleichermaßen für Java, C#, Python und undetected-chromedriver |
| Wechsel zu Playwright | browser.newContext({ proxy: { server, username, password } }) | Neue Projekte; Proxy-Login ist nativ integriert, keine Extension erforderlich |
Was bei reinem --proxy-server passiert
Chrome übernimmt die Proxy-Adresse aus der Befehlszeile, ignoriert jedoch alle darin enthaltenen Anmeldedaten. Wenn der Proxy mit 407 antwortet, öffnet Chrome eine native Anmeldeaufforderung. Dieses Dialogfeld liegt außerhalb des DOM der Seite, sodass find_element es nicht erfassen kann und das Skript bis zum Timeout wartet. Jeder funktionierende Ansatz übergibt die Anmeldedaten daher an anderer Stelle statt über das Flag.
Beachten Sie, dass selenium-wire nicht mehr aktiv gepflegt wird. Für viele Setups funktioniert es weiterhin, für langlebige Projekte ist der Extension-Ansatz oder Playwright jedoch die sicherere Wahl.
Proxied Selenium-Ausführungen effizient halten
- Setzen Sie
options.page_load_strategy = 'eager', damit das Skript fortfährt, sobald das DOM bereit ist, anstatt auf langsame Drittanbieter-Skripte zu warten - Verwenden Sie für Headless-Läufe ab Chrome 109 den Parameter
--headless=new; Extensions, einschließlich der Auth-Extension, verhalten sich wie in einem normalen Fenster - Deaktivieren Sie das Laden von Bildern in den Chrome-Einstellungen, wenn Sie lediglich Text wie Preise oder Titel benötigen
- Platzieren Sie
driver.quit()in einemtry / finally-Block, damit ein Absturz keine verwaisten Chrome-Prozesse hinterlässt
Vor dem Skalieren
Jede WebDriver-Sitzung ist ein vollständiger Browser. Weisen Sie daher jeder Sitzung eine eigene IP zu, wenn die Website Konten anhand der Adresse verknüpft. Eine private IPv4 von ProxyV4 wird an einen einzelnen Kunden vermietet und behält ihre Adresse bei einer Verlängerung, wodurch langfristige Testkonten auf derselben IP bleiben. Testen Sie neue Proxys zuerst mit dem Proxy-Checker, damit eine fehlerhafte Verbindung nicht als verwirrender Selenium-Timeout angezeigt wird.
Wenn ein Durchlauf weiterhin Seiten über die servereigene IP öffnet oder bei einem Tunnelfehler abbricht, führt der Selenium-Abschnitt unter Proxy funktioniert nicht die typischen Ursachen der Reihe nach auf.
Schritt für Schritt
- 1
selenium-wire installieren
Führen Sie in Ihrer virtuellen Umgebung
pip install selenium-wireaus. - 2
Proxy definieren
Erstellen Sie
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}aus Ihrer ProxyV4-Bestellung. - 3
Chrome mit diesen Optionen starten
Erstellen Sie den Driver mit
driver = webdriver.Chrome(seleniumwire_options=sw_options)und importieren Siewebdriverausseleniumwire. - 4
Ausgangs-IP prüfen
Rufen Sie
driver.get('https://proxyv4.com/api/my-ip')auf und vergewissern Sie sich, dass die Seite die Proxy-Adresse anzeigt.
Häufig gestellte Fragen
Warum wird --proxy-server=http://user:pass@ip:port in ChromeOptions ignoriert?
Chrome entfernt Anmeldedaten standardmäßig aus dem Wert von --proxy-server. Übergeben Sie diese stattdessen über selenium-wire, eine onAuthRequired-Extension oder wechseln Sie zu Playwright, das Benutzername und Passwort direkt akzeptiert.
Kann selenium-wire den Proxy wechseln, ohne den Browser neu zu starten?
Ja. Weisen Sie ein neues Dict zu: driver.proxy = {'http': 'http://...', 'https': 'http://...'}. Nachfolgende Anfragen nutzen dann sofort den neuen Upstream-Proxy.
Funktioniert die Auth-Extension im Headless-Modus von Chrome?
Ja, mit --headless=new. Der alte --headless-Modus hat Extensions nicht auf die gleiche Weise geladen.
Selenium läuft bei jeder Seite über den Proxy ins Timeout. Was tun?
Rufen Sie den IP-Endpunkt mit curl und denselben Anmeldedaten auf. Schlägt auch curl fehl, liegt das Problem an Leitung oder Port; der proxy timeout guide zeigt, was zu prüfen ist.
Quellen
Stabile IPs für Selenium-Sitzungen
Private IPv4 in 7 Ländern und statische ISP in den USA und Vietnam, mit Benutzername und Passwort, ungedrosselt und ein Kunde pro IP.
Aktuelle US-Preise ansehen