Selenium WebDriver a autentizované proxy: co funguje
Od inženýrského týmu ProxyV4 · Updated:
Autentizace proxy v Selenium vyžaduje obezličku, protože parametr ChromeDriveru --proxy-server=http://ip:port neumí předat uživatelské jméno a heslo; Chrome vložené user:pass zahodí a zobrazí přihlašovací dialog, který WebDriver nedokáže vyplnit. Dvě spolehlivá řešení představují selenium-wire, které řeší přihlášení k ProxyV4 v Pythonu, a malé rozšíření pro Chrome obsluhující onAuthRequired v jakémkoli jazyce pro Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP2,25 US$
- 3+ IP2,10 US$
- 10+ IP2,00 US$
- 25+ IP1,90 US$
- 50+ IP1,80 US$
- 100+ IP1,70 US$
- 200+ IP1,60 US$
- 500+ IP1,50 US$
Porovnání možností
| Metoda | Jak ji nakonfigurovat | Kdy se hodí |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Nejrychlejší cesta v Pythonu; proxy lze změnit i za běhu prohlížeče |
| Autorizační rozšíření | Zabalené rozšíření v zipu, jehož background skript obsluhuje chrome.webRequest.onAuthRequired | Vhodné pro Javu, C#, Python i undetected-chromedriver |
| Přechod na Playwright | browser.newContext({ proxy: { server, username, password } }) | Nové projekty; přihlášení k proxy je vestavěné bez nutnosti rozšíření |
Co se stane při použití samotného --proxy-server
Chrome převezme adresu proxy z příkazového řádku, ale ignoruje jakékoli přihlašovací údaje v ní obsažené. Když proxy vrátí kód 407, Chrome otevře nativní dialog pro přihlášení. Tato výzva leží mimo DOM stránky, takže ji find_element nevidí a skript čeká, dokud nevyprší časový limit. Každá funkční metoda proto předává přihlašovací údaje jinou cestou než přes tento parametr.
Mějte na paměti, že selenium-wire již není aktivně vyvíjeno. V mnoha konfiguracích stále funguje, ale pro dlouhodobé projekty představuje bezpečnější volbu řešení pomocí rozšíření nebo Playwright.
Jak udržet běhy Selenium přes proxy efektivní
- Nastavte
options.page_load_strategy = 'eager', aby skript pokračoval hned po načtení DOMu a nečekal na pomalé skripty třetích stran - Pro headless režim v Chrome 109 nebo novějším použijte
--headless=new; rozšíření včetně toho autorizačního se pak chovají stejně jako v běžném okně - Vypněte načítání obrázků v předvolbách Chrome, pokud potřebujete pouze text, jako jsou ceny či názvy
- Umístěte
driver.quit()do blokutry / finally, aby po pádu nezůstávaly viset procesy Chrome
Než začnete škálovat
Každá relace WebDriveru představuje plnohodnotný prohlížeč, proto každé relaci přidělte vlastní IP, pokud web propojuje účty podle adresy. Privátní IPv4 od ProxyV4 je pronajata vždy pouze jednomu zákazníkovi a při prodloužení si zachovává svou adresu, což udržuje dlouhodobé testovací účty na stejné IP. Nové proxy nejprve otestujte přes kontrolu proxy, aby se vadná linka neprojevila jako matoucí timeout v Selenium.
Pokud běh stále otevírá stránky z vlastní IP adresy serveru nebo se zastaví na chybě tunelu, sekce Selenium na stránce proxy nefunguje uvádí obvyklé příčiny popořadě.
Krok za krokem
- 1
Nainstalujte selenium-wire
Ve svém virtuálním prostředí spusťte
pip install selenium-wire. - 2
Definujte konfiguraci proxy
Sestavte
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}z údajů své objednávky ProxyV4. - 3
Spusťte Chrome s touto konfigurací
Vytvořte driver pomocí
driver = webdriver.Chrome(seleniumwire_options=sw_options), přičemžwebdriverimportujte z balíčkuseleniumwire. - 4
Zkontrolujte výstupní IP adresu
Zavolejte
driver.get('https://proxyv4.com/api/my-ip')a ověřte, že stránka zobrazuje adresu proxy.
Často kladené otázky
Proč je parametr --proxy-server=http://user:pass@ip:port v ChromeOptions ignorován?
Chrome přihlašovací údaje z hodnoty --proxy-server záměrně odstraňuje. Předejte je prostřednictvím selenium-wire, rozšíření pro onAuthRequired, nebo přejděte na Playwright, který uživatelské jméno a heslo přijímá přímo.
Dokáže selenium-wire změnit proxy bez restartu prohlížeče?
Ano. Přiřaďte nový slovník driver.proxy = {'http': 'http://...', 'https': 'http://...'} a následující požadavky použijí novou nadřazenou proxy.
Funguje autorizační rozšíření v headless Chrome?
Ano, s přepínačem --headless=new. Starý režim --headless nenačítal rozšíření odpovídajícím způsobem.
Selenium hlásí při každé stránce přes proxy timeout. Co dál?
Načtěte endpoint pro zjištění IP adresy přes cURL se stejnými přihlašovacími údaji. Pokud selže i cURL, problém je v lince nebo portu; co prověřit, uvádí průvodce vypršením časového limitu proxy.
Zdroje
Stabilní IP adresy pro relace Selenium
Privátní IPv4 v 7 zemích a statické ISP v USA a Vietnamu, s uživatelským jménem a heslem, neomezeným přenosem a jednou IP na zákazníka.
Zobrazit aktuální ceny pro USA