Selenium WebDriver a overené proxy: čo funguje
Od inžinierskeho tímu ProxyV4 · Updated:
Autentifikácia proxy v Selenium si vyžaduje alternatívne riešenie, pretože parameter --proxy-server=http://ip:port v ChromeDriveri nedokáže preniesť používateľské meno a heslo; Chrome inline user:pass zahodí a zobrazí prihlasovacie okno, ktoré WebDriver nevie vyplniť. Dve spoľahlivé riešenia sú selenium-wire, ktorý rieši prihlásenie do ProxyV4 v Pythone, a malé rozšírenie pre Chrome obsluhujúce onAuthRequired v akomkoľvek jazyku Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP2,25 USD
- 3+ IP2,10 USD
- 10+ IP2,00 USD
- 25+ IP1,90 USD
- 50+ IP1,80 USD
- 100+ IP1,70 USD
- 200+ IP1,60 USD
- 500+ IP1,50 USD
Porovnanie možností
| Metóda | Spôsob konfigurácie | Vhodné využitie |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Najrýchlejšia cesta v Pythone; proxy možno zmeniť aj pri otvorenom prehliadači |
| Auth extension | Zabalené rozšírenie (ZIP), ktorého skript na pozadí obsluhuje chrome.webRequest.onAuthRequired | Rovnako vhodné pre Javu, C#, Python aj undetected-chromedriver |
| Prechod na Playwright | browser.newContext({ proxy: { server, username, password } }) | Nové projekty; prihlásenie k proxy je vstavané, bez nutnosti rozšírenia |
Čo sa deje pri použití samotného --proxy-server
Chrome prevezme adresu proxy z príkazového riadka, no ignoruje v nej uvedené prihlasovacie údaje. Keď proxy odpovie kódom 407, Chrome otvorí natívne prihlasovacie okno. Toto okno sa nachádza mimo DOM stránky, takže ho find_element nedokáže nájsť a skript čaká, kým nevyprší časový limit. Každá funkčná metóda preto dodáva prihlasovacie údaje inak než cez tento parameter.
Upozorňujeme, že knižnica selenium-wire už nie je aktívne vyvíjaná. Pre mnohé zostavy stále funguje, no pri dlhodobých projektoch predstavuje bezpečnejšiu voľbu prístup s rozšírením alebo Playwright.
Ako udržať beh Selenium cez proxy efektívny
- Nastavte
options.page_load_strategy = 'eager', aby skript pokračoval hneď po načítaní DOM namiesto čakania na pomalé skripty tretích strán - Pri behu bez grafického rozhrania (headless) v Chrome 109 alebo novšom použite
--headless=new; rozšírenia vrátane autentifikačného sa správajú rovnako ako v bežnom okne - Ak potrebujete len text, napríklad ceny alebo názvy, vypnite v nastaveniach prehliadača Chrome načítavanie obrázkov
- Umiestnite
driver.quit()do blokutry / finally, aby pád skriptu nenechal bežať procesy prehliadača Chrome
Skôr než začnete škálovať
Každá relácia WebDriveru je plnohodnotný prehliadač, preto každej relácii priraďte vlastnú IP, ak stránka prepája účty podľa adresy. Privátna IPv4 od ProxyV4 sa prenajíma jednému zákazníkovi a pri predĺžení si zachováva svoju adresu, vďaka čomu dlhodobé testovacie účty zostávajú na rovnakej IP. Nové proxy najprv otestujte cez proxy checker, aby sa zlé pripojenie neprejavilo ako mätúci timeout v Seleniume.
Ak beh stále otvára stránky z vlastnej IP servera alebo sa zastaví na chybe tunela, sekcia Selenium v proxy nefunguje uvádza obvyklé príčiny v poradí.
Krok za krokom
- 1
Nainštalujte selenium-wire
Vo virtuálnom prostredí spustite
pip install selenium-wire. - 2
Zadefinujte proxy
Zostavte
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}na základe vašej objednávky v ProxyV4. - 3
Spustite Chrome s týmito parametrami
Vytvorte ovládač pomocou
driver = webdriver.Chrome(seleniumwire_options=sw_options)a importujtewebdriverz knižniceseleniumwire. - 4
Skontrolujte výstupnú IP adresu
Zavolajte
driver.get('https://proxyv4.com/api/my-ip')a overte, že stránka zobrazuje adresu proxy.
Často kladené otázky
Prečo je --proxy-server=http://user:pass@ip:port v ChromeOptions ignorovaný?
Chrome prihlasovacie údaje z hodnoty --proxy-server zámerne odstraňuje. Odovzdajte ich cez selenium-wire, rozšírenie s onAuthRequired alebo prejdite na Playwright, ktorý používateľské meno a heslo prijíma priamo.
Dokáže selenium-wire zmeniť proxy bez reštartovania prehliadača?
Áno. Priraďte nový slovník driver.proxy = {'http': 'http://...', 'https': 'http://...'} a nasledujúce požiadavky použijú novú nadradenú proxy.
Funguje autentifikačné rozšírenie v headless Chrome?
Áno, s parametrom --headless=new. Starý režim --headless nenačítaval rozšírenia rovnakým spôsobom.
V Selenium cez proxy vyprší časový limit na každej stránke. Čo robiť?
Načítajte koncový bod s IP adresou pomocou curl s rovnakými prihlasovacími údajmi. Ak zlyhá aj curl, problém je v linke alebo porte; sprievodca proxy timeout guide uvádza, čo skontrolovať.
Zdroje
Stabilné IP adresy pre relácie Selenium
Privátne IPv4 v 7 krajinách a statické ISP v USA a vo Vietname, s menom a heslom, bez dátových limitov a vždy pre jedného zákazníka na IP.
Zobraziť aktuálne ceny v USA