Selenium WebDriver i autentificirani proxyji: što funkcionira
Napisao inženjerski tim ProxyV4 · Updated:
Autentifikacija proxyja u Seleniumu zahtijeva zaobilazno rješenje jer ChromeDriverova zastavica --proxy-server=http://ip:port ne može prenijeti korisničko ime i lozinku; Chrome odbacuje navedeni user:pass i prikazuje dijaloški okvir za prijavu koji WebDriver ne može ispuniti. Dva pouzdana rješenja su selenium-wire, koji upravlja prijavom na ProxyV4 u Pythonu, te mala Chrome ekstenzija koja odgovara na onAuthRequired u bilo kojem jeziku koji Selenium podržava.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 USD
- 3+ IP-ova1,70 USD
- 10+ IP-ova1,60 USD
- 25+ IP-ova1,50 USD
- 50+ IP-ova1,40 USD
- 100+ IP-ova1,30 USD
- 200+ IP-ova1,20 USD
- 500+ IP-ova1,10 USD
- 1 IP2,25 USD
- 3+ IP-ova2,10 USD
- 10+ IP-ova2,00 USD
- 25+ IP-ova1,90 USD
- 50+ IP-ova1,80 USD
- 100+ IP-ova1,70 USD
- 200+ IP-ova1,60 USD
- 500+ IP-ova1,50 USD
Usporedba opcija
| Metoda | Kako se konfigurira | Kada je dobar izbor |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Najbrži način u Pythonu; proxy se može promijeniti dok je preglednik otvoren |
| Ekstenzija za autentifikaciju | Zapakirana (ZIP) ekstenzija čija pozadinska skripta obrađuje chrome.webRequest.onAuthRequired | Jednako prikladno za Java, C#, Python i undetected-chromedriver |
| Prijelaz na Playwright | browser.newContext({ proxy: { server, username, password } }) | Novi projekti; prijava na proxy je ugrađena, bez ekstenzija |
Što se događa s običnom zastavicom --proxy-server
Chrome preuzima adresu proxyja iz naredbenog retka, ali ignorira sve vjerodajnice navedene u njoj. Kada proxy odgovori s 407, Chrome otvara nativni prozor za prijavu. Taj se prozor nalazi izvan DOM-a stranice, pa ga find_element ne može vidjeti te skripta čeka sve dok ne istekne vremensko ograničenje. Stoga svaka funkcionalna metoda prosljeđuje vjerodajnice izvan same zastavice.
Imajte na umu da se selenium-wire više aktivno ne održava. I dalje radi u mnogim konfiguracijama, ali za dugoročne projekte pristup s ekstenzijom ili Playwright sigurniji su izbor.
Održavanje učinkovitosti Seleniuma uz proxy
- Postavite
options.page_load_strategy = 'eager'kako bi skripta nastavila s radom čim je DOM spreman, umjesto čekanja sporih skripti trećih strana - Za pokretanje bez grafičkog sučelja (headless) na Chrome 109 ili novijem koristite
--headless=new; ekstenzije, uključujući ekstenziju za autentifikaciju, ponašaju se kao u normalnom prozoru - Isključite učitavanje slika u postavkama Chromea kada trebate samo tekstualne podatke poput cijena ili naslova
- Postavite
driver.quit()utry / finallyblok kako u slučaju rušenja ne bi zaostali procesi Chromea
Prije povećanja opsega
Svaka WebDriver sesija je potpuni preglednik, pa svakoj sesiji dodijelite vlastiti IP ako stranica povezuje račune po adresi. Privatni ProxyV4 IPv4 iznajmljuje se jednom korisniku i zadržava svoju adresu pri obnovi, što dugotrajne testne račune drži na istoj IP adresi. Prvo propustite nove proxyje kroz alat za provjeru proxyja kako se loša linija ne bi prikazala kao zbunjujući Selenium timeout.
Ako izvođenje i dalje otvara stranice s vlastite IP adrese poslužitelja ili se zaustavi na pogrešci tunela, odjeljak za Selenium na stranici proxy ne radi navodi uobičajene uzroke po redu.
Korak po korak
- 1
Instalirajte selenium-wire
U svojem virtualnom okruženju pokrenite
pip install selenium-wire. - 2
Definirajte proxy
Sastavite
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}prema svojoj narudžbi na servisu ProxyV4. - 3
Pokrenite Chrome s tim opcijama
Kreirajte driver pomoću
driver = webdriver.Chrome(seleniumwire_options=sw_options), uz uvozwebdriverizseleniumwire. - 4
Provjerite izlazni IP
Pozovite
driver.get('https://proxyv4.com/api/my-ip')i potvrdite da stranica prikazuje adresu proxyja.
Često postavljana pitanja
Zašto se --proxy-server=http://user:pass@ip:port ignorira u ChromeOptions?
Chrome po dizajnu uklanja vjerodajnice iz vrijednosti --proxy-server. Proslijedite ih putem selenium-wire, ekstenzije onAuthRequired ili prijeđite na Playwright, koji izravno prihvaća korisničko ime i lozinku.
Može li selenium-wire promijeniti proxy bez ponovnog pokretanja preglednika?
Da. Dodijelite novi rječnik, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, i svi sljedeći zahtjevi koristit će novi uzvodni proxy.
Radi li ekstenzija za autentifikaciju u headless Chromeu?
Da, uz --headless=new. Stari način rada --headless nije učitavao ekstenzije na isti način.
Seleniumu istječe vrijeme na svakoj stranici preko proxyja. Što učiniti?
Učitajte krajnju točku za IP pomoću alata cURL koristeći iste vjerodajnice. Ako i cURL javi pogrešku, problem je u liniji ili priključku; vodič za istek vremena proxyja navodi što provjeriti.
Izvori
Stabilni IP-ovi za Selenium sesije
Privatni IPv4 u 7 zemalja i statički ISP u SAD-u i Vijetnamu, uz korisničko ime i lozinku, neograničen promet i jednog korisnika po IP-u.
Provjerite trenutne cijene za SAD