Selenium WebDriver i autentificirani proxyji: šta funkcioniše
Napisao ProxyV4 inženjerski tim · Updated:
Autentifikacija Selenium proxyja zahtijeva zaobilazno rješenje jer zastavica --proxy-server=http://ip:port u ChromeDriveru ne može prenijeti korisničko ime i lozinku; Chrome odbacuje ugrađeni user:pass i prikazuje prozor za prijavu koji WebDriver ne može popuniti. Dva pouzdana rješenja su selenium-wire, koji upravlja ProxyV4 prijavom u Pythonu, i mala Chrome ekstenzija koja odgovara na onAuthRequired u bilo kojem Selenium programskom jeziku.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 USD
- 3+ IP-jeva1,70 USD
- 10+ IP-jeva1,60 USD
- 25+ IP-jeva1,50 USD
- 50+ IP-jeva1,40 USD
- 100+ IP-jeva1,30 USD
- 200+ IP-jeva1,20 USD
- 500+ IP-jeva1,10 USD
- 1 IP2,25 USD
- 3+ IP-jeva2,10 USD
- 10+ IP-jeva2,00 USD
- 25+ IP-jeva1,90 USD
- 50+ IP-jeva1,80 USD
- 100+ IP-jeva1,70 USD
- 200+ IP-jeva1,60 USD
- 500+ IP-jeva1,50 USD
Uporedba opcija
| Metoda | Kako se konfiguriše | Kada je dobar izbor |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Najbrži put u Pythonu; proxy se može promijeniti dok je preglednik otvoren |
| Auth ekstenzija | Zipovana ekstenzija čija pozadinska skripta obrađuje chrome.webRequest.onAuthRequired | Podjednako za Java, C#, Python i undetected-chromedriver |
| Prelazak na Playwright | browser.newContext({ proxy: { server, username, password } }) | Novi projekti; prijava na proxy je ugrađena, bez ekstenzija |
Šta se dešava s običnim --proxy-server
Chrome preuzima adresu proxyja iz komandne linije, ali zanemaruje sve vjerodajnice navedene u njoj. Kada proxy odgovori sa 407, Chrome otvara sistemski prozor za prijavu. Taj prozor se nalazi izvan DOM-a stranice, pa ga find_element ne može vidjeti i skripta čeka dok ne istekne vrijeme. Zbog toga svaka metoda koja funkcioniše prosljeđuje vjerodajnice na neko drugo mjesto, a ne kroz samu zastavicu.
Imajte na umu da se selenium-wire više aktivno ne održava. Još uvijek radi za mnoga okruženja, ali za dugoročne projekte pristup s ekstenzijom ili Playwright sigurniji su izbor.
Održavanje efikasnosti Selenium sesija s proxyjem
- Postavite
options.page_load_strategy = 'eager'kako bi skripta nastavila rad čim je DOM spreman, umjesto da čeka spore skripte trećih strana - Za headless pokretanje na Chrome 109 ili novijim verzijama koristite
--headless=new; ekstenzije, uključujući auth ekstenziju, ponašaju se kao u normalnom prozoru - Isključite učitavanje slika u postavkama Chromea kada su vam potrebni samo tekstualni podaci poput cijena ili naslova
- Stavite
driver.quit()utry / finallyblok kako prekid rada ne bi ostavio aktivne Chrome procese u pozadini
Prije nego što povećate obim
Svaka WebDriver sesija je potpuni preglednik, pa dodijelite svakoj sesiji vlastiti IP ako web stranica povezuje račune po adresi. ProxyV4 privatni IPv4 se iznajmljuje jednom korisniku i zadržava svoju adresu pri obnovi, čime se dugotrajni testni računi zadržavaju na istom IP-u. Prvo provjerite nove proxyje kroz alat za provjeru proxyja kako se loša linija ne bi prikazala kao zbunjujući Selenium timeout.
Ako pokretanje i dalje otvara stranice s vlastite IP adrese servera ili se zaustavi zbog greške tunela, odjeljak za Selenium u proxy ne radi navodi uobičajene uzroke po redoslijedu.
Korak po korak
- 1
Instalirajte selenium-wire
U svom virtuelnom okruženju pokrenite
pip install selenium-wire. - 2
Definišite proxy
Kreirajte
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}na osnovu vaše ProxyV4 narudžbe. - 3
Pokrenite Chrome s tim opcijama
Kreirajte driver pomoću
driver = webdriver.Chrome(seleniumwire_options=sw_options), uvozećiwebdriverizseleniumwire. - 4
Provjerite izlazni IP
Pozovite
driver.get('https://proxyv4.com/api/my-ip')i potvrdite da stranica prikazuje adresu proxyja.
Često postavljana pitanja
Zašto se --proxy-server=http://user:pass@ip:port ignoriše u ChromeOptions?
Chrome po dizajnu uklanja vjerodajnice iz vrijednosti --proxy-server. Proslijedite ih putem selenium-wire, ekstenzije s onAuthRequired ili pređite na Playwright, koji direktno podržava korisničko ime i lozinku.
Može li selenium-wire promijeniti proxy bez ponovnog pokretanja preglednika?
Da. Dodijelite novi dict, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, i naredni zahtjevi će koristiti novi upstream proxy.
Radi li auth ekstenzija u headless Chromeu?
Da, uz --headless=new. Stari --headless način rada nije učitavao ekstenzije na isti način.
Selenium daje timeout na svakoj stranici preko proxyja. Šta dalje?
Učitajte IP endpoint pomoću cURL-a koristeći iste vjerodajnice. Ako i cURL zakaže, problem je u liniji ili portu; vodič za proxy timeout navodi šta treba provjeriti.
Izvori
Stabilni IP-ovi za Selenium sesije
Privatni IPv4 u 7 zemalja i statički ISP u SAD-u i Vijetnamu, uz korisničko ime i lozinku, bez ograničenja prometa i jedan korisnik po IP-u.
Provjerite aktuelne cijene za SAD