Selenium WebDriver in proxyji z avtentikacijo: kaj deluje
Avtor: inženirska ekipa ProxyV4 · Updated:
Avtentikacija proxyja v Seleniumu zahteva obhodno rešitev, saj zastavica --proxy-server=http://ip:port v ChromeDriverju ne more vsebovati uporabniškega imena in gesla; Chrome zavrže vdelani user:pass in prikaže prijavno pogovorno okno, ki ga WebDriver ne more izpolniti. Dve zanesljivi rešitvi sta selenium-wire, ki poskrbi za prijavo v ProxyV4 v Pythonu, in majhna razširitev za Chrome, ki se odzove na onAuthRequired v katerem koli jeziku za Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 $
- 3+ IP-jev1,70 $
- 10+ IP-jev1,60 $
- 25+ IP-jev1,50 $
- 50+ IP-jev1,40 $
- 100+ IP-jev1,30 $
- 200+ IP-jev1,20 $
- 500+ IP-jev1,10 $
- 1 IP2,25 $
- 3+ IP-jev2,10 $
- 10+ IP-jev2,00 $
- 25+ IP-jev1,90 $
- 50+ IP-jev1,80 $
- 100+ IP-jev1,70 $
- 200+ IP-jev1,60 $
- 500+ IP-jev1,50 $
Primerjava možnosti
| Metoda | Kako jo konfigurirate | Za kaj je primerna |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Najhitrejša pot v Pythonu; proxy lahko zamenjate, medtem ko je brskalnik odprt |
| Razširitev za avtentikacijo | Stisnjena razširitev (ZIP), katere skript v ozadju upravlja chrome.webRequest.onAuthRequired | Tako za Javo, C# in Python kot za undetected-chromedriver |
| Prehod na Playwright | browser.newContext({ proxy: { server, username, password } }) | Novi projekti; prijava prek proxyja je vgrajena, brez razširitev |
Kaj se zgodi z navadno zastavico --proxy-server
Chrome prevzame naslov proxyja iz ukazne vrstice, vendar prezre vse poverilnice, zapisane vanj. Ko proxy odgovori s 407, Chrome odpre sistemsko pogovorno okno za prijavo. To okno je zunaj DOM-a strani, zato ga find_element ne more zaznati, skript pa čaka do poteka časovne omejitve. Vsaka delujoča metoda zato posreduje poverilnice drugje kot prek zastavice.
Upoštevajte, da orodje selenium-wire ni več aktivno vzdrževano. Še vedno deluje za številne nastavitve, toda za dolgoročne projekte sta zanesljivejša izbira pristop z razširitvijo ali Playwright.
Ohranjanje učinkovitosti izvajanja Seleniuma s proxyji
- Nastavite
options.page_load_strategy = 'eager', da se skript nadaljuje takoj, ko je DOM pripravljen, namesto da bi čakal na počasne zunanje skripte - Za brezglavo izvajanje v brskalniku Chrome 109 ali novejšem uporabite
--headless=new; razširitve, vključno z razširitvijo za avtentikacijo, se obnašajo kot v običajnem oknu - V nastavitvah brskalnika Chrome izklopite nalaganje slik, kadar potrebujete le besedilo, kot so cene ali naslovi
- Postavite
driver.quit()v bloktry / finally, da sesutje za seboj ne pusti odprtih procesov Chroma
Preden povečate obseg
Vsaka seja WebDriver je celoten brskalnik, zato vsaki seji dodelite lasten IP, če spletno mesto povezuje račune po naslovu. Zasebni IPv4 ponudnika ProxyV4 se oddaja le eni stranki in ob podaljšanju ohrani svoj naslov, kar ohranja dolgotrajne testne račune na istem IP-ju. Nove proxyje najprej preizkusite z orodjem preverjalnik proxyjev, da se slaba povezava ne prikaže kot nejasna časovna omejitev v Seleniumu.
Če izvajanje še vedno odpira strani z lastnega IP-naslova strežnika ali se ustavi pri napaki tunela, razdelek za Selenium na strani proxy ne deluje po vrstnem redu navaja najpogostejše vzroke.
Korak za korakom
- 1
Namestite selenium-wire
V virtualnem okolju zaženite
pip install selenium-wire. - 2
Določite proxy
Sestavite
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}iz podatkov naročila pri ProxyV4. - 3
Zaženite Chrome s temi možnostmi
Ustvarite gonilnik z
driver = webdriver.Chrome(seleniumwire_options=sw_options)ter uvozitewebdriverizseleniumwire. - 4
Preverite izhodni IP
Pokličite
driver.get('https://proxyv4.com/api/my-ip')in preverite, ali stran prikazuje naslov proxyja.
Pogosta vprašanja
Zakaj je --proxy-server=http://user:pass@ip:port prezrt v ChromeOptions?
Chrome načrtno odstrani poverilnice iz vrednosti --proxy-server. Posredujte jih prek selenium-wire, razširitve za onAuthRequired ali pa preidite na Playwright, ki neposredno sprejme uporabniško ime in geslo.
Ali lahko selenium-wire zamenja proxy brez ponovnega zagona brskalnika?
Da. Dodelite nov slovar, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, in naslednje zahteve bodo uporabile nov nadrejeni proxy.
Ali razširitev za avtentikacijo deluje v brezglavem načinu Chroma?
Da, z --headless=new. Stari način --headless razširitev ni nalagal na enak način.
Seleniumu na vsaki strani prek proxyja poteče časovna omejitev. Kaj storiti?
Naložite končno točko za IP s cURL-om z uporabo istih poverilnic. Če spodleti tudi cURL-u, je težava v povezavi ali vratih; vodnik proxy timeout guide navaja, kaj morate preveriti.
Viri
Stabilni IP-ji za seje v Seleniumu
Zasebni IPv4 v 7 državah in statični ISP v ZDA in Vietnamu, z uporabniškim imenom in geslom, brez omejitev prometa in ena stranka na IP.
Preverite cene v ZDA v živo