Selenium WebDriver és hitelesített proxyk: a működő megoldások
A ProxyV4 mérnökcsapatától · Updated:
A Selenium proxy-hitelesítéshez megkerülő megoldásra van szükség, mivel a ChromeDriver --proxy-server=http://ip:port jelzője nem tud felhasználónevet és jelszót átadni; a Chrome eldobja a beágyazott user:pass adatokat, és egy olyan bejelentkezési ablakot jelenít meg, amelyet a WebDriver nem képes kitölteni. A két megbízható megoldás a selenium-wire, amely Pythonban kezeli a(z) ProxyV4 bejelentkezést, valamint egy kisméretű Chrome-bővítmény, amely bármely Selenium nyelven válaszol az onAuthRequired eseményre.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP2,25 USD
- 3+ IP2,10 USD
- 10+ IP2,00 USD
- 25+ IP1,90 USD
- 50+ IP1,80 USD
- 100+ IP1,70 USD
- 200+ IP1,60 USD
- 500+ IP1,50 USD
A lehetőségek összehasonlítása
| Módszer | Konfigurálás módja | Ideális felhasználás |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | A leggyorsabb út Pythonban; a proxy a böngésző futása közben is módosítható |
| Hitelesítési bővítmény | Egy becsomagolt (zip) bővítmény, amelynek háttérszkriptje a chrome.webRequest.onAuthRequired eseményt kezeli | Java, C#, Python és undetected-chromedriver esetén egyaránt |
| Áttérés Playwrightra | browser.newContext({ proxy: { server, username, password } }) | Új projektekhez; a proxy-bejelentkezés beépített, nincs szükség bővítményre |
Mi történik az egyszerű --proxy-server használatakor
A Chrome átveszi a proxy címét a parancssorból, de figyelmen kívül hagyja a beleírt hitelesítési adatokat. Amikor a proxy 407-es választ ad, a Chrome egy natív bejelentkezési ablakot nyit meg. Ez az ablak a weboldal DOM-ján kívül esik, így a find_element nem látja, a szkript pedig időtúllépésig várakozik. Ezért minden működő módszer a parancssori jelzőn kívül adja meg a hitelesítési adatokat.
Ne feledje, hogy a selenium-wire fejlesztése már nem aktív. Bár sok konfigurációban még működik, a hosszú távú projektekhez a bővítményes megközelítés vagy a Playwright a biztonságosabb választás.
A proxival futtatott Selenium-folyamatok hatékonyságának megőrzése
- Állítsa be az
options.page_load_strategy = 'eager'értéket, hogy a szkript a DOM elkészülte után azonnal folytatódjon ahelyett, hogy a lassú, külső forrásból származó szkriptekre várna - Fej nélküli (headless) futtatáshoz Chrome 109 vagy újabb verzió esetén használja a
--headless=newjelzőt; a bővítmények – beleértve a hitelesítési bővítményt is – úgy működnek, mint egy normál ablakban - Kapcsolja ki a képek betöltését a Chrome beállításaiban, ha csak szöveges adatokra, például árakra vagy címekre van szüksége
- Helyezze a
driver.quit()parancsot egytry / finallyblokkba, hogy egy esetleges összeomlás ne hagyjon hátra Chrome-folyamatokat
Mielőtt felskálázna
Minden WebDriver-munkamenet egy teljes böngésző, ezért rendeljen minden munkamenethez saját IP-címet, ha a webhely cím alapján kapcsolja össze a fiókokat. A ProxyV4 privát IPv4-et egyetlen ügyfél bérli, és megújításkor megőrzi a címét, ami ugyanazon az IP-címen tartja a régóta futó tesztfiókokat. Először futtassa át az új proxykat a proxy-ellenőrzőn, hogy egy hibás vonal ne megtévesztő Selenium-időtúllépésként jelenjen meg.
Ha egy futtatás továbbra is a szerver saját IP-címéről nyitja meg az oldalakat, vagy alagúthibával leáll, a nem működő proxy oldal Selenium szakasza sorrendben felsorolja a gyakori okokat.
Lépésről lépésre
- 1
A selenium-wire telepítése
Futtassa a virtuális környezetében a
pip install selenium-wireparancsot. - 2
A proxy megadása
Állítsa össze a
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}konfigurációt a(z) ProxyV4 megrendelése alapján. - 3
A Chrome indítása a megadott beállításokkal
Hozza létre a drivert a
driver = webdriver.Chrome(seleniumwire_options=sw_options)paranccsal, awebdrivermodult aseleniumwirecsomagból importálva. - 4
A kimenő IP ellenőrzése
Hívja meg a
driver.get('https://proxyv4.com/api/my-ip')címet, és ellenőrizze, hogy az oldal a proxy címét mutatja-e.
Gyakran ismételt kérdések
Miért hagyja figyelmen kívül a ChromeOptions a --proxy-server=http://user:pass@ip:port beállítást?
A Chrome szándékosan eltávolítja a hitelesítési adatokat a --proxy-server értékéből. Adja meg őket a selenium-wire vagy egy onAuthRequired bővítmény segítségével, vagy váltson a Playwright használatára, amely közvetlenül elfogadja a felhasználónevet és jelszót.
Képes a selenium-wire proxy-t váltani a böngésző újraindítása nélkül?
Igen. Rendeljen hozzá egy új szótárat: driver.proxy = {'http': 'http://...', 'https': 'http://...'}, és a rákövetkező kérések már az új felsőbb szintű proxyt fogják használni.
Működik a hitelesítési bővítmény fej nélküli (headless) Chrome-ban?
Igen, a --headless=new használatával. A korábbi --headless mód nem ugyanúgy töltötte be a bővítményeket.
A Selenium minden oldalnál időtúllépést jelez a proxin keresztül. Mi a teendő?
Töltse be az IP-végpontot curl segítségével ugyanazokkal a hitelesítési adatokkal. Ha a curl is meghiúsul, a vonallal vagy a porttal van probléma; a proxy timeout guide részletezi az ellenőrizendő lépéseket.
Források
Stabil IP-címek Selenium-munkamenetekhez
Privát IPv4 7 országban és statikus ISP az Egyesült Államokban és Vietnámban, felhasználónévvel és jelszóval, forgalomkorlát nélkül, IP-nként egyetlen ügyféllel.
Élő USA árak megtekintése