Selenium WebDriver ir proxy su autentifikavimu: kas veikia
Parengė ProxyV4 inžinierių komanda · Updated:
Selenium proxy autentifikavimui reikalingas apeinantis sprendimas, nes ChromeDriver vėliavėlė --proxy-server=http://ip:port negali perduoti naudotojo vardo ir slaptažodžio; Chrome atmeta tiesioginį user:pass ir parodo prisijungimo langą, kurio WebDriver negali užpildyti. Du patikimi sprendimai yra selenium-wire, kuris atlieka ProxyV4 prisijungimą Python aplinkoje, ir nedidelis Chrome plėtinys, kuris atsako į onAuthRequired bet kurioje Selenium palaikomoje kalboje.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP2,25 USD
- 3+ IP2,10 USD
- 10+ IP2,00 USD
- 25+ IP1,90 USD
- 50+ IP1,80 USD
- 100+ IP1,70 USD
- 200+ IP1,60 USD
- 500+ IP1,50 USD
Parinkčių palyginimas
| Metodas | Kaip konfigūruojama | Kam tinka |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Greičiausias kelias naudojant Python; proxy galima pakeisti neatidarant naršyklės iš naujo |
| Autentifikavimo plėtinys | Supakuotas plėtinys, kurio foninis scenarijus apdoroja chrome.webRequest.onAuthRequired | Tiek Java, C#, Python, tiek undetected-chromedriver |
| Perėjimas prie Playwright | browser.newContext({ proxy: { server, username, password } }) | Naujiems projektams; proxy prisijungimas jau integruotas, nereikia jokio plėtinio |
Kas nutinka naudojant tiesioginį --proxy-server
Chrome paima proxy adresą iš komandinės eilutės, tačiau nepaiso į jį įrašytų prisijungimo duomenų. Kai proxy atsako 407, Chrome atidaro operacinės sistemos prisijungimo užklausą. Ši užklausa yra už puslapio DOM ribų, todėl find_element jos nemato ir scenarijus laukia, kol baigiasi laikas. Todėl kiekvienas veikiantis metodas prisijungimo duomenis perduoda ne per vėliavėlę, o kitu būdu.
Atkreipkite dėmesį, kad selenium-wire nebėra aktyviai palaikomas. Jis vis dar veikia daugelyje konfigūracijų, tačiau ilgalaikiams projektams saugesnis pasirinkimas yra plėtinio metodas arba Playwright.
Kaip išlaikyti efektyvų Selenium darbą su proxy
- Nustatykite
options.page_load_strategy = 'eager', kad scenarijus tęstų darbą vos paruošus DOM, užuot laukęs lėtų trečiųjų šalių scenarijų - Paleidimams be grafinės sąsajos (headless) Chrome 109 ar naujesnėje versijoje naudokite
--headless=new; plėtiniai, įskaitant autentifikavimo plėtinį, veiks kaip įprastame lange - Išjunkite vaizdų įkėlimą Chrome nustatymuose, kai jums reikia tik teksto, pavyzdžiui, kainų ar pavadinimų
- Įdėkite
driver.quit()įtry / finallybloką, kad įvykus trikdžiui neliktų veikiančių Chrome procesų
Prieš didinant mastelį
Kiekviena WebDriver sesija yra visavertė naršyklė, todėl suteikite kiekvienai sesijai atskirą IP, jei svetainė sieja paskyras pagal adresą. ProxyV4 privatus IPv4 yra nuomojamas vienam klientui ir pratęsiant išlaiko savo adresą, todėl ilgalaikės testavimo paskyros lieka su tuo pačiu IP. Pirmiausia patikrinkite naujus proxy per proxy tikrintuvą, kad bloga linija nepasirodytų kaip klaidinanti Selenium laiko viršijimo klaida.
Jei paleidimas vis tiek atidaro puslapius iš paties serverio IP arba sustoja ties tunelio klaida, puslapio proxy neveikia Selenium skiltyje iš eilės išvardytos dažniausios priežastys.
Žingsnis po žingsnio
- 1
Įdiekite selenium-wire
Savo virtualiojoje aplinkoje paleiskite
pip install selenium-wire. - 2
Nurodykite proxy duomenis
Sudarykite
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}pagal savo ProxyV4 užsakymą. - 3
Paleiskite Chrome su šiomis parinktimis
Sukurkite tvarkyklę su
driver = webdriver.Chrome(seleniumwire_options=sw_options), importuodamiwebdriverišseleniumwire. - 4
Patikrinkite išeinantį IP
Iškvieskite
driver.get('https://proxyv4.com/api/my-ip')ir įsitikinkite, kad puslapyje rodomas proxy adresas.
Dažnai užduodami klausimai
Kodėl --proxy-server=http://user:pass@ip:port ignoruojamas ChromeOptions?
Chrome iš --proxy-server reikšmės pašalina prisijungimo duomenis pagal numatytąją elgseną. Pateikite juos per selenium-wire, onAuthRequired plėtinį arba pereikite prie Playwright, kuris naudotojo vardą ir slaptažodį priima tiesiogiai.
Ar selenium-wire gali pakeisti proxy nepaleidžiant naršyklės iš naujo?
Taip. Priskirkite naują žodyną driver.proxy = {'http': 'http://...', 'https': 'http://...'}, ir tolesnės užklausos naudos naująjį proxy.
Ar autentifikavimo plėtinys veikia headless Chrome režimu?
Taip, naudojant --headless=new. Senasis --headless režimas neįkeldavo plėtinių tokiu pačiu būdu.
Selenium baigiasi laikas (timeout) kiekviename puslapyje per proxy. Ką daryti?
Užkraukite IP adreso prieigos tašką per cURL su tais pačiais prisijungimo duomenimis. Jei cURL taip pat nepavyksta, problema yra linijoje arba prievade; proxy timeout guide nurodyta, ką patikrinti.
Šaltiniai
Stabilūs IP Selenium sesijoms
Privatus IPv4 7 šalyse ir statinis ISP JAV bei Vietname, su naudotojo vardu ir slaptažodžiu, neribotu srautu bei vienu klientu vienam IP.
Tikrinti JAV kainas realiuoju laiku