ProxyV4

Selenium WebDriver ir proxy su autentifikavimu: kas veikia

· Updated:

Selenium proxy autentifikavimui reikalingas apeinantis sprendimas, nes ChromeDriver vėliavėlė --proxy-server=http://ip:port negali perduoti naudotojo vardo ir slaptažodžio; Chrome atmeta tiesioginį user:pass ir parodo prisijungimo langą, kurio WebDriver negali užpildyti. Du patikimi sprendimai yra selenium-wire, kuris atlieka ProxyV4 prisijungimą Python aplinkoje, ir nedidelis Chrome plėtinys, kuris atsako į onAuthRequired bet kurioje Selenium palaikomoje kalboje.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Privatus IPv4 (duomenų centras)
🇺🇸 Jungtinės Valstijos
Yra sandėlyje
Nuo
1,10 USD / IP / mėn.
Kiekio nuolaidos
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Pirkti Jungtinės Valstijos
Statinis rezidentinis ISP
🇺🇸 Jungtinės Valstijos
Yra sandėlyje
Nuo
1,50 USD / IP / mėn.
Kiekio nuolaidos
  • 1 IP2,25 USD
  • 3+ IP2,10 USD
  • 10+ IP2,00 USD
  • 25+ IP1,90 USD
  • 50+ IP1,80 USD
  • 100+ IP1,70 USD
  • 200+ IP1,60 USD
  • 500+ IP1,50 USD
Pirkti Jungtinės Valstijos

Parinkčių palyginimas

MetodasKaip konfigūruojamaKam tinka
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Greičiausias kelias naudojant Python; proxy galima pakeisti neatidarant naršyklės iš naujo
Autentifikavimo plėtinysSupakuotas plėtinys, kurio foninis scenarijus apdoroja chrome.webRequest.onAuthRequiredTiek Java, C#, Python, tiek undetected-chromedriver
Perėjimas prie Playwrightbrowser.newContext({ proxy: { server, username, password } })Naujiems projektams; proxy prisijungimas jau integruotas, nereikia jokio plėtinio

Kas nutinka naudojant tiesioginį --proxy-server

Chrome paima proxy adresą iš komandinės eilutės, tačiau nepaiso į jį įrašytų prisijungimo duomenų. Kai proxy atsako 407, Chrome atidaro operacinės sistemos prisijungimo užklausą. Ši užklausa yra už puslapio DOM ribų, todėl find_element jos nemato ir scenarijus laukia, kol baigiasi laikas. Todėl kiekvienas veikiantis metodas prisijungimo duomenis perduoda ne per vėliavėlę, o kitu būdu.

Atkreipkite dėmesį, kad selenium-wire nebėra aktyviai palaikomas. Jis vis dar veikia daugelyje konfigūracijų, tačiau ilgalaikiams projektams saugesnis pasirinkimas yra plėtinio metodas arba Playwright.

Kaip išlaikyti efektyvų Selenium darbą su proxy

  • Nustatykite options.page_load_strategy = 'eager', kad scenarijus tęstų darbą vos paruošus DOM, užuot laukęs lėtų trečiųjų šalių scenarijų
  • Paleidimams be grafinės sąsajos (headless) Chrome 109 ar naujesnėje versijoje naudokite --headless=new; plėtiniai, įskaitant autentifikavimo plėtinį, veiks kaip įprastame lange
  • Išjunkite vaizdų įkėlimą Chrome nustatymuose, kai jums reikia tik teksto, pavyzdžiui, kainų ar pavadinimų
  • Įdėkite driver.quit() į try / finally bloką, kad įvykus trikdžiui neliktų veikiančių Chrome procesų

Prieš didinant mastelį

Kiekviena WebDriver sesija yra visavertė naršyklė, todėl suteikite kiekvienai sesijai atskirą IP, jei svetainė sieja paskyras pagal adresą. ProxyV4 privatus IPv4 yra nuomojamas vienam klientui ir pratęsiant išlaiko savo adresą, todėl ilgalaikės testavimo paskyros lieka su tuo pačiu IP. Pirmiausia patikrinkite naujus proxy per proxy tikrintuvą, kad bloga linija nepasirodytų kaip klaidinanti Selenium laiko viršijimo klaida.

Jei paleidimas vis tiek atidaro puslapius iš paties serverio IP arba sustoja ties tunelio klaida, puslapio proxy neveikia Selenium skiltyje iš eilės išvardytos dažniausios priežastys.

Žingsnis po žingsnio

  1. 1

    Įdiekite selenium-wire

    Savo virtualiojoje aplinkoje paleiskite pip install selenium-wire.

  2. 2

    Nurodykite proxy duomenis

    Sudarykite sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} pagal savo ProxyV4 užsakymą.

  3. 3

    Paleiskite Chrome su šiomis parinktimis

    Sukurkite tvarkyklę su driver = webdriver.Chrome(seleniumwire_options=sw_options), importuodami webdriver iš seleniumwire.

  4. 4

    Patikrinkite išeinantį IP

    Iškvieskite driver.get('https://proxyv4.com/api/my-ip') ir įsitikinkite, kad puslapyje rodomas proxy adresas.

Dažnai užduodami klausimai

Kodėl --proxy-server=http://user:pass@ip:port ignoruojamas ChromeOptions?

Chrome iš --proxy-server reikšmės pašalina prisijungimo duomenis pagal numatytąją elgseną. Pateikite juos per selenium-wire, onAuthRequired plėtinį arba pereikite prie Playwright, kuris naudotojo vardą ir slaptažodį priima tiesiogiai.

Ar selenium-wire gali pakeisti proxy nepaleidžiant naršyklės iš naujo?

Taip. Priskirkite naują žodyną driver.proxy = {'http': 'http://...', 'https': 'http://...'}, ir tolesnės užklausos naudos naująjį proxy.

Ar autentifikavimo plėtinys veikia headless Chrome režimu?

Taip, naudojant --headless=new. Senasis --headless režimas neįkeldavo plėtinių tokiu pačiu būdu.

Selenium baigiasi laikas (timeout) kiekviename puslapyje per proxy. Ką daryti?

Užkraukite IP adreso prieigos tašką per cURL su tais pačiais prisijungimo duomenimis. Jei cURL taip pat nepavyksta, problema yra linijoje arba prievade; proxy timeout guide nurodyta, ką patikrinti.

Šaltiniai

Stabilūs IP Selenium sesijoms

Privatus IPv4 7 šalyse ir statinis ISP JAV bei Vietname, su naudotojo vardu ir slaptažodžiu, neribotu srautu bei vienu klientu vienam IP.

Tikrinti JAV kainas realiuoju laiku

Related articles

Proxy pagal platformą
Proxy duomenų nuskaitymui: fiksuotas IP adresų telkinys su neribotu srautu
Web scraping proxy Python, Scrapy, Playwright ir Selenium: privačių IPv4 ir statinių ISP adresų telkinys, neribotas srautas bei fiksuota kaina už IP.
Proxy nustatymas
Playwright proxy autentifikavimas: po vieną statinį IP kiekvienam kontekstui
Suteikite Playwright naršyklės kontekstui autorizuotą HTTP(S) proxy Node.js ar Python, suderinkite laiko juostą bei kalbą su IP ir patvirtinkite išorinį adresą.
Proxy nustatymas
Python requests per autentifikuotą proxy žingsnis po žingsnio
Siųskite Python užklausas per autentifikuotą HTTP(S) proxy: sukurkite proxies žodyną, junkite Session, koduokite slaptažodžius, keiskite sąrašą, tikrinkite IP.
Proxy nustatymas
Puppeteer su autentifikuotu proxy: paleidimo vėliavėlė ir prisijungimas
Puppeteer proxy autentifikavimas su pavyzdžiu: --proxy-server adresui, page.authenticate() prisijungimui, taip pat SOCKS5, kontekstai bei klaidų sprendimai.
Proxy pagal platformą
Proxy SEO pozicijų sekimui: matykite rezultatų puslapį vietinio vartotojo akimis
SEO pozicijų sekimo proxy su privačiu IPv4 JAV, JK, Vietname, Japonijoje ir 4 kitose rinkose: pozicijos, vietiniai paketai ir reklama atitiks vietinių paiešką.
Proxy pagal platformą
Amazon pardavėjų proxy, suteikiantys kiekvienai paskyrai nuolatinį adresą
Amazon seller proxy paskyroms Seller Central, KDP ir Merch: JAV statinis ISP ar JK/Japonijos privatus IPv4, nuomojamas tik jums ir išlaikomas pratęsiant.
IPV4 · united states
Privatus JAV IPv4 proxy telkinys duomenų rinkimui, pozicijų stebėjimui ir reklamų patikrai
Pirkite JAV privačius IPv4 proxy: statiniai JAV duomenų centrų IP, vienas klientas vienam IP, neribotas srautas. Tinka scrapingui, SERP ir JAV reklamų patikrai.
ISP · united states
Statinis JAV ISP proxy: namų tinkle registruotas IP, kuris niekada nesikeičia
JAV statiniai ISP proxy su namų interneto tiekėjų IP adresais. Vienas fiksuotas JAV IP paskyrai: „Amazon“ pardavėjams, reklamai ir „Instagram“.