Selenium WebDriver un autentificēti starpniekserveri: kas darbojas
Autors: ProxyV4 inženieru komanda · Updated:
Selenium starpniekservera autentifikācijai ir nepieciešams apiešanas risinājums, jo ChromeDriver karodziņš --proxy-server=http://ip:port nevar saturēt lietotājvārdu un paroli; Chrome atmet iekļauto user:pass un parāda pieteikšanās dialoglodziņu, kuru WebDriver nespēj aizpildīt. Divi uzticamie risinājumi ir selenium-wire, kas nodrošina ProxyV4 pieteikšanos valodā Python, un neliels Chrome paplašinājums, kas atbild uz onAuthRequired jebkurā Selenium atbalstītajā valodā.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP2,25 $
- 3+ IP2,10 $
- 10+ IP2,00 $
- 25+ IP1,90 $
- 50+ IP1,80 $
- 100+ IP1,70 $
- 200+ IP1,60 $
- 500+ IP1,50 $
Iespēju salīdzinājums
| Metode | Kā to konfigurēt | Piemērotība |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Ātrākais veids valodā Python; starpniekserveri var mainīt, kamēr pārlūks ir atvērts |
| Autentifikācijas paplašinājums | Arhivēts ZIP paplašinājums, kura fona skripts apstrādā chrome.webRequest.onAuthRequired | Vienlīdz labi piemērots Java, C#, Python un undetected-chromedriver |
| Pāreja uz Playwright | browser.newContext({ proxy: { server, username, password } }) | Jauniem projektiem; proxy pieteikšanās ir iebūvēta, nav nepieciešams paplašinājums |
Kas notiek ar parasto --proxy-server
Chrome nolasa starpniekservera adresi no komandrindas, taču ignorē tajā norādītos akreditācijas datus. Kad starpniekserveris atbild ar 407, Chrome atver iebūvēto pieteikšanās logu. Šis logs atrodas ārpus lapas DOM, tāpēc find_element to neredz un skripts gaida līdz noildzei. Tādēļ katra strādājošā metode ievada akreditācijas datus citā veidā, nevis caur karodziņu.
Ņemiet vērā, ka selenium-wire vairs netiek aktīvi uzturēts. Tas joprojām darbojas daudzās konfigurācijās, taču ilgtermiņa projektiem paplašinājuma pieeja vai Playwright ir drošāka izvēle.
Efektīva Selenium darbības uzturēšana ar starpniekserveri
- Iestatiet
options.page_load_strategy = 'eager', lai skripts turpinātu darbu, tiklīdz DOM ir gatavs, nevis gaidītu lēnus trešo pušu skriptus - Izpildei bezgalvas režīmā pārlūkā Chrome 109 vai jaunākā izmantojiet
--headless=new; paplašinājumi, tostarp autentifikācijas paplašinājums, darbosies tāpat kā parastā logā - Izslēdziet attēlu ielādi Chrome iestatījumos, ja jums nepieciešams tikai teksts, piemēram, cenas vai virsraksti
- Ievietojiet
driver.quit()blokātry / finally, lai avārijas gadījumā fonā nepaliktu Chrome procesi
Pirms mērogošanas
Katra WebDriver sesija ir pilnvērtīgs pārlūks, tādēļ piešķiriet katrai sesijai savu IP adresi, ja vietne piesaista kontus pēc adreses. ProxyV4 privātais IPv4 tiek iznomāts vienam klientam un saglabā savu adresi pēc pagarināšanas, nodrošinot, ka ilgtermiņa testa konti paliek pie tās pašas IP. Vispirms pārbaudiet jaunos starpniekserverus caur starpniekserveru pārbaudītāju, lai bojāta līnija neparādītos kā mulsinoša Selenium noildze.
Ja izpildes laikā lapas joprojām tiek atvērtas no paša servera IP vai tā apstājas pie tuneļa kļūdas, lapas starpniekserveris nedarbojas Selenium sadaļā ir secīgi uzskaitīti biežākie cēloņi.
Soli pa solim
- 1
Instalējiet selenium-wire
Savā virtuālajā vidē izpildiet
pip install selenium-wire. - 2
Aprakstiet starpniekserveri
Izveidojiet
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}, izmantojot datus no sava ProxyV4 pasūtījuma. - 3
Palaidiet Chrome ar šiem iestatījumiem
Izveidojiet draiveri ar
driver = webdriver.Chrome(seleniumwire_options=sw_options), importējotwebdrivernoseleniumwire. - 4
Pārbaudiet izejas IP
Izsauciet
driver.get('https://proxyv4.com/api/my-ip')un pārliecinieties, ka lapā redzama starpniekservera adrese.
Biežāk uzdotie jautājumi
Kāpēc --proxy-server=http://user:pass@ip:port tiek ignorēts ChromeOptions?
Chrome pēc noklusējuma noņem akreditācijas datus no --proxy-server vērtības. Norādiet tos ar selenium-wire, onAuthRequired paplašinājumu vai pārejiet uz Playwright, kas tieši pieņem lietotājvārdu un paroli.
Vai selenium-wire var nomainīt starpniekserveri, nepārlādējot pārlūku?
Jā. Piešķiriet jaunu vārdnīcu: driver.proxy = {'http': 'http://...', 'https': 'http://...'}, un nākamie pieprasījumi izmantos jauno augšupējo starpniekserveri.
Vai autentifikācijas paplašinājums darbojas headless Chrome režīmā?
Jā, izmantojot --headless=new. Vecais --headless režīms neielādēja paplašinājumus tādā pašā veidā.
Selenium iestājas noildze katrā lapā caur starpniekserveri. Ko darīt tālāk?
Ielādējiet IP galapunktu ar cURL, izmantojot tos pašus akreditācijas datus. Ja neizdodas arī ar cURL, problēma ir līnijā vai portā; proxy timeout guide ir uzskaitīts, ko pārbaudīt.
Avoti
Stabilas IP adreses Selenium sesijām
Privāts IPv4 7 valstīs un statisks ISP ASV un Vjetnamā ar lietotāju un paroli, bez apjoma ierobežojumiem un viens klients vienai IP adresei.
Skatīt ASV cenas tiešsaistē