ProxyV4

Selenium WebDriver un autentificēti starpniekserveri: kas darbojas

· Updated:

Selenium starpniekservera autentifikācijai ir nepieciešams apiešanas risinājums, jo ChromeDriver karodziņš --proxy-server=http://ip:port nevar saturēt lietotājvārdu un paroli; Chrome atmet iekļauto user:pass un parāda pieteikšanās dialoglodziņu, kuru WebDriver nespēj aizpildīt. Divi uzticamie risinājumi ir selenium-wire, kas nodrošina ProxyV4 pieteikšanos valodā Python, un neliels Chrome paplašinājums, kas atbild uz onAuthRequired jebkurā Selenium atbalstītajā valodā.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Privāts IPv4 (datu centrs)
🇺🇸 Amerikas Savienotās Valstis
Pieejams
No
1,10 $ / IP / mēnesī
Apjoma atlaides
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Pirkt Amerikas Savienotās Valstis
Statisks mājas ISP
🇺🇸 Amerikas Savienotās Valstis
Pieejams
No
1,50 $ / IP / mēnesī
Apjoma atlaides
  • 1 IP2,25 $
  • 3+ IP2,10 $
  • 10+ IP2,00 $
  • 25+ IP1,90 $
  • 50+ IP1,80 $
  • 100+ IP1,70 $
  • 200+ IP1,60 $
  • 500+ IP1,50 $
Pirkt Amerikas Savienotās Valstis

Iespēju salīdzinājums

MetodeKā to konfigurētPiemērotība
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Ātrākais veids valodā Python; starpniekserveri var mainīt, kamēr pārlūks ir atvērts
Autentifikācijas paplašinājumsArhivēts ZIP paplašinājums, kura fona skripts apstrādā chrome.webRequest.onAuthRequiredVienlīdz labi piemērots Java, C#, Python un undetected-chromedriver
Pāreja uz Playwrightbrowser.newContext({ proxy: { server, username, password } })Jauniem projektiem; proxy pieteikšanās ir iebūvēta, nav nepieciešams paplašinājums

Kas notiek ar parasto --proxy-server

Chrome nolasa starpniekservera adresi no komandrindas, taču ignorē tajā norādītos akreditācijas datus. Kad starpniekserveris atbild ar 407, Chrome atver iebūvēto pieteikšanās logu. Šis logs atrodas ārpus lapas DOM, tāpēc find_element to neredz un skripts gaida līdz noildzei. Tādēļ katra strādājošā metode ievada akreditācijas datus citā veidā, nevis caur karodziņu.

Ņemiet vērā, ka selenium-wire vairs netiek aktīvi uzturēts. Tas joprojām darbojas daudzās konfigurācijās, taču ilgtermiņa projektiem paplašinājuma pieeja vai Playwright ir drošāka izvēle.

Efektīva Selenium darbības uzturēšana ar starpniekserveri

  • Iestatiet options.page_load_strategy = 'eager', lai skripts turpinātu darbu, tiklīdz DOM ir gatavs, nevis gaidītu lēnus trešo pušu skriptus
  • Izpildei bezgalvas režīmā pārlūkā Chrome 109 vai jaunākā izmantojiet --headless=new; paplašinājumi, tostarp autentifikācijas paplašinājums, darbosies tāpat kā parastā logā
  • Izslēdziet attēlu ielādi Chrome iestatījumos, ja jums nepieciešams tikai teksts, piemēram, cenas vai virsraksti
  • Ievietojiet driver.quit() blokā try / finally, lai avārijas gadījumā fonā nepaliktu Chrome procesi

Pirms mērogošanas

Katra WebDriver sesija ir pilnvērtīgs pārlūks, tādēļ piešķiriet katrai sesijai savu IP adresi, ja vietne piesaista kontus pēc adreses. ProxyV4 privātais IPv4 tiek iznomāts vienam klientam un saglabā savu adresi pēc pagarināšanas, nodrošinot, ka ilgtermiņa testa konti paliek pie tās pašas IP. Vispirms pārbaudiet jaunos starpniekserverus caur starpniekserveru pārbaudītāju, lai bojāta līnija neparādītos kā mulsinoša Selenium noildze.

Ja izpildes laikā lapas joprojām tiek atvērtas no paša servera IP vai tā apstājas pie tuneļa kļūdas, lapas starpniekserveris nedarbojas Selenium sadaļā ir secīgi uzskaitīti biežākie cēloņi.

Soli pa solim

  1. 1

    Instalējiet selenium-wire

    Savā virtuālajā vidē izpildiet pip install selenium-wire.

  2. 2

    Aprakstiet starpniekserveri

    Izveidojiet sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}, izmantojot datus no sava ProxyV4 pasūtījuma.

  3. 3

    Palaidiet Chrome ar šiem iestatījumiem

    Izveidojiet draiveri ar driver = webdriver.Chrome(seleniumwire_options=sw_options), importējot webdriver no seleniumwire.

  4. 4

    Pārbaudiet izejas IP

    Izsauciet driver.get('https://proxyv4.com/api/my-ip') un pārliecinieties, ka lapā redzama starpniekservera adrese.

Biežāk uzdotie jautājumi

Kāpēc --proxy-server=http://user:pass@ip:port tiek ignorēts ChromeOptions?

Chrome pēc noklusējuma noņem akreditācijas datus no --proxy-server vērtības. Norādiet tos ar selenium-wire, onAuthRequired paplašinājumu vai pārejiet uz Playwright, kas tieši pieņem lietotājvārdu un paroli.

Vai selenium-wire var nomainīt starpniekserveri, nepārlādējot pārlūku?

Jā. Piešķiriet jaunu vārdnīcu: driver.proxy = {'http': 'http://...', 'https': 'http://...'}, un nākamie pieprasījumi izmantos jauno augšupējo starpniekserveri.

Vai autentifikācijas paplašinājums darbojas headless Chrome režīmā?

Jā, izmantojot --headless=new. Vecais --headless režīms neielādēja paplašinājumus tādā pašā veidā.

Selenium iestājas noildze katrā lapā caur starpniekserveri. Ko darīt tālāk?

Ielādējiet IP galapunktu ar cURL, izmantojot tos pašus akreditācijas datus. Ja neizdodas arī ar cURL, problēma ir līnijā vai portā; proxy timeout guide ir uzskaitīts, ko pārbaudīt.

Avoti

Stabilas IP adreses Selenium sesijām

Privāts IPv4 7 valstīs un statisks ISP ASV un Vjetnamā ar lietotāju un paroli, bez apjoma ierobežojumiem un viens klients vienai IP adresei.

Skatīt ASV cenas tiešsaistē

Related articles

Proksiji pēc platformas
Proksiji tīmekļa skrāpēšanai: fiksēts IP pūls ar neierobežotu datu plūsmu
Web scraping proksiji Python, Scrapy, Playwright un Selenium: privāts IPv4 un statisku ISP adrešu pūls, neierobežota datu plūsma un fiksēta cena par katru IP.
Proksiju iestatīšana
Playwright proxy autentifikācija: viena statiskā IP katram kontekstam
Piešķiriet katram Playwright kontekstam autentificētu HTTP(S) proxy Node.js vai Python, pielāgojiet laika joslu un lokāli IP un apstipriniet izejas adresi.
Proksiju iestatīšana
Python requests caur autentificētu starpniekserveri soli pa solim
Sūtiet Python pieprasījumus caur autentificētu HTTP(S) proxy: izveidojiet proxies vārdnīcu, piesaistiet Session, kodējiet paroles un pārbaudiet IP adresi.
Proksiju iestatīšana
Puppeteer ar autentificētu starpniekserveri: palaišanas karodziņš un pieteikšanās
Puppeteer starpniekservera autentifikācija un piemērs: --proxy-server adresei, page.authenticate() pieteikšanās datiem, SOCKS5, konteksti un kļūdu labojumi.
Proksiji pēc platformas
Starpniekserveri SEO rangu izsekošanai: skatiet rezultātu lapu vietējā meklētāja acīm
SEO rangu starpnieki ar privātu IPv4 ASV, Lielbritānijā, Vjetnamā, Japānā un vēl 4 tirgos, lai rangi, vietējie bloki un reklāmas atbilstu vietējo skatam.
Proksiji pēc platformas
Amazon pārdevēju proksi, kas nodrošina katram kontam pastāvīgu adresi
Amazon pārdevēju proksi Seller Central, KDP un Merch: ASV statisks ISP vai UK/Japānas privāts IPv4 katram kontam, izīrēts tikai jums un saglabāts atjaunojot.
IPV4 · united states
ASV privāto IPv4 starpniekserveru kopa datu vākšanai, pozīciju izsekošanai un reklāmu pārbaudei
Pērc ASV privātos IPv4 proxy: statiskas ASV datu centra IP, viens klients uz IP, neierobežota datplūsma. Piemēroti skrāpēšanai, SERP un ASV reklāmu pārbaudei.
ISP · united states
ASV statiskais ISP starpniekserveris: mājas tīklā reģistrēta IP adrese, kas nekad nemainās
ASV statiskie ISP proxy ar IP, kas reģistrētas mājas interneta provaideriem. Viena fiksēta ASV IP kontam: Amazon pārdevējiem, reklāmas kontiem un Instagram.