ProxyV4

Selenium WebDriver és hitelesített proxyk: a működő megoldások

· Updated:

A Selenium proxy-hitelesítéshez megkerülő megoldásra van szükség, mivel a ChromeDriver --proxy-server=http://ip:port jelzője nem tud felhasználónevet és jelszót átadni; a Chrome eldobja a beágyazott user:pass adatokat, és egy olyan bejelentkezési ablakot jelenít meg, amelyet a WebDriver nem képes kitölteni. A két megbízható megoldás a selenium-wire, amely Pythonban kezeli a(z) ProxyV4 bejelentkezést, valamint egy kisméretű Chrome-bővítmény, amely bármely Selenium nyelven válaszol az onAuthRequired eseményre.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Privát IPv4 (adatközponti)
🇺🇸 Egyesült Államok
Készleten
Kezdőár:
1,10 USD / IP / hónap
Mennyiségi kedvezmények
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Vásárlás: Egyesült Államok
Statikus lakossági ISP
🇺🇸 Egyesült Államok
Készleten
Kezdőár:
1,50 USD / IP / hónap
Mennyiségi kedvezmények
  • 1 IP2,25 USD
  • 3+ IP2,10 USD
  • 10+ IP2,00 USD
  • 25+ IP1,90 USD
  • 50+ IP1,80 USD
  • 100+ IP1,70 USD
  • 200+ IP1,60 USD
  • 500+ IP1,50 USD
Vásárlás: Egyesült Államok

A lehetőségek összehasonlítása

MódszerKonfigurálás módjaIdeális felhasználás
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}A leggyorsabb út Pythonban; a proxy a böngésző futása közben is módosítható
Hitelesítési bővítményEgy becsomagolt (zip) bővítmény, amelynek háttérszkriptje a chrome.webRequest.onAuthRequired eseményt kezeliJava, C#, Python és undetected-chromedriver esetén egyaránt
Áttérés Playwrightrabrowser.newContext({ proxy: { server, username, password } })Új projektekhez; a proxy-bejelentkezés beépített, nincs szükség bővítményre

Mi történik az egyszerű --proxy-server használatakor

A Chrome átveszi a proxy címét a parancssorból, de figyelmen kívül hagyja a beleírt hitelesítési adatokat. Amikor a proxy 407-es választ ad, a Chrome egy natív bejelentkezési ablakot nyit meg. Ez az ablak a weboldal DOM-ján kívül esik, így a find_element nem látja, a szkript pedig időtúllépésig várakozik. Ezért minden működő módszer a parancssori jelzőn kívül adja meg a hitelesítési adatokat.

Ne feledje, hogy a selenium-wire fejlesztése már nem aktív. Bár sok konfigurációban még működik, a hosszú távú projektekhez a bővítményes megközelítés vagy a Playwright a biztonságosabb választás.

A proxival futtatott Selenium-folyamatok hatékonyságának megőrzése

  • Állítsa be az options.page_load_strategy = 'eager' értéket, hogy a szkript a DOM elkészülte után azonnal folytatódjon ahelyett, hogy a lassú, külső forrásból származó szkriptekre várna
  • Fej nélküli (headless) futtatáshoz Chrome 109 vagy újabb verzió esetén használja a --headless=new jelzőt; a bővítmények – beleértve a hitelesítési bővítményt is – úgy működnek, mint egy normál ablakban
  • Kapcsolja ki a képek betöltését a Chrome beállításaiban, ha csak szöveges adatokra, például árakra vagy címekre van szüksége
  • Helyezze a driver.quit() parancsot egy try / finally blokkba, hogy egy esetleges összeomlás ne hagyjon hátra Chrome-folyamatokat

Mielőtt felskálázna

Minden WebDriver-munkamenet egy teljes böngésző, ezért rendeljen minden munkamenethez saját IP-címet, ha a webhely cím alapján kapcsolja össze a fiókokat. A ProxyV4 privát IPv4-et egyetlen ügyfél bérli, és megújításkor megőrzi a címét, ami ugyanazon az IP-címen tartja a régóta futó tesztfiókokat. Először futtassa át az új proxykat a proxy-ellenőrzőn, hogy egy hibás vonal ne megtévesztő Selenium-időtúllépésként jelenjen meg.

Ha egy futtatás továbbra is a szerver saját IP-címéről nyitja meg az oldalakat, vagy alagúthibával leáll, a nem működő proxy oldal Selenium szakasza sorrendben felsorolja a gyakori okokat.

Lépésről lépésre

  1. 1

    A selenium-wire telepítése

    Futtassa a virtuális környezetében a pip install selenium-wire parancsot.

  2. 2

    A proxy megadása

    Állítsa össze a sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} konfigurációt a(z) ProxyV4 megrendelése alapján.

  3. 3

    A Chrome indítása a megadott beállításokkal

    Hozza létre a drivert a driver = webdriver.Chrome(seleniumwire_options=sw_options) paranccsal, a webdriver modult a seleniumwire csomagból importálva.

  4. 4

    A kimenő IP ellenőrzése

    Hívja meg a driver.get('https://proxyv4.com/api/my-ip') címet, és ellenőrizze, hogy az oldal a proxy címét mutatja-e.

Gyakran ismételt kérdések

Miért hagyja figyelmen kívül a ChromeOptions a --proxy-server=http://user:pass@ip:port beállítást?

A Chrome szándékosan eltávolítja a hitelesítési adatokat a --proxy-server értékéből. Adja meg őket a selenium-wire vagy egy onAuthRequired bővítmény segítségével, vagy váltson a Playwright használatára, amely közvetlenül elfogadja a felhasználónevet és jelszót.

Képes a selenium-wire proxy-t váltani a böngésző újraindítása nélkül?

Igen. Rendeljen hozzá egy új szótárat: driver.proxy = {'http': 'http://...', 'https': 'http://...'}, és a rákövetkező kérések már az új felsőbb szintű proxyt fogják használni.

Működik a hitelesítési bővítmény fej nélküli (headless) Chrome-ban?

Igen, a --headless=new használatával. A korábbi --headless mód nem ugyanúgy töltötte be a bővítményeket.

A Selenium minden oldalnál időtúllépést jelez a proxin keresztül. Mi a teendő?

Töltse be az IP-végpontot curl segítségével ugyanazokkal a hitelesítési adatokkal. Ha a curl is meghiúsul, a vonallal vagy a porttal van probléma; a proxy timeout guide részletezi az ellenőrizendő lépéseket.

Források

Stabil IP-címek Selenium-munkamenetekhez

Privát IPv4 7 országban és statikus ISP az Egyesült Államokban és Vietnámban, felhasználónévvel és jelszóval, forgalomkorlát nélkül, IP-nként egyetlen ügyféllel.

Élő USA árak megtekintése

Related articles

Proxyk platform szerint
Proxyk web scrapinghez: fix IP-pool korlátlan adatforgalommal
Web scraping proxyk Python, Scrapy, Playwright és Selenium eszközökhöz: privát IPv4 és statikus ISP-címek, korlátlan sávszélesség, fix IP-alapú árazás.
Proxybeállítás
Playwright proxy-hitelesítés, kontextusonként egy statikus IP
Adjon a Playwright kontextusokhoz hitelesített HTTP(S) proxyt Node.js vagy Pythonban, igazítsa az időzónát és nyelvet az IP-hez, és ellenőrizze a kilépő címet.
Proxybeállítás
Python requests hitelesített proxyn keresztül, lépésről lépésre
Küldjön Python kéréseket hitelesített HTTP(S) proxyn át: készítsen proxies dictet, csatolja Sessionhöz, kódolja a jelszót, váltson listát, ellenőrizze az IP-t.
Proxybeállítás
Puppeteer hitelesített proxyval: indítási kapcsoló és bejelentkezés
Puppeteer proxy-hitelesítés működő példával: --proxy-server a címhez, page.authenticate() a belépéshez, majd SOCKS5, kontextusok és hibaelhárítási megoldások.
Proxyk platform szerint
Proxyk SEO pozíciókövetéshez: lássa a találati oldalt a helyi keresők szemével
SEO pozíciókövető proxyk dedikált IPv4-gyel az USA-ban, az Egyesült Királyságban, Vietnámban és további piacokon a pontos helyi találatokért és hirdetésekért.
Proxyk platform szerint
Amazon eladói proxyk, amelyek állandó címet biztosítanak minden fióknak
Amazon-proxyk Seller Centralhoz, KDP-hez és Merch-höz: amerikai statikus ISP vagy brit/japán privát IPv4 fiókonként, csak Önnek, megújításkor megtartva.
IPV4 · united states
Amerikai privát IPv4 proxypool adatgyűjtéshez, rangsorkövetéshez és hirdetésellenőrzéshez
Vásároljon privát USA IPv4 proxyt: statikus amerikai adatközponti IP-k, IP-nként egy ügyfél, korlátlan sávszélesség scrapingre, SERP- és hirdetés-ellenőrzésre.
ISP · united states
Amerikai statikus ISP proxy: Egy otthoni regisztrációjú IP, amely soha nem változik
USA statikus ISP proxyk lakossági szolgáltatók IP-címeivel. Fiókonként egy fix amerikai IP-cím Amazon-eladóknak, hirdetési fiókokhoz és Instagramra.