ProxyV4

Selenium WebDriver a overené proxy: čo funguje

· Updated:

Autentifikácia proxy v Selenium si vyžaduje alternatívne riešenie, pretože parameter --proxy-server=http://ip:port v ChromeDriveri nedokáže preniesť používateľské meno a heslo; Chrome inline user:pass zahodí a zobrazí prihlasovacie okno, ktoré WebDriver nevie vyplniť. Dve spoľahlivé riešenia sú selenium-wire, ktorý rieši prihlásenie do ProxyV4 v Pythone, a malé rozšírenie pre Chrome obsluhujúce onAuthRequired v akomkoľvek jazyku Selenium.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Privátne IPv4 (dátacentrum)
🇺🇸 Spojené štáty
Na sklade
Od
1,10 USD / IP / mesiac
Množstevné zľavy
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Kúpiť: Spojené štáty
Statické rezidenčné ISP
🇺🇸 Spojené štáty
Na sklade
Od
1,50 USD / IP / mesiac
Množstevné zľavy
  • 1 IP2,25 USD
  • 3+ IP2,10 USD
  • 10+ IP2,00 USD
  • 25+ IP1,90 USD
  • 50+ IP1,80 USD
  • 100+ IP1,70 USD
  • 200+ IP1,60 USD
  • 500+ IP1,50 USD
Kúpiť: Spojené štáty

Porovnanie možností

MetódaSpôsob konfigurácieVhodné využitie
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Najrýchlejšia cesta v Pythone; proxy možno zmeniť aj pri otvorenom prehliadači
Auth extensionZabalené rozšírenie (ZIP), ktorého skript na pozadí obsluhuje chrome.webRequest.onAuthRequiredRovnako vhodné pre Javu, C#, Python aj undetected-chromedriver
Prechod na Playwrightbrowser.newContext({ proxy: { server, username, password } })Nové projekty; prihlásenie k proxy je vstavané, bez nutnosti rozšírenia

Čo sa deje pri použití samotného --proxy-server

Chrome prevezme adresu proxy z príkazového riadka, no ignoruje v nej uvedené prihlasovacie údaje. Keď proxy odpovie kódom 407, Chrome otvorí natívne prihlasovacie okno. Toto okno sa nachádza mimo DOM stránky, takže ho find_element nedokáže nájsť a skript čaká, kým nevyprší časový limit. Každá funkčná metóda preto dodáva prihlasovacie údaje inak než cez tento parameter.

Upozorňujeme, že knižnica selenium-wire už nie je aktívne vyvíjaná. Pre mnohé zostavy stále funguje, no pri dlhodobých projektoch predstavuje bezpečnejšiu voľbu prístup s rozšírením alebo Playwright.

Ako udržať beh Selenium cez proxy efektívny

  • Nastavte options.page_load_strategy = 'eager', aby skript pokračoval hneď po načítaní DOM namiesto čakania na pomalé skripty tretích strán
  • Pri behu bez grafického rozhrania (headless) v Chrome 109 alebo novšom použite --headless=new; rozšírenia vrátane autentifikačného sa správajú rovnako ako v bežnom okne
  • Ak potrebujete len text, napríklad ceny alebo názvy, vypnite v nastaveniach prehliadača Chrome načítavanie obrázkov
  • Umiestnite driver.quit() do bloku try / finally, aby pád skriptu nenechal bežať procesy prehliadača Chrome

Skôr než začnete škálovať

Každá relácia WebDriveru je plnohodnotný prehliadač, preto každej relácii priraďte vlastnú IP, ak stránka prepája účty podľa adresy. Privátna IPv4 od ProxyV4 sa prenajíma jednému zákazníkovi a pri predĺžení si zachováva svoju adresu, vďaka čomu dlhodobé testovacie účty zostávajú na rovnakej IP. Nové proxy najprv otestujte cez proxy checker, aby sa zlé pripojenie neprejavilo ako mätúci timeout v Seleniume.

Ak beh stále otvára stránky z vlastnej IP servera alebo sa zastaví na chybe tunela, sekcia Selenium v proxy nefunguje uvádza obvyklé príčiny v poradí.

Krok za krokom

  1. 1

    Nainštalujte selenium-wire

    Vo virtuálnom prostredí spustite pip install selenium-wire.

  2. 2

    Zadefinujte proxy

    Zostavte sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} na základe vašej objednávky v ProxyV4.

  3. 3

    Spustite Chrome s týmito parametrami

    Vytvorte ovládač pomocou driver = webdriver.Chrome(seleniumwire_options=sw_options) a importujte webdriver z knižnice seleniumwire.

  4. 4

    Skontrolujte výstupnú IP adresu

    Zavolajte driver.get('https://proxyv4.com/api/my-ip') a overte, že stránka zobrazuje adresu proxy.

Často kladené otázky

Prečo je --proxy-server=http://user:pass@ip:port v ChromeOptions ignorovaný?

Chrome prihlasovacie údaje z hodnoty --proxy-server zámerne odstraňuje. Odovzdajte ich cez selenium-wire, rozšírenie s onAuthRequired alebo prejdite na Playwright, ktorý používateľské meno a heslo prijíma priamo.

Dokáže selenium-wire zmeniť proxy bez reštartovania prehliadača?

Áno. Priraďte nový slovník driver.proxy = {'http': 'http://...', 'https': 'http://...'} a nasledujúce požiadavky použijú novú nadradenú proxy.

Funguje autentifikačné rozšírenie v headless Chrome?

Áno, s parametrom --headless=new. Starý režim --headless nenačítaval rozšírenia rovnakým spôsobom.

V Selenium cez proxy vyprší časový limit na každej stránke. Čo robiť?

Načítajte koncový bod s IP adresou pomocou curl s rovnakými prihlasovacími údajmi. Ak zlyhá aj curl, problém je v linke alebo porte; sprievodca proxy timeout guide uvádza, čo skontrolovať.

Zdroje

Stabilné IP adresy pre relácie Selenium

Privátne IPv4 v 7 krajinách a statické ISP v USA a vo Vietname, s menom a heslom, bez dátových limitov a vždy pre jedného zákazníka na IP.

Zobraziť aktuálne ceny v USA

Related articles

Proxy podľa platformy
Proxy na web scraping: fixný pool IP adries s neobmedzeným prenosom
Proxy na web scraping pre Python, Scrapy, Playwright a Selenium: pool privátnych IPv4 a statických ISP adries, neobmedzený prenos a fixná cena za IP.
Nastavenie proxy
Autentifikácia Playwright proxy: jedna statická IP na kontext
Nastavte overenú HTTP(S) proxy pre každý Playwright kontext v Node.js či Python, zlaďte časové pásmo aj jazyk s IP a overte si výstupnú adresu.
Nastavenie proxy
Python requests cez overenú proxy, krok za krokom
Posielajte Python requests cez overenú HTTP(S) proxy: vytvorte slovník proxies, pripojte ho k Session, kódujte heslá, rotujte zoznam a overte IP adresu.
Nastavenie proxy
Puppeteer s overenou proxy: spúšťací príznak a prihlásenie
Autentifikácia proxy v Puppeteer, najprv funkčný príklad: --proxy-server pre adresu, page.authenticate() na prihlásenie, potom SOCKS5, kontexty a opravy.
Proxy podľa platformy
Proxy na sledovanie SEO pozícií: pozrite sa na stránku s výsledkami očami miestnych
SEO proxy s privátnou IPv4 v USA, UK, Vietname, Japonsku a ďalších 4 trhoch. Pozície, lokálne balíčky aj reklamy uvidíte tak, ako ich vidia miestni.
Proxy podľa platformy
Amazon proxy, ktoré zabezpečia každému účtu trvalú adresu
Amazon proxy pre Seller Central, KDP a Merch: statická ISP v USA či privátna IPv4 pre každý účet. Výhradný prenájom s garanciou rovnakej IP pri predĺžení.
IPV4 · united states
Fond privátnych IPv4 proxy v USA pre scraping, sledovanie pozícií a kontrolu reklám
Kúpte privátne IPv4 proxy v USA: statické dátacentrové IP, jeden používateľ na IP a neobmedzený prenos. Ideálne na scraping, sledovanie SERP a kontrolu reklám.
ISP · united states
Statické ISP proxy v USA: Domáca IP adresa, ktorá sa nikdy nemení
Statické ISP proxy v USA na IP adresách bežných poskytovateľov. Jedna pevná americká IP na účet pre predajcov na Amazone, reklamné účty a Instagram.