ProxyV4

Selenium WebDriver i autentificirani proxyji: što funkcionira

· Updated:

Autentifikacija proxyja u Seleniumu zahtijeva zaobilazno rješenje jer ChromeDriverova zastavica --proxy-server=http://ip:port ne može prenijeti korisničko ime i lozinku; Chrome odbacuje navedeni user:pass i prikazuje dijaloški okvir za prijavu koji WebDriver ne može ispuniti. Dva pouzdana rješenja su selenium-wire, koji upravlja prijavom na ProxyV4 u Pythonu, te mala Chrome ekstenzija koja odgovara na onAuthRequired u bilo kojem jeziku koji Selenium podržava.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Privatni IPv4 (podatkovni centar)
🇺🇸 Sjedinjene Američke Države
Dostupno
Od
1,10 USD / IP / mjesečno
Količinski popusti
  • 1 IP1,85 USD
  • 3+ IP-ova1,70 USD
  • 10+ IP-ova1,60 USD
  • 25+ IP-ova1,50 USD
  • 50+ IP-ova1,40 USD
  • 100+ IP-ova1,30 USD
  • 200+ IP-ova1,20 USD
  • 500+ IP-ova1,10 USD
Kupi Sjedinjene Američke Države
Statički rezidencijalni ISP
🇺🇸 Sjedinjene Američke Države
Dostupno
Od
1,50 USD / IP / mjesečno
Količinski popusti
  • 1 IP2,25 USD
  • 3+ IP-ova2,10 USD
  • 10+ IP-ova2,00 USD
  • 25+ IP-ova1,90 USD
  • 50+ IP-ova1,80 USD
  • 100+ IP-ova1,70 USD
  • 200+ IP-ova1,60 USD
  • 500+ IP-ova1,50 USD
Kupi Sjedinjene Američke Države

Usporedba opcija

MetodaKako se konfiguriraKada je dobar izbor
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Najbrži način u Pythonu; proxy se može promijeniti dok je preglednik otvoren
Ekstenzija za autentifikacijuZapakirana (ZIP) ekstenzija čija pozadinska skripta obrađuje chrome.webRequest.onAuthRequiredJednako prikladno za Java, C#, Python i undetected-chromedriver
Prijelaz na Playwrightbrowser.newContext({ proxy: { server, username, password } })Novi projekti; prijava na proxy je ugrađena, bez ekstenzija

Što se događa s običnom zastavicom --proxy-server

Chrome preuzima adresu proxyja iz naredbenog retka, ali ignorira sve vjerodajnice navedene u njoj. Kada proxy odgovori s 407, Chrome otvara nativni prozor za prijavu. Taj se prozor nalazi izvan DOM-a stranice, pa ga find_element ne može vidjeti te skripta čeka sve dok ne istekne vremensko ograničenje. Stoga svaka funkcionalna metoda prosljeđuje vjerodajnice izvan same zastavice.

Imajte na umu da se selenium-wire više aktivno ne održava. I dalje radi u mnogim konfiguracijama, ali za dugoročne projekte pristup s ekstenzijom ili Playwright sigurniji su izbor.

Održavanje učinkovitosti Seleniuma uz proxy

  • Postavite options.page_load_strategy = 'eager' kako bi skripta nastavila s radom čim je DOM spreman, umjesto čekanja sporih skripti trećih strana
  • Za pokretanje bez grafičkog sučelja (headless) na Chrome 109 ili novijem koristite --headless=new; ekstenzije, uključujući ekstenziju za autentifikaciju, ponašaju se kao u normalnom prozoru
  • Isključite učitavanje slika u postavkama Chromea kada trebate samo tekstualne podatke poput cijena ili naslova
  • Postavite driver.quit() u try / finally blok kako u slučaju rušenja ne bi zaostali procesi Chromea

Prije povećanja opsega

Svaka WebDriver sesija je potpuni preglednik, pa svakoj sesiji dodijelite vlastiti IP ako stranica povezuje račune po adresi. Privatni ProxyV4 IPv4 iznajmljuje se jednom korisniku i zadržava svoju adresu pri obnovi, što dugotrajne testne račune drži na istoj IP adresi. Prvo propustite nove proxyje kroz alat za provjeru proxyja kako se loša linija ne bi prikazala kao zbunjujući Selenium timeout.

Ako izvođenje i dalje otvara stranice s vlastite IP adrese poslužitelja ili se zaustavi na pogrešci tunela, odjeljak za Selenium na stranici proxy ne radi navodi uobičajene uzroke po redu.

Korak po korak

  1. 1

    Instalirajte selenium-wire

    U svojem virtualnom okruženju pokrenite pip install selenium-wire.

  2. 2

    Definirajte proxy

    Sastavite sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} prema svojoj narudžbi na servisu ProxyV4.

  3. 3

    Pokrenite Chrome s tim opcijama

    Kreirajte driver pomoću driver = webdriver.Chrome(seleniumwire_options=sw_options), uz uvoz webdriver iz seleniumwire.

  4. 4

    Provjerite izlazni IP

    Pozovite driver.get('https://proxyv4.com/api/my-ip') i potvrdite da stranica prikazuje adresu proxyja.

Često postavljana pitanja

Zašto se --proxy-server=http://user:pass@ip:port ignorira u ChromeOptions?

Chrome po dizajnu uklanja vjerodajnice iz vrijednosti --proxy-server. Proslijedite ih putem selenium-wire, ekstenzije onAuthRequired ili prijeđite na Playwright, koji izravno prihvaća korisničko ime i lozinku.

Može li selenium-wire promijeniti proxy bez ponovnog pokretanja preglednika?

Da. Dodijelite novi rječnik, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, i svi sljedeći zahtjevi koristit će novi uzvodni proxy.

Radi li ekstenzija za autentifikaciju u headless Chromeu?

Da, uz --headless=new. Stari način rada --headless nije učitavao ekstenzije na isti način.

Seleniumu istječe vrijeme na svakoj stranici preko proxyja. Što učiniti?

Učitajte krajnju točku za IP pomoću alata cURL koristeći iste vjerodajnice. Ako i cURL javi pogrešku, problem je u liniji ili priključku; vodič za istek vremena proxyja navodi što provjeriti.

Izvori

Stabilni IP-ovi za Selenium sesije

Privatni IPv4 u 7 zemalja i statički ISP u SAD-u i Vijetnamu, uz korisničko ime i lozinku, neograničen promet i jednog korisnika po IP-u.

Provjerite trenutne cijene za SAD

Related articles

Proxyji po platformama
Proxyji za web scraping: fiksni bazen IP adresa s neograničenim prometom
Proxyji za web scraping za Python, Scrapy, Playwright i Selenium: bazen privatnih IPv4 i statičkih ISP adresa, neograničen promet i fiksne cijene po IP-ju.
Postavljanje proxyja
Autentifikacija Playwright proxyja: jedan statički IP po kontekstu
Postavite autentificirani HTTP(S) proxy za svaki Playwright kontekst u Node.js-u ili Pythonu, uskladite zonu i jezik s IP-om te provjerite izlaznu adresu.
Postavljanje proxyja
Python requests kroz autentificirani proxy, korak po korak
Šaljite Python zahtjeve kroz autentificirani HTTP(S) proxy: izradite rječnik proxies, dodajte ga u Session, kodirajte lozinke, rotirajte popis i provjerite IP.
Postavljanje proxyja
Puppeteer s autentificiranim proxyjem: zastavica pri pokretanju uz prijavu
Autentifikacija proxyja u Puppeteeru uz radni primjer: --proxy-server za adresu, page.authenticate() za prijavu, a zatim SOCKS5, konteksti i rješenja.
Proxyji po platformama
Proxyji za SEO praćenje pozicija: pogledajte stranicu rezultata kakvu vidi lokalni korisnik
SEO proxyji s privatnim IPv4 u SAD-u, UK-u, Vijetnamu, Japanu i još 4 tržišta: pozicije, lokalni paketi i oglasi točno odgovaraju onome što vide lokalci.
Proxyji po platformama
Amazon seller proxyji koji svakom računu daju trajnu adresu
Amazon seller proxyji za Seller Central, KDP i Merch: statički ISP u SAD-u ili privatni IPv4 u UK-u/Japanu po računu, dodijeljen samo vama i trajan uz obnovu.
IPV4 · united states
Bazen privatnih IPv4 proxyja za SAD za scraping, praćenje pozicija i provjeru oglasa
Kupite privatne IPv4 proxyje u SAD-u: statički američki datacenter IP-ovi, jedan korisnik po IP-u, neograničen promet. Za scraping, SERP i provjeru oglasa.
ISP · united states
Statički ISP proxy za SAD: Kućna IP adresa koja se nikada ne mijenja
Statički ISP proxyji za SAD na IP adresama kućnih operatera. Jedna fiksna američka IP adresa po računu za Amazon prodavače, oglasne račune i Instagram.