ProxyV4

Selenium WebDriver i autentificirani proxyji: šta funkcioniše

· Updated:

Autentifikacija Selenium proxyja zahtijeva zaobilazno rješenje jer zastavica --proxy-server=http://ip:port u ChromeDriveru ne može prenijeti korisničko ime i lozinku; Chrome odbacuje ugrađeni user:pass i prikazuje prozor za prijavu koji WebDriver ne može popuniti. Dva pouzdana rješenja su selenium-wire, koji upravlja ProxyV4 prijavom u Pythonu, i mala Chrome ekstenzija koja odgovara na onAuthRequired u bilo kojem Selenium programskom jeziku.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Privatni IPv4 (datacenter)
🇺🇸 Sjedinjene Američke Države
Na stanju
Od
1,10 USD / IP / mjesečno
Popusti na količinu
  • 1 IP1,85 USD
  • 3+ IP-jeva1,70 USD
  • 10+ IP-jeva1,60 USD
  • 25+ IP-jeva1,50 USD
  • 50+ IP-jeva1,40 USD
  • 100+ IP-jeva1,30 USD
  • 200+ IP-jeva1,20 USD
  • 500+ IP-jeva1,10 USD
Kupi Sjedinjene Američke Države
Statički rezidencijalni ISP
🇺🇸 Sjedinjene Američke Države
Na stanju
Od
1,50 USD / IP / mjesečno
Popusti na količinu
  • 1 IP2,25 USD
  • 3+ IP-jeva2,10 USD
  • 10+ IP-jeva2,00 USD
  • 25+ IP-jeva1,90 USD
  • 50+ IP-jeva1,80 USD
  • 100+ IP-jeva1,70 USD
  • 200+ IP-jeva1,60 USD
  • 500+ IP-jeva1,50 USD
Kupi Sjedinjene Američke Države

Uporedba opcija

MetodaKako se konfigurišeKada je dobar izbor
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Najbrži put u Pythonu; proxy se može promijeniti dok je preglednik otvoren
Auth ekstenzijaZipovana ekstenzija čija pozadinska skripta obrađuje chrome.webRequest.onAuthRequiredPodjednako za Java, C#, Python i undetected-chromedriver
Prelazak na Playwrightbrowser.newContext({ proxy: { server, username, password } })Novi projekti; prijava na proxy je ugrađena, bez ekstenzija

Šta se dešava s običnim --proxy-server

Chrome preuzima adresu proxyja iz komandne linije, ali zanemaruje sve vjerodajnice navedene u njoj. Kada proxy odgovori sa 407, Chrome otvara sistemski prozor za prijavu. Taj prozor se nalazi izvan DOM-a stranice, pa ga find_element ne može vidjeti i skripta čeka dok ne istekne vrijeme. Zbog toga svaka metoda koja funkcioniše prosljeđuje vjerodajnice na neko drugo mjesto, a ne kroz samu zastavicu.

Imajte na umu da se selenium-wire više aktivno ne održava. Još uvijek radi za mnoga okruženja, ali za dugoročne projekte pristup s ekstenzijom ili Playwright sigurniji su izbor.

Održavanje efikasnosti Selenium sesija s proxyjem

  • Postavite options.page_load_strategy = 'eager' kako bi skripta nastavila rad čim je DOM spreman, umjesto da čeka spore skripte trećih strana
  • Za headless pokretanje na Chrome 109 ili novijim verzijama koristite --headless=new; ekstenzije, uključujući auth ekstenziju, ponašaju se kao u normalnom prozoru
  • Isključite učitavanje slika u postavkama Chromea kada su vam potrebni samo tekstualni podaci poput cijena ili naslova
  • Stavite driver.quit() u try / finally blok kako prekid rada ne bi ostavio aktivne Chrome procese u pozadini

Prije nego što povećate obim

Svaka WebDriver sesija je potpuni preglednik, pa dodijelite svakoj sesiji vlastiti IP ako web stranica povezuje račune po adresi. ProxyV4 privatni IPv4 se iznajmljuje jednom korisniku i zadržava svoju adresu pri obnovi, čime se dugotrajni testni računi zadržavaju na istom IP-u. Prvo provjerite nove proxyje kroz alat za provjeru proxyja kako se loša linija ne bi prikazala kao zbunjujući Selenium timeout.

Ako pokretanje i dalje otvara stranice s vlastite IP adrese servera ili se zaustavi zbog greške tunela, odjeljak za Selenium u proxy ne radi navodi uobičajene uzroke po redoslijedu.

Korak po korak

  1. 1

    Instalirajte selenium-wire

    U svom virtuelnom okruženju pokrenite pip install selenium-wire.

  2. 2

    Definišite proxy

    Kreirajte sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} na osnovu vaše ProxyV4 narudžbe.

  3. 3

    Pokrenite Chrome s tim opcijama

    Kreirajte driver pomoću driver = webdriver.Chrome(seleniumwire_options=sw_options), uvozeći webdriver iz seleniumwire.

  4. 4

    Provjerite izlazni IP

    Pozovite driver.get('https://proxyv4.com/api/my-ip') i potvrdite da stranica prikazuje adresu proxyja.

Često postavljana pitanja

Zašto se --proxy-server=http://user:pass@ip:port ignoriše u ChromeOptions?

Chrome po dizajnu uklanja vjerodajnice iz vrijednosti --proxy-server. Proslijedite ih putem selenium-wire, ekstenzije s onAuthRequired ili pređite na Playwright, koji direktno podržava korisničko ime i lozinku.

Može li selenium-wire promijeniti proxy bez ponovnog pokretanja preglednika?

Da. Dodijelite novi dict, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, i naredni zahtjevi će koristiti novi upstream proxy.

Radi li auth ekstenzija u headless Chromeu?

Da, uz --headless=new. Stari --headless način rada nije učitavao ekstenzije na isti način.

Selenium daje timeout na svakoj stranici preko proxyja. Šta dalje?

Učitajte IP endpoint pomoću cURL-a koristeći iste vjerodajnice. Ako i cURL zakaže, problem je u liniji ili portu; vodič za proxy timeout navodi šta treba provjeriti.

Izvori

Stabilni IP-ovi za Selenium sesije

Privatni IPv4 u 7 zemalja i statički ISP u SAD-u i Vijetnamu, uz korisničko ime i lozinku, bez ograničenja prometa i jedan korisnik po IP-u.

Provjerite aktuelne cijene za SAD

Related articles

Proxyji po platformama
Proxyji za web scraping: fiksni pool IP-jeva s neograničenim prometom
Web scraping proxyji za Python, Scrapy, Playwright i Selenium: pool privatnih IPv4 i statičkih ISP adresa, neograničen protok, fiksna cijena po IP adresi.
Podešavanje proxyja
Playwright proxy autentifikacija, jedna statička IP adresa po kontekstu
Dodajte svakom Playwright kontekstu autentifikovani HTTP(S) proxy u Node.js ili Pythonu, uskladite zonu i lokalitet s IP-om te potvrdite izlaznu adresu.
Podešavanje proxyja
Python requests kroz autentifikovani proxy, korak po korak
Šaljite Python zahtjeve kroz autentifikovani HTTP(S) proxy: kreirajte proxies dict, povežite Session, kodirajte lozinke, rotirajte listu i provjerite IP.
Podešavanje proxyja
Puppeteer s autentificiranim proxijem: parametar pokretanja i prijava
Autentifikacija proxyja u Puppeteeru uz radni primjer: --proxy-server za adresu, page.authenticate() za prijavu, zatim SOCKS5, konteksti i rješenja grešaka.
Proxyji po platformama
Proxyji za SEO praćenje pozicija: vidite stranicu rezultata baš kao lokalni korisnik
SEO proxyji za praćenje pozicija uz privatni IPv4 u SAD-u, UK-u, Vijetnamu, Japanu i još 4 tržišta, pa pozicije, lokalni paketi i oglasi odgovaraju lokalnim.
Proxyji po platformama
Amazon seller proxyji koji svakom nalogu daju trajnu adresu
Amazon seller proxyji za Seller Central, KDP i Merch: US statički ISP ili UK/Japan privatni IPv4 po nalogu, zakupljen samo vama i sačuvan pri obnovi.
IPV4 · united states
Pool privatnih IPv4 proxyja za SAD za scraping, praćenje pozicija i provjeru oglasa
Kupite privatne IPv4 proxyje za SAD: statički američki datacenter IP-jevi, jedan korisnik po IP-ju, neograničen protok. Za scraping, SERP i provjeru oglasa.
ISP · united states
Statički ISP proxy za SAD: Kućno registrovana IP adresa koja se nikada ne mijenja
Statički US ISP proxyji na IP adresama kućnih operatera. Fiksna američka IP adresa po nalogu za Amazon prodavce, oglašivačke naloge i Instagram profile.