ProxyV4

Selenium WebDriver og autentificerede proxyer: hvad der virker

· Updated:

Proxygodkendelse i Selenium kræver en workaround, da ChromeDrivers --proxy-server=http://ip:port-flag ikke kan indeholde et brugernavn og en adgangskode; Chrome ignorerer inline user:pass og viser en logindialog, som WebDriver ikke kan udfylde. De to pålidelige løsninger er selenium-wire, som håndterer ProxyV4-login i Python, og en lille Chrome-udvidelse, der besvarer onAuthRequired i et hvilket som helst Selenium-sprog.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Privat IPv4 (datacenter)
🇺🇸 USA
På lager
Fra
1,10 US$ / IP / måned
Mængderabatter
  • 1 IP1,85 US$
  • 3+ IP'er1,70 US$
  • 10+ IP'er1,60 US$
  • 25+ IP'er1,50 US$
  • 50+ IP'er1,40 US$
  • 100+ IP'er1,30 US$
  • 200+ IP'er1,20 US$
  • 500+ IP'er1,10 US$
Køb USA
Statisk residential ISP
🇺🇸 USA
På lager
Fra
1,50 US$ / IP / måned
Mængderabatter
  • 1 IP2,25 US$
  • 3+ IP'er2,10 US$
  • 10+ IP'er2,00 US$
  • 25+ IP'er1,90 US$
  • 50+ IP'er1,80 US$
  • 100+ IP'er1,70 US$
  • 200+ IP'er1,60 US$
  • 500+ IP'er1,50 US$
Køb USA

Sammenligning af muligheder

MetodeSådan konfigureres detVelegnet til
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Den hurtigste løsning i Python; proxyen kan ændres, mens browseren er åben
Auth-udvidelseEn zippet udvidelse, hvis baggrundsscript håndterer chrome.webRequest.onAuthRequiredBåde Java, C#, Python og undetected-chromedriver
Skift til Playwrightbrowser.newContext({ proxy: { server, username, password } })Nye projekter; proxy-login er indbygget, ingen udvidelse

Hvad der sker med et almindeligt --proxy-server

Chrome henter proxyadressen fra kommandolinjen, men ignorerer eventuelle loginoplysninger skrevet deri. Når proxyen svarer 407, åbner Chrome en indbygget login-prompt. Denne prompt er uden for sidens DOM, så find_element ikke kan se den, og scriptet venter, indtil der opstår timeout. Enhver fungerende metode leverer derfor loginoplysningerne et andet sted end i flaget.

Bemærk, at selenium-wire ikke længere vedligeholdes aktivt. Det fungerer stadig til mange opsætninger, men til langsigtede projekter er udvidelsesmetoden eller Playwright det mere sikre valg.

Hold Selenium-kørsler med proxy effektive

  • Sæt options.page_load_strategy = 'eager', så scriptet fortsætter, så snart DOM'en er klar, i stedet for at vente på langsomme tredjepartsscripts
  • Til headless-kørsler i Chrome 109 eller nyere bruges --headless=new; udvidelser, herunder auth-udvidelsen, fungerer som i et normalt vindue
  • Slå billedindlæsning fra i Chrome-indstillingerne, når du kun har brug for tekst som priser eller titler
  • Placer driver.quit() i en try / finally-blok, så et nedbrud ikke efterlader åbne Chrome-processer

Før du skalerer op

Hver WebDriver-session er en fuld browser, så giv hver session sin egen IP, hvis sitet knytter konti sammen via adressen. En privat ProxyV4 IPv4 udlejes til én kunde og beholder sin adresse ved fornyelse, hvilket holder langvarige testkonti på samme IP. Kør nye proxyer igennem proxy-tjekkeren først, så en dårlig linje ikke viser sig som et forvirrende Selenium-timeout.

Hvis en kørsel stadig åbner sider fra serverens egen IP eller stopper ved en tunnelfejl, oplister Selenium-afsnittet i proxy virker ikke de typiske årsager i rækkefølge.

Trin for trin

  1. 1

    Installer selenium-wire

    Kør pip install selenium-wire i dit virtuelle miljø.

  2. 2

    Definer proxyen

    Opret sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} ud fra din ProxyV4-ordre.

  3. 3

    Start Chrome med disse indstillinger

    Opret driveren med driver = webdriver.Chrome(seleniumwire_options=sw_options), hvor webdriver importeres fra seleniumwire.

  4. 4

    Tjek udgangs-IP'en

    Kald driver.get('https://proxyv4.com/api/my-ip'), og bekræft, at siden viser proxyadressen.

Ofte stillede spørgsmål

Hvorfor ignoreres --proxy-server=http://user:pass@ip:port i ChromeOptions?

Chrome fjerner bevidst loginoplysninger fra --proxy-server-værdien. Angiv dem via selenium-wire, en onAuthRequired-udvidelse, eller skift til Playwright, som accepterer et brugernavn og en adgangskode direkte.

Kan selenium-wire skifte proxy uden at genstarte browseren?

Ja. Tildel en ny dict, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, hvorefter de efterfølgende anmodninger bruger den nye upstream-proxy.

Fungerer auth-udvidelsen i headless Chrome?

Ja, med --headless=new. Den gamle --headless-tilstand indlæste ikke udvidelser på samme måde.

Selenium får timeout på alle sider gennem proxyen. Hvad gør jeg nu?

Indlæs IP-slutpunktet med cURL ved hjælp af de samme loginoplysninger. Hvis cURL også fejler, er linjen eller porten problemet; vores guide til proxy-timeout oplister, hvad du kan tjekke.

Kilder

Stabile IP'er til Selenium-sessioner

Privat IPv4 i 7 lande og statisk ISP i USA og Vietnam, med bruger og adgangskode, ubegrænset forbrug og én kunde pr. IP.

Se aktuelle priser i USA

Related articles

Proxyer efter platform
Proxyer til web scraping: en fast pulje af IP'er med ubegrænset trafik
Web scraping-proxyer til Python, Scrapy, Playwright og Selenium: en pulje af private IPv4- og statiske ISP-adresser, ubegrænset båndbredde, fast pris pr. IP.
Proxy-opsætning
Playwright-proxygodkendelse, én statisk IP pr. kontekst
Giv hver Playwright-browserkontekst sin egen godkendte HTTP(S)-proxy i Node.js eller Python, match tidszone og locale til IP'en, og bekræft exit-adressen.
Proxy-opsætning
Python-requests via en godkendt proxy, trin for trin
Send Python-requests gennem en godkendt HTTP(S)-proxy: opret proxies-dict, tilknyt en Session, indkod specielle adgangskoder, rotér en liste og tjek IP'en.
Proxy-opsætning
Puppeteer med en godkendt proxy: startflag plus login
Puppeteer-proxygodkendelse med fungerende eksempel: --proxy-server til adressen, page.authenticate() til login, derefter SOCKS5, kontekster og fejlretning.
Proxyer efter platform
Proxyer til SEO-rank tracking: Se resultatsiden, som en lokal bruger ser den
SEO-rank tracking-proxyer med privat IPv4 i USA, UK, Vietnam, Japan og fire andre markeder, så rankings, local packs og annoncer matcher det, lokale ser.
Proxyer efter platform
Amazon seller-proxyer, der giver hver konto en permanent adresse
Amazon seller-proxyer til Seller Central, KDP og Merch: en statisk US ISP eller UK/Japan privat IPv4 pr. konto, lejet til dig alene og beholdt ved fornyelse.
IPV4 · united states
Privat IPv4-proxypool i USA til scraping, rangsporing og annoncekontrol
Køb private amerikanske IPv4-proxies: statiske datacenter-IP'er, én kunde pr. IP, ubegrænset båndbredde. Til scraping, SERP-sporing og tjek af US-annoncer.
ISP · united states
Statisk ISP-proxy i USA: En hjemmeregistreret IP, der aldrig ændrer sig
Statiske US ISP-proxies på IP'er registreret hos private internetudbydere. Én fast amerikansk IP per konto til Amazon-sælgere, annoncekonti og Instagram.