ProxyV4

Selenium WebDriver og autentiserte proxyer: dette fungerer

· Updated:

Selenium proxy-autentisering krever en omvei, fordi Chromedrivers flagg --proxy-server=http://ip:port ikke kan inneholde brukernavn og passord; Chrome fjerner inline user:pass og viser en påloggingsdialog som WebDriver ikke kan fylle ut. De to pålitelige løsningene er selenium-wire, som håndterer ProxyV4-påloggingen i Python, og en liten Chrome-utvidelse som svarer på onAuthRequired i alle Selenium-språk.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Privat IPv4 (datasenter)
🇺🇸 USA
På lager
Fra
1,10 USD / IP / måned
Kvantumsrabatter
  • 1 IP1,85 USD
  • 3+ IP-er1,70 USD
  • 10+ IP-er1,60 USD
  • 25+ IP-er1,50 USD
  • 50+ IP-er1,40 USD
  • 100+ IP-er1,30 USD
  • 200+ IP-er1,20 USD
  • 500+ IP-er1,10 USD
Kjøp USA
Statisk bolig-ISP
🇺🇸 USA
På lager
Fra
1,50 USD / IP / måned
Kvantumsrabatter
  • 1 IP2,25 USD
  • 3+ IP-er2,10 USD
  • 10+ IP-er2,00 USD
  • 25+ IP-er1,90 USD
  • 50+ IP-er1,80 USD
  • 100+ IP-er1,70 USD
  • 200+ IP-er1,60 USD
  • 500+ IP-er1,50 USD
Kjøp USA

Sammenligning av alternativer

MetodeHvordan konfigurerePasser best for
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Raskeste løsning i Python; proxyen kan endres mens nettleseren kjører
AutentiseringsutvidelseEn pakket utvidelse der bakgrunnsskriptet håndterer chrome.webRequest.onAuthRequiredJava, C#, Python og undetected-chromedriver
Bytt til Playwrightbrowser.newContext({ proxy: { server, username, password } })Nye prosjekter; proxy-pålogging er innebygd, ingen utvidelse nødvendig

Hva skjer med vanlig --proxy-server

Chrome henter proxy-adressen fra kommandolinjen, men ignorerer eventuelle påloggingsdetaljer som er lagt til. Når proxyen svarer med 407, åpner Chrome en innebygd påloggingsdialog. Denne dialogen ligger utenfor sidens DOM, så find_element kan ikke finne den, og skriptet venter til det oppstår et tidsavbrudd. Alle fungerende metoder leverer derfor påloggingsdetaljene på et annet sted enn via flagget.

Merk at selenium-wire ikke lenger vedlikeholdes aktivt. Det fungerer fortsatt fint for mange oppsett, men for langsiktige prosjekter er utvidelsesmetoden eller Playwright et tryggere valg.

Hold Selenium-kjøringer med proxy effektive

  • Sett options.page_load_strategy = 'eager' slik at skriptet fortsetter så snart DOM-en er klar, i stedet for å vente på trege tredjepartsskript
  • For headless-kjøringer på Chrome 109 eller nyere, bruk --headless=new; utvidelser, inkludert autentiseringsutvidelsen, fungerer da som i et vanlig vindu
  • Deaktiver lasting av bilder i innstillingene til Chrome når du bare trenger tekst som priser eller titler
  • Legg driver.quit() i en try / finally-blokk slik at en krasj ikke etterlater kjørende Chrome-prosesser

Før du skalerer opp

Hver WebDriver-økt er en fullverdig nettleser, så gi hver økt sin egen IP hvis nettstedet kobler sammen kontoer etter adresse. En privat IPv4 fra ProxyV4 leies ut til én kunde og beholder adressen når du fornyer, noe som holder langvarige testkontoer på samme IP. Kjør nye proxyer gjennom proxy-sjekkeren først, slik at en dårlig linje ikke dukker opp som et forvirrende Selenium-tidsavbrudd.

Hvis en kjøring likevel åpner sider fra serverens egen IP eller stopper ved en tunnelfeil, lister Selenium-delen av proxy fungerer ikke opp de vanligste årsakene i rekkefølge.

Trinn for trinn

  1. 1

    Installer selenium-wire

    Kjør pip install selenium-wire i det virtuelle miljøet ditt.

  2. 2

    Definer proxyen

    Bygg sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} fra din ProxyV4-bestilling.

  3. 3

    Start Chrome med disse innstillingene

    Opprett driveren med driver = webdriver.Chrome(seleniumwire_options=sw_options), og importer webdriver fra seleniumwire.

  4. 4

    Sjekk ekstern IP-adresse

    Kall driver.get('https://proxyv4.com/api/my-ip') og bekreft at siden viser proxy-adressen.

Ofte stilte spørsmål

Hvorfor ignoreres --proxy-server=http://user:pass@ip:port i ChromeOptions?

Chrome fjerner påloggingsinformasjon fra --proxy-server-verdien med vilje. Oppgi dem via selenium-wire, en onAuthRequired-utvidelse, eller bytt til Playwright, som støtter brukernavn og passord direkte.

Kan selenium-wire bytte proxy uten å starte nettleseren på nytt?

Ja. Tildel en ny ordliste, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, så vil påfølgende forespørsler bruke den nye oppstrømsproxyen.

Fungerer autentiseringsutvidelsen i headless Chrome?

Ja, med --headless=new. Den eldre --headless-modusen lastet ikke inn utvidelser på samme måte.

Selenium får tidsavbrudd på hver side gjennom proxyen. Hva gjør jeg nå?

Last inn IP-endepunktet med curl og de samme påloggingsdetaljene. Hvis curl også feiler, ligger problemet i linjen eller porten; sjekk veiledningen for proxy-tidsavbrudd for feilsøking.

Kilder

Stabile IP-adresser for Selenium-økter

Privat IPv4 i 7 land og statisk ISP i USA og Vietnam, med brukernavn og passord, ubegrenset båndbredde og én kunde per IP.

Se oppdaterte priser for USA

Related articles

Proxyer etter plattform
Proxyer for web scraping: en fast pool med IP-er og ubegrenset trafikk
Web scraping-proxyer for Python, Scrapy, Playwright og Selenium: en pool med private IPv4- og statiske ISP-adresser, ubegrenset båndbredde, fast pris per IP.
Proxy-oppsett
Playwright-proxyautentisering, én statisk IP per kontekst
Gi hver Playwright-kontekst en egen autentisert HTTP(S)-proxy i Node.js eller Python, tilpass tidssone og locale til IP-en, og bekreft utgangsadressen.
Proxy-oppsett
Python requests via en autentisert proxy, trinn for trinn
Send Python-forespørsler via en autentisert HTTP(S)-proxy: bygg proxies-dict, koble til en Session, kod spesielle passord, roter en liste og sjekk IP-en.
Proxy-oppsett
Puppeteer med autentisert proxy: oppstartsflagg og innlogging
Puppeteer proxy-autentisering, fungerende eksempel først: --proxy-server for adressen, page.authenticate() for innlogging, så SOCKS5, kontekster og løsninger.
Proxyer etter plattform
Proxyer for SEO-posisjonssporing: se resultatsiden en lokal søker ser
SEO-proxyer med privat IPv4 i USA, Storbritannia, Vietnam, Japan og fire andre markeder, så rangeringer, lokalpakker og annonser samsvarer med hva lokale ser.
Proxyer etter plattform
Amazon-selgerproxyer som gir hver konto en permanent adresse
Amazon-selgerproxyer for Seller Central, KDP og Merch: statisk ISP i USA eller privat IPv4 i UK/Japan per konto, leid kun til deg og beholdes ved fornyelse.
IPV4 · united states
Privat IPv4-proxypool i USA for skraping, rangeringsovervåking og annonsesjekk
Kjøp private US IPv4-proxyer: statiske datasenter-IP-er fra USA, én kunde per IP, ubegrenset båndbredde. Laget for skraping, SERP-sporing og US-annonsesjekk.
ISP · united states
Statisk ISP-proxy i USA: En hjemmeregistrert IP som aldri endres
Statiske USA-ISP-proxyer på IP-er registrert hos forbruker-ISP-er. Én fast amerikansk IP per konto for Amazon-selgere, annonsekontoer og Instagram.