ProxyV4

Selenium WebDriver in proxyji z avtentikacijo: kaj deluje

· Updated:

Avtentikacija proxyja v Seleniumu zahteva obhodno rešitev, saj zastavica --proxy-server=http://ip:port v ChromeDriverju ne more vsebovati uporabniškega imena in gesla; Chrome zavrže vdelani user:pass in prikaže prijavno pogovorno okno, ki ga WebDriver ne more izpolniti. Dve zanesljivi rešitvi sta selenium-wire, ki poskrbi za prijavo v ProxyV4 v Pythonu, in majhna razširitev za Chrome, ki se odzove na onAuthRequired v katerem koli jeziku za Selenium.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Zasebni IPv4 (podatkovni center)
🇺🇸 Združene države Amerike
Na zalogi
Od
1,10 $ / IP / mesec
Količinski popusti
  • 1 IP1,85 $
  • 3+ IP-jev1,70 $
  • 10+ IP-jev1,60 $
  • 25+ IP-jev1,50 $
  • 50+ IP-jev1,40 $
  • 100+ IP-jev1,30 $
  • 200+ IP-jev1,20 $
  • 500+ IP-jev1,10 $
Kupi Združene države Amerike
Statični rezidenčni ISP
🇺🇸 Združene države Amerike
Na zalogi
Od
1,50 $ / IP / mesec
Količinski popusti
  • 1 IP2,25 $
  • 3+ IP-jev2,10 $
  • 10+ IP-jev2,00 $
  • 25+ IP-jev1,90 $
  • 50+ IP-jev1,80 $
  • 100+ IP-jev1,70 $
  • 200+ IP-jev1,60 $
  • 500+ IP-jev1,50 $
Kupi Združene države Amerike

Primerjava možnosti

MetodaKako jo konfigurirateZa kaj je primerna
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Najhitrejša pot v Pythonu; proxy lahko zamenjate, medtem ko je brskalnik odprt
Razširitev za avtentikacijoStisnjena razširitev (ZIP), katere skript v ozadju upravlja chrome.webRequest.onAuthRequiredTako za Javo, C# in Python kot za undetected-chromedriver
Prehod na Playwrightbrowser.newContext({ proxy: { server, username, password } })Novi projekti; prijava prek proxyja je vgrajena, brez razširitev

Kaj se zgodi z navadno zastavico --proxy-server

Chrome prevzame naslov proxyja iz ukazne vrstice, vendar prezre vse poverilnice, zapisane vanj. Ko proxy odgovori s 407, Chrome odpre sistemsko pogovorno okno za prijavo. To okno je zunaj DOM-a strani, zato ga find_element ne more zaznati, skript pa čaka do poteka časovne omejitve. Vsaka delujoča metoda zato posreduje poverilnice drugje kot prek zastavice.

Upoštevajte, da orodje selenium-wire ni več aktivno vzdrževano. Še vedno deluje za številne nastavitve, toda za dolgoročne projekte sta zanesljivejša izbira pristop z razširitvijo ali Playwright.

Ohranjanje učinkovitosti izvajanja Seleniuma s proxyji

  • Nastavite options.page_load_strategy = 'eager', da se skript nadaljuje takoj, ko je DOM pripravljen, namesto da bi čakal na počasne zunanje skripte
  • Za brezglavo izvajanje v brskalniku Chrome 109 ali novejšem uporabite --headless=new; razširitve, vključno z razširitvijo za avtentikacijo, se obnašajo kot v običajnem oknu
  • V nastavitvah brskalnika Chrome izklopite nalaganje slik, kadar potrebujete le besedilo, kot so cene ali naslovi
  • Postavite driver.quit() v blok try / finally, da sesutje za seboj ne pusti odprtih procesov Chroma

Preden povečate obseg

Vsaka seja WebDriver je celoten brskalnik, zato vsaki seji dodelite lasten IP, če spletno mesto povezuje račune po naslovu. Zasebni IPv4 ponudnika ProxyV4 se oddaja le eni stranki in ob podaljšanju ohrani svoj naslov, kar ohranja dolgotrajne testne račune na istem IP-ju. Nove proxyje najprej preizkusite z orodjem preverjalnik proxyjev, da se slaba povezava ne prikaže kot nejasna časovna omejitev v Seleniumu.

Če izvajanje še vedno odpira strani z lastnega IP-naslova strežnika ali se ustavi pri napaki tunela, razdelek za Selenium na strani proxy ne deluje po vrstnem redu navaja najpogostejše vzroke.

Korak za korakom

  1. 1

    Namestite selenium-wire

    V virtualnem okolju zaženite pip install selenium-wire.

  2. 2

    Določite proxy

    Sestavite sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} iz podatkov naročila pri ProxyV4.

  3. 3

    Zaženite Chrome s temi možnostmi

    Ustvarite gonilnik z driver = webdriver.Chrome(seleniumwire_options=sw_options) ter uvozite webdriver iz seleniumwire.

  4. 4

    Preverite izhodni IP

    Pokličite driver.get('https://proxyv4.com/api/my-ip') in preverite, ali stran prikazuje naslov proxyja.

Pogosta vprašanja

Zakaj je --proxy-server=http://user:pass@ip:port prezrt v ChromeOptions?

Chrome načrtno odstrani poverilnice iz vrednosti --proxy-server. Posredujte jih prek selenium-wire, razširitve za onAuthRequired ali pa preidite na Playwright, ki neposredno sprejme uporabniško ime in geslo.

Ali lahko selenium-wire zamenja proxy brez ponovnega zagona brskalnika?

Da. Dodelite nov slovar, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, in naslednje zahteve bodo uporabile nov nadrejeni proxy.

Ali razširitev za avtentikacijo deluje v brezglavem načinu Chroma?

Da, z --headless=new. Stari način --headless razširitev ni nalagal na enak način.

Seleniumu na vsaki strani prek proxyja poteče časovna omejitev. Kaj storiti?

Naložite končno točko za IP s cURL-om z uporabo istih poverilnic. Če spodleti tudi cURL-u, je težava v povezavi ali vratih; vodnik proxy timeout guide navaja, kaj morate preveriti.

Viri

Stabilni IP-ji za seje v Seleniumu

Zasebni IPv4 v 7 državah in statični ISP v ZDA in Vietnamu, z uporabniškim imenom in geslom, brez omejitev prometa in ena stranka na IP.

Preverite cene v ZDA v živo

Related articles

Proxyji po platformah
Proxyji za spletno strganje: fiksen nabor IP-jev z neomejenim prenosom podatkov
Proxyji za spletno strganje za Python, Scrapy, Playwright in Selenium: nabor zasebnih IPv4 in statičnih ISP naslovov, neomejen prenos in fiksna cena na IP.
Nastavitev proxyja
Avtentikacija proxyja v Playwrightu, en statični IP na kontekst
Vsakemu Playwright kontekstu dodelite avtenticiran HTTP(S) proxy v Node.js ali Pythonu, uskladite časovni pas in jezik z IP-jem ter potrdite izhodni naslov.
Nastavitev proxyja
Zahteve Python prek overjenega proxyja, korak za korakom
Pošiljajte zahteve Python prek overjenega proxyja HTTP(S): sestavite slovar proxies, ga dodajte v Session, kodirajte gesla, menjajte seznam in preverite IP.
Nastavitev proxyja
Puppeteer z avtentificiranim proxyjem: zagonski parameter in prijava
Avtentikacija proxyja v Puppeteerju: najprej delujoč primer, --proxy-server za naslov, page.authenticate() za prijavo, nato SOCKS5, konteksti in rešitve.
Proxyji po platformah
Proxyji za SEO sledenje uvrstitvam: oglejte si rezultate, kot jih vidi lokalni uporabnik
SEO proxyji z zasebnim IPv4 v ZDA, VB, Vietnamu, na Japonskem in 4 drugih trgih, da uvrstitve, lokalni paketi in oglasi ustrezajo temu, kar vidijo domačini.
Proxyji po platformah
Amazon proxyji za prodajalce, ki vsakemu računu zagotovijo stalen naslov
Amazon proxyji za Seller Central, KDP in Merch: statični ISP v ZDA ali zasebni IPv4 v ZK/Japonski za vsak račun, v najemu le za vas in ohranjen ob obnovi.
IPV4 · united states
Ameriški nabor zasebnih IPv4 proxyjev za strganje podatkov, spremljanje uvrstitev in preverjanje oglasov
Kupite ameriške zasebne IPv4 proxyje: statični IP-ji podatkovnih centrov, en kupec na IP, neomejen prenos. Za strganje, SERP sledenje in preverjanje oglasov.
ISP · united states
Ameriški statični ISP proxy: doma registriran IP, ki se nikoli ne spremeni
Statični ISP proxyji ZDA na IP-jih domačih ponudnikov interneta. En fiksen ameriški IP na račun za prodajalce na Amazonu, oglasne račune in Instagram.