ProxyV4

Selenium WebDriver ja autentimisega proksid: mis tegelikult töötab

· Updated:

Seleniumi proksi autentimine vajab eraldi lahendust, sest ChromeDriveri lipp --proxy-server=http://ip:port ei toeta kasutajanime ja parooli; Chrome eemaldab aadressist user:pass ning kuvab sisselogimisakna, mida WebDriver ei saa täita. Kaks usaldusväärset lahendust on selenium-wire, mis haldab ProxyV4 sisselogimist Pythonis, ning väike Chrome'i laiendus, mis vastab sündmusele onAuthRequired mis tahes Seleniumi toetatud keeles.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Privaatne IPv4 (andmekeskus)
🇺🇸 Ameerika Ühendriigid
Laos olemas
Alates
1,10 $ / IP / kuu
Kogusesoodustused
  • 1 IP1,85 $
  • 3+ IP-d1,70 $
  • 10+ IP-d1,60 $
  • 25+ IP-d1,50 $
  • 50+ IP-d1,40 $
  • 100+ IP-d1,30 $
  • 200+ IP-d1,20 $
  • 500+ IP-d1,10 $
Osta Ameerika Ühendriigid
Staatiline elamu-ISP
🇺🇸 Ameerika Ühendriigid
Laos olemas
Alates
1,50 $ / IP / kuu
Kogusesoodustused
  • 1 IP2,25 $
  • 3+ IP-d2,10 $
  • 10+ IP-d2,00 $
  • 25+ IP-d1,90 $
  • 50+ IP-d1,80 $
  • 100+ IP-d1,70 $
  • 200+ IP-d1,60 $
  • 500+ IP-d1,50 $
Osta Ameerika Ühendriigid

Võimaluste võrdlus

MeetodKuidas seadistadaKuhu sobib
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Kiireim lahendus Pythonis; proksit saab vahetada ka siis, kui brauser on avatud
Auth extensionZIP-laiendus, mille taustaskript käsitleb sündmust chrome.webRequest.onAuthRequiredSobib võrdselt hästi keeltes Java, C#, Python ja undetected-chromedriver
Üleminek Playwrightilebrowser.newContext({ proxy: { server, username, password } })Uued projektid; proksi sisselogimine on sisseehitatud, laiendust pole vaja

Mis juhtub tavalise --proxy-server lipuga

Chrome võtab proksi aadressi käsurealt, kuid eirab sinna kirjutatud autentimisandmeid. Kui proksi tagastab vastuse 407, avab Chrome brauseri omase sisselogimisakna. See aken asub väljaspool lehe DOM-i, mistõttu find_element ei näe seda ja skript jääb ootama kuni ajalõpuni. Seetõttu edastavad kõik toimivad lahendused autentimisandmed väljaspool seda lippu.

Arvestage, et selenium-wire pole enam aktiivses arenduses. See töötab endiselt paljudes keskkondades, kuid pikaajaliste projektide puhul on laienduse kasutamine või Playwright kindlam valik.

Proksiga Seleniumi seansside tõhususe tagamine

  • Määrake options.page_load_strategy = 'eager', et skript jätkaks kohe, kui DOM on valmis, ootamata aeglaseid kolmanda osapoole skripte
  • Peata režiimis (headless) käitamiseks Chrome 109 või uuemas versioonis kasutage lippu --headless=new; laiendused, sealhulgas autentimislaiendus, toimivad nagu tavalises aknas
  • Lülitage Chrome'i seadetes piltide laadimine välja, kui vajate ainult teksti, näiteks hindu või pealkirju
  • Paigutage driver.quit() plokki try / finally, et krahhi korral ei jääks Chrome'i protsessid taustale jooksma

Enne mahu kasvatamist

Iga WebDriveri seanss on täisväärtuslik brauser, seega andke igale seansile oma IP, kui veebisait seob kontosid aadressi järgi. ProxyV4 privaatne IPv4 renditakse ühele kliendile ja see säilitab pikendamisel oma aadressi, mis hoiab pikaajalised testkontod samal IP-l. Laske uued proksid esmalt läbi proksikontrollija, et vigane ühendus ei avalduks segadust tekitava Seleniumi ajalõpuna.

Kui käivitamine avab lehti endiselt serveri enda IP-lt või seiskub tunneli veaga, loetleb lehe proksi ei tööta Seleniumi jaotis peamised põhjused järjekorras.

Samm-sammult

  1. 1

    Paigaldage selenium-wire

    Käivitage virtuaalkeskkonnas käsk pip install selenium-wire.

  2. 2

    Määrake proksi andmed

    Koostage oma tellimuse ProxyV4 põhjal sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}.

  3. 3

    Käivitage Chrome nende valikutega

    Looge draiver käsuga driver = webdriver.Chrome(seleniumwire_options=sw_options), importides webdriveri moodulist seleniumwire.

  4. 4

    Kontrollige väljuvat IP-d

    Kutsuge välja driver.get('https://proxyv4.com/api/my-ip') ja veenduge, et lehel kuvatakse proksi aadress.

Korduma kippuvad küsimused

Miks ChromeOptions eirab lippu --proxy-server=http://user:pass@ip:port?

Chrome eemaldab autentimisandmed lipu --proxy-server väärtusest teadlikult. Edastage need lahenduse selenium-wire või onAuthRequired laienduse kaudu või minge üle raamistikule Playwright, mis toetab kasutajanime ja parooli otse.

Kas selenium-wire saab proksit vahetada ilma brauserit taaskäivitamata?

Jah. Määrake uus sõnastik driver.proxy = {'http': 'http://...', 'https': 'http://...'} ning järgnevad päringud kasutavad uut väljuvat proksit.

Kas autentimislaiendus töötab Chrome'i peata (headless) režiimis?

Jah, lipuga --headless=new. Vana --headless režiim ei laadinud laiendusi samamoodi.

Seleniumi seanss aegub proksi kaudu igal lehel. Mida teha?

Pärige IP-otspunkti cURL-iga, kasutades samu autentimisandmeid. Kui ka cURL ebaõnnestub, on probleem ühenduses või pordis; proksi ajalõpu juhend selgitab, mida kontrollida.

Allikad

Stabiilsed IP-d Seleniumi seanssidele

Privaatne IPv4 7 riigis ja staatiline ISP USAs ning Vietnamis, kasutajanime ja parooliga, piiramatu mahuga ning üks klient IP kohta.

Vaadake reaalajas USA hindu

Related articles

Proksid platvormide kaupa
Proksid veebikraapimiseks: fikseeritud IP-kogum piiramatu liiklusega
Veebikraapimise proksid Pythoni, Scrapy, Playwrighti ja Seleniumi jaoks: privaatne IPv4 ja staatiline ISP, piiramatu andmemaht, kindel IP-põhine hind.
Proksi seadistamine
Playwrighti proksi autentimine: üks staatiline IP konteksti kohta
Määrake igale Playwrighti kontekstile oma autentitud HTTP(S)-proksi Node.js-is või Pythonis, sobitage ajavöönd ja lokaat IP-ga ning kontrollige välisaadressi.
Proksi seadistamine
Python requests läbi audenditud proksi, samm-sammult
Saada Pythoni päringuid läbi audenditud HTTP(S) proksi: loo proxies-sõnastik, seo see Sessioniga, kodeeri paroolid, roteeri loendit ja kontrolli IP-aadressi.
Proksi seadistamine
Puppeteer autentimisega proxyga: käivituslipp ja sisselogimine
Puppeteeri puhverserveri autentimine ja töönäide: --proxy-server aadressi ja page.authenticate() logimise jaoks, lisaks SOCKS5, kontekstid ja lahendused.
Proksid platvormide kaupa
Proksid SEO positsioonide jälgimiseks: näe tulemuste lehte kohaliku otsija pilgu läbi
Privaatse IPv4-ga SEO proksid USA-s, Suurbritannias, Vietnamis, Jaapanis ja 4 muul turul: tulemused, kohalikud pakid ja reklaamid vastavad kohalike vaatele.
Proksid platvormide kaupa
Amazoni müüja proksid, mis tagavad igale kontole püsiva aadressi
Amazoni müüja proksid Seller Centrali, KDP ja Merchi jaoks: USA staatiline ISP või UK/Jaapani privaatne IPv4 konto kohta, ainult teile ja püsiv pikendamisel.
IPV4 · united states
USA privaatne IPv4 proksikogum andmekorjeks, positsioonide jälgimiseks ja reklaamide kontrolliks
Osta USA privaatseid IPv4 proksisid: staatilised USA andmekeskuse IP-d, üks klient IP kohta, piiramatu liiklus. Kraapimiseks, SERP-i ja reklaamide kontrolliks.
ISP · united states
USA staatiline ISP proksi: koduvõrgus registreeritud IP, mis ei muutu kunagi
USA staatilised ISP-proksid kodukasutajate internetipakkujate IP-del. Üks püsiv USA IP konto kohta Amazoni müüjatele, reklaamikontodele ja Instagramile.