Selenium WebDriver ja autentimisega proksid: mis tegelikult töötab
Autor: ProxyV4 insenerimeeskond · Updated:
Seleniumi proksi autentimine vajab eraldi lahendust, sest ChromeDriveri lipp --proxy-server=http://ip:port ei toeta kasutajanime ja parooli; Chrome eemaldab aadressist user:pass ning kuvab sisselogimisakna, mida WebDriver ei saa täita. Kaks usaldusväärset lahendust on selenium-wire, mis haldab ProxyV4 sisselogimist Pythonis, ning väike Chrome'i laiendus, mis vastab sündmusele onAuthRequired mis tahes Seleniumi toetatud keeles.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 $
- 3+ IP-d1,70 $
- 10+ IP-d1,60 $
- 25+ IP-d1,50 $
- 50+ IP-d1,40 $
- 100+ IP-d1,30 $
- 200+ IP-d1,20 $
- 500+ IP-d1,10 $
- 1 IP2,25 $
- 3+ IP-d2,10 $
- 10+ IP-d2,00 $
- 25+ IP-d1,90 $
- 50+ IP-d1,80 $
- 100+ IP-d1,70 $
- 200+ IP-d1,60 $
- 500+ IP-d1,50 $
Võimaluste võrdlus
| Meetod | Kuidas seadistada | Kuhu sobib |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Kiireim lahendus Pythonis; proksit saab vahetada ka siis, kui brauser on avatud |
| Auth extension | ZIP-laiendus, mille taustaskript käsitleb sündmust chrome.webRequest.onAuthRequired | Sobib võrdselt hästi keeltes Java, C#, Python ja undetected-chromedriver |
| Üleminek Playwrightile | browser.newContext({ proxy: { server, username, password } }) | Uued projektid; proksi sisselogimine on sisseehitatud, laiendust pole vaja |
Mis juhtub tavalise --proxy-server lipuga
Chrome võtab proksi aadressi käsurealt, kuid eirab sinna kirjutatud autentimisandmeid. Kui proksi tagastab vastuse 407, avab Chrome brauseri omase sisselogimisakna. See aken asub väljaspool lehe DOM-i, mistõttu find_element ei näe seda ja skript jääb ootama kuni ajalõpuni. Seetõttu edastavad kõik toimivad lahendused autentimisandmed väljaspool seda lippu.
Arvestage, et selenium-wire pole enam aktiivses arenduses. See töötab endiselt paljudes keskkondades, kuid pikaajaliste projektide puhul on laienduse kasutamine või Playwright kindlam valik.
Proksiga Seleniumi seansside tõhususe tagamine
- Määrake
options.page_load_strategy = 'eager', et skript jätkaks kohe, kui DOM on valmis, ootamata aeglaseid kolmanda osapoole skripte - Peata režiimis (headless) käitamiseks Chrome 109 või uuemas versioonis kasutage lippu
--headless=new; laiendused, sealhulgas autentimislaiendus, toimivad nagu tavalises aknas - Lülitage Chrome'i seadetes piltide laadimine välja, kui vajate ainult teksti, näiteks hindu või pealkirju
- Paigutage
driver.quit()plokkitry / finally, et krahhi korral ei jääks Chrome'i protsessid taustale jooksma
Enne mahu kasvatamist
Iga WebDriveri seanss on täisväärtuslik brauser, seega andke igale seansile oma IP, kui veebisait seob kontosid aadressi järgi. ProxyV4 privaatne IPv4 renditakse ühele kliendile ja see säilitab pikendamisel oma aadressi, mis hoiab pikaajalised testkontod samal IP-l. Laske uued proksid esmalt läbi proksikontrollija, et vigane ühendus ei avalduks segadust tekitava Seleniumi ajalõpuna.
Kui käivitamine avab lehti endiselt serveri enda IP-lt või seiskub tunneli veaga, loetleb lehe proksi ei tööta Seleniumi jaotis peamised põhjused järjekorras.
Samm-sammult
- 1
Paigaldage selenium-wire
Käivitage virtuaalkeskkonnas käsk
pip install selenium-wire. - 2
Määrake proksi andmed
Koostage oma tellimuse ProxyV4 põhjal
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}. - 3
Käivitage Chrome nende valikutega
Looge draiver käsuga
driver = webdriver.Chrome(seleniumwire_options=sw_options), importideswebdriveri moodulistseleniumwire. - 4
Kontrollige väljuvat IP-d
Kutsuge välja
driver.get('https://proxyv4.com/api/my-ip')ja veenduge, et lehel kuvatakse proksi aadress.
Korduma kippuvad küsimused
Miks ChromeOptions eirab lippu --proxy-server=http://user:pass@ip:port?
Chrome eemaldab autentimisandmed lipu --proxy-server väärtusest teadlikult. Edastage need lahenduse selenium-wire või onAuthRequired laienduse kaudu või minge üle raamistikule Playwright, mis toetab kasutajanime ja parooli otse.
Kas selenium-wire saab proksit vahetada ilma brauserit taaskäivitamata?
Jah. Määrake uus sõnastik driver.proxy = {'http': 'http://...', 'https': 'http://...'} ning järgnevad päringud kasutavad uut väljuvat proksit.
Kas autentimislaiendus töötab Chrome'i peata (headless) režiimis?
Jah, lipuga --headless=new. Vana --headless režiim ei laadinud laiendusi samamoodi.
Seleniumi seanss aegub proksi kaudu igal lehel. Mida teha?
Pärige IP-otspunkti cURL-iga, kasutades samu autentimisandmeid. Kui ka cURL ebaõnnestub, on probleem ühenduses või pordis; proksi ajalõpu juhend selgitab, mida kontrollida.
Allikad
Stabiilsed IP-d Seleniumi seanssidele
Privaatne IPv4 7 riigis ja staatiline ISP USAs ning Vietnamis, kasutajanime ja parooliga, piiramatu mahuga ning üks klient IP kohta.
Vaadake reaalajas USA hindu