Selenium WebDriver dhe proxy-t e autentikuar: çfarë funksionon
Nga ekipi inxhinierik i ProxyV4 · Updated:
Autentikimi i proxy-t në Selenium kërkon një zgjidhje alternative, sepse parametri --proxy-server=http://ip:port i ChromeDriver nuk mund të mbajë emër përdoruesi dhe fjalëkalim; Chrome heq user:pass të dhënë në linjë dhe shfaq një dritare hyrjeje që WebDriver nuk mund ta plotësojë. Dy zgjidhjet e besueshme janë selenium-wire, e cila menaxhon identifikimin në ProxyV4 në Python, dhe një shtesë e vogël e Chrome që i përgjigjet onAuthRequired në çdo gjuhë të Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP2,25 US$
- 3+ IP2,10 US$
- 10+ IP2,00 US$
- 25+ IP1,90 US$
- 50+ IP1,80 US$
- 100+ IP1,70 US$
- 200+ IP1,60 US$
- 500+ IP1,50 US$
Krahasimi i opsioneve
| Metoda | Si ta konfiguroni | Përshtatshmëria |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Rruga më e shpejtë në Python; proxy mund të ndryshohet ndërkohë që shfletuesi është i hapur |
| Shtesë autentikimi | Një shtesë e kompresuar në zip, skripti në sfond i së cilës menaxhon chrome.webRequest.onAuthRequired | Njëlloj për Java, C#, Python dhe undetected-chromedriver |
| Kalimi në Playwright | browser.newContext({ proxy: { server, username, password } }) | Projekte të reja; hyrja në proxy është e integruar, pa shtesa |
Çfarë ndodh vetëm me --proxy-server
Chrome e merr adresën e proxy-t nga rreshti i komandës, por shpërfill çdo kredencial të shkruar në të. Kur proxy kthen përgjigjen 407, Chrome hap një dritare vendore identifikimi. Ajo dritare ndodhet jashtë DOM-it të faqes, prandaj find_element nuk mund ta shohë dhe skripti pret derisa t'i mbarojë koha. Prandaj, çdo metodë funksionale i siguron kredencialet diku tjetër përveç parametrit.
Kini parasysh se selenium-wire nuk mirëmbahet më aktivisht. Ajo funksionon ende për shumë mjedise, por për projekte afatgjata përdorimi i shtesës ose Playwright është alternativa më e sigurt.
Mbajtja efikase e ekzekutimeve të Selenium me proxy
- Vendosni
options.page_load_strategy = 'eager'që skripti të vazhdojë sapo DOM të jetë gati, në vend që të presë skriptet e ngadalta të palëve të treta - Për ekzekutime headless në Chrome 109 ose më të ri përdorni
--headless=new; shtesat, duke përfshirë shtesën e autentikimit, funksionojnë si në një dritare normale - Çaktivizoni ngarkimin e imazheve te preferencat e Chrome kur ju nevojitet vetëm tekst si çmimet ose titujt
- Vendosni
driver.quit()në një blloktry / finallyqë një ndërprerje e papritur të mos lërë pas procese të Chrome
Përpara se të rrisni shkallën
Çdo sesion WebDriver është një shfletues i plotë, ndaj jepini çdo sesioni IP-në e vet nëse faqja lidh llogaritë sipas adresës. Një IPv4 private ProxyV4 i jepet me qira një klienti të vetëm dhe e ruan adresën e saj kur e rinovoni, gjë që i mban llogaritë e testimit afatgjatë në të njëjtën IP. Kalojini fillimisht proxy-t e rinj në proxy checker, në mënyrë që një linjë me probleme të mos shfaqet si një timeout konfuz i Selenium.
Nëse një ekzekutim hap ende faqe nga vetë IP-ja e serverit ose ndalon në një gabim tuneli, seksioni i Selenium te proxy not working rendit shkaqet e zakonshme me radhë.
Hap pas hapi
- 1
Instaloni selenium-wire
Në mjedisin tuaj virtual, ekzekutoni
pip install selenium-wire. - 2
Përshkruani proxy-n
Ndërtoni
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}nga porosia juaj në ProxyV4. - 3
Nisni Chrome me ato opsione
Krijoni driver-in me
driver = webdriver.Chrome(seleniumwire_options=sw_options), duke importuarwebdriverngaseleniumwire. - 4
Kontrolloni IP-në dalëse
Thirrni
driver.get('https://proxyv4.com/api/my-ip')dhe konfirmoni që faqja shfaq adresën e proxy-t.
Pyetjet e shpeshta
Pse shpërfillet --proxy-server=http://user:pass@ip:port në ChromeOptions?
Chrome i heq kredencialet nga vlera e --proxy-server sipas vetë projektimit. Sigurojini ato përmes selenium-wire, një shtese onAuthRequired, ose kaloni në Playwright, i cili pranon drejtpërdrejt emër përdoruesi dhe fjalëkalim.
A mundet selenium-wire të ndryshojë proxy pa e rinisur shfletuesin?
Po. Caktoni një dict të ri, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, dhe kërkesat pasuese do të përdorin proxy-n e ri kryesor.
A funksionon shtesa e autentikimit në Chrome headless?
Po, me --headless=new. Modaliteti i vjetër --headless nuk i ngarkonte shtesat në të njëjtën mënyrë.
Selenium-it i mbaron koha në çdo faqe përmes proxy-t. Çfarë të bëj më pas?
Ngarkoni pikën fundore të IP-së me curl duke përdorur të njëjtat kredenciale. Nëse edhe curl dështon, problemi është linja ose porta; udhëzuesi për skadimin e kohës së proxy-t liston se çfarë të kontrolloni.
Burimet
IP të qëndrueshme për sesionet e Selenium
IPv4 private në 7 shtete dhe ISP statike në SHBA dhe Vietnam, me user dhe fjalëkalim, pa kufizim trafiku dhe një klient për çdo IP.
Shikoni çmimet aktuale për SHBA