Selenium WebDriver at authenticated proxies: kung ano ang gumagana
Mula sa ProxyV4 Engineering Team · Updated:
Kailangan ng workaround sa proxy authentication ng Selenium, dahil hindi kayang magdala ng username at password ang --proxy-server=http://ip:port flag ng ChromeDriver; inaalis ng Chrome ang inline user:pass at nagpapakita ng login dialog na hindi kayang punan ng WebDriver. Ang dalawang maaasahang solusyon ay ang selenium-wire, na namamahala sa pag-login sa ProxyV4 sa Python, at isang maliit na Chrome extension na sumasagot sa onAuthRequired sa anumang wika ng Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP$1.85
- 3+ na IP$1.70
- 10+ na IP$1.60
- 25+ na IP$1.50
- 50+ na IP$1.40
- 100+ na IP$1.30
- 200+ na IP$1.20
- 500+ na IP$1.10
- 1 IP$2.25
- 3+ na IP$2.10
- 10+ na IP$2.00
- 25+ na IP$1.90
- 50+ na IP$1.80
- 100+ na IP$1.70
- 200+ na IP$1.60
- 500+ na IP$1.50
Paghahambing ng mga opsyon
| Paraan | Paano ito i-configure | Saan angkop |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Pinakamabilis na paraan sa Python; maaaring palitan ang proxy habang bukas ang browser |
| Auth extension | Isang naka-zip na extension kung saan ang background script nito ay namamahala sa chrome.webRequest.onAuthRequired | Pang-Java, C#, Python, at undetected-chromedriver din |
| Lumipat sa Playwright | browser.newContext({ proxy: { server, username, password } }) | Mga bagong proyekto; built-in ang proxy login, walang kailangang extension |
Ano ang nangyayari sa karaniwang --proxy-server
Kinukuha ng Chrome ang address ng proxy mula sa command line ngunit binabalewala ang anumang kredensyal na nakasulat dito. Kapag sumagot ang proxy ng 407, nagbubukas ang Chrome ng isang native na sign-in prompt. Ang prompt na iyon ay nasa labas ng DOM ng page, kaya hindi ito nakikita ng find_element at maghihintay ang script hanggang sa mag-time out. Samakatuwid, ang bawat gumaganang paraan ay nagbibigay ng mga kredensyal sa ibang lugar bukod sa flag.
Tandaan na hindi na aktibong pinapanatili ang selenium-wire. Gumagana pa rin ito sa maraming setup, ngunit para sa mga pangmatagalang proyekto, ang paraan gamit ang extension o ang Playwright ang mas ligtas na pagpipilian.
Pagpapanatiling episyente ng mga pagpapatakbo ng Selenium na may proxy
- Itakda ang
options.page_load_strategy = 'eager'upang magpatuloy ang script kapag handa na ang DOM sa halip na maghintay sa mababagal na third-party script - Para sa mga headless run sa Chrome 109 o mas bago, gamitin ang
--headless=new; ang mga extension, kabilang ang auth extension, ay kikilos tulad ng sa isang karaniwang window - I-off ang pag-load ng imahe sa mga kagustuhan ng Chrome kung teksto lamang ang kailangan mo gaya ng mga presyo o pamagat
- Ilagay ang
driver.quit()sa isangtry / finallyblock upang hindi mag-iwan ng mga proseso ng Chrome kung magkaroon man ng crash
Bago ka mag-scale up
Ang bawat WebDriver session ay isang buong browser, kaya bigyan ang bawat session ng sarili nitong IP kung iniuugnay ng site ang mga account ayon sa address. Ang isang ProxyV4 private IPv4 ay pinaparentahan sa iisang customer at pinapanatili ang address nito kapag nag-renew ka, na nagpapanatili sa mga matagalang test account sa parehong IP. Patakbuhin muna ang mga bagong proxy sa proxy checker upang ang sirang linya ay hindi lumabas bilang isang nakalilitong Selenium timeout.
Kung ang isang run ay nagbubukas pa rin ng mga pahina mula sa sariling IP ng server o humihinto sa isang tunnel error, inililista ng seksyon ng Selenium sa hindi gumagana ang proxy ang mga karaniwang dahilan ayon sa pagkakasunod-sunod.
Hakbang-hakbang
- 1
I-install ang selenium-wire
Sa iyong virtual environment, patakbuhin ang
pip install selenium-wire. - 2
Tukuyin ang proxy
Bumuo ng
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}mula sa iyong order sa ProxyV4. - 3
Simulan ang Chrome gamit ang mga opsyong iyon
Gawin ang driver gamit ang
driver = webdriver.Chrome(seleniumwire_options=sw_options), habang ini-import angwebdrivermula saseleniumwire. - 4
Suriin ang exit IP
Tawagan ang
driver.get('https://proxyv4.com/api/my-ip')at kumpirmahing ipinapakita sa page ang address ng proxy.
Mga madalas itanong
Bakit binabalewala ang --proxy-server=http://user:pass@ip:port sa ChromeOptions?
Sadyang inaalis ng Chrome ang mga kredensyal mula sa halaga ng --proxy-server. Ibigay ang mga ito sa pamamagitan ng selenium-wire, isang onAuthRequired extension, o lumipat sa Playwright, na direktang tumatanggap ng username at password.
Maaari bang magpalit ng proxy ang selenium-wire nang hindi muling sinisimulan ang browser?
Oo. Magtalaga ng bagong dict, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, at gagamitin ng mga susunod na kahilingan ang bagong upstream proxy.
Gumagana ba ang auth extension sa headless Chrome?
Oo, gamit ang --headless=new. Ang lumang --headless mode ay hindi naglo-load ng mga extension sa parehong paraan.
Nag-time out ang Selenium sa bawat page gamit ang proxy. Ano ang susunod na gagawin?
I-load ang IP endpoint gamit ang cURL gamit ang parehong mga kredensyal. Kung mabigo rin ang cURL, ang linya o port ang problema; nakalista sa proxy timeout guide ang mga dapat suriin.
Mga Sanggunian
Matatag na mga IP para sa mga session ng Selenium
Pribadong IPv4 sa 7 bansa at static ISP sa US at Vietnam, may user at password, unmetered at isang customer bawat IP.
Tingnan ang live na presyo sa US