ProxyV4

Selenium WebDriver at authenticated proxies: kung ano ang gumagana

· Updated:

Kailangan ng workaround sa proxy authentication ng Selenium, dahil hindi kayang magdala ng username at password ang --proxy-server=http://ip:port flag ng ChromeDriver; inaalis ng Chrome ang inline user:pass at nagpapakita ng login dialog na hindi kayang punan ng WebDriver. Ang dalawang maaasahang solusyon ay ang selenium-wire, na namamahala sa pag-login sa ProxyV4 sa Python, at isang maliit na Chrome extension na sumasagot sa onAuthRequired sa anumang wika ng Selenium.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Private IPv4 (datacenter)
🇺🇸 United States
May stock
Mula
$1.10 / IP / buwan
Mga diskwento batay sa dami
  • 1 IP$1.85
  • 3+ na IP$1.70
  • 10+ na IP$1.60
  • 25+ na IP$1.50
  • 50+ na IP$1.40
  • 100+ na IP$1.30
  • 200+ na IP$1.20
  • 500+ na IP$1.10
Bumili sa United States
Static residential ISP
🇺🇸 United States
May stock
Mula
$1.50 / IP / buwan
Mga diskwento batay sa dami
  • 1 IP$2.25
  • 3+ na IP$2.10
  • 10+ na IP$2.00
  • 25+ na IP$1.90
  • 50+ na IP$1.80
  • 100+ na IP$1.70
  • 200+ na IP$1.60
  • 500+ na IP$1.50
Bumili sa United States

Paghahambing ng mga opsyon

ParaanPaano ito i-configureSaan angkop
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Pinakamabilis na paraan sa Python; maaaring palitan ang proxy habang bukas ang browser
Auth extensionIsang naka-zip na extension kung saan ang background script nito ay namamahala sa chrome.webRequest.onAuthRequiredPang-Java, C#, Python, at undetected-chromedriver din
Lumipat sa Playwrightbrowser.newContext({ proxy: { server, username, password } })Mga bagong proyekto; built-in ang proxy login, walang kailangang extension

Ano ang nangyayari sa karaniwang --proxy-server

Kinukuha ng Chrome ang address ng proxy mula sa command line ngunit binabalewala ang anumang kredensyal na nakasulat dito. Kapag sumagot ang proxy ng 407, nagbubukas ang Chrome ng isang native na sign-in prompt. Ang prompt na iyon ay nasa labas ng DOM ng page, kaya hindi ito nakikita ng find_element at maghihintay ang script hanggang sa mag-time out. Samakatuwid, ang bawat gumaganang paraan ay nagbibigay ng mga kredensyal sa ibang lugar bukod sa flag.

Tandaan na hindi na aktibong pinapanatili ang selenium-wire. Gumagana pa rin ito sa maraming setup, ngunit para sa mga pangmatagalang proyekto, ang paraan gamit ang extension o ang Playwright ang mas ligtas na pagpipilian.

Pagpapanatiling episyente ng mga pagpapatakbo ng Selenium na may proxy

  • Itakda ang options.page_load_strategy = 'eager' upang magpatuloy ang script kapag handa na ang DOM sa halip na maghintay sa mababagal na third-party script
  • Para sa mga headless run sa Chrome 109 o mas bago, gamitin ang --headless=new; ang mga extension, kabilang ang auth extension, ay kikilos tulad ng sa isang karaniwang window
  • I-off ang pag-load ng imahe sa mga kagustuhan ng Chrome kung teksto lamang ang kailangan mo gaya ng mga presyo o pamagat
  • Ilagay ang driver.quit() sa isang try / finally block upang hindi mag-iwan ng mga proseso ng Chrome kung magkaroon man ng crash

Bago ka mag-scale up

Ang bawat WebDriver session ay isang buong browser, kaya bigyan ang bawat session ng sarili nitong IP kung iniuugnay ng site ang mga account ayon sa address. Ang isang ProxyV4 private IPv4 ay pinaparentahan sa iisang customer at pinapanatili ang address nito kapag nag-renew ka, na nagpapanatili sa mga matagalang test account sa parehong IP. Patakbuhin muna ang mga bagong proxy sa proxy checker upang ang sirang linya ay hindi lumabas bilang isang nakalilitong Selenium timeout.

Kung ang isang run ay nagbubukas pa rin ng mga pahina mula sa sariling IP ng server o humihinto sa isang tunnel error, inililista ng seksyon ng Selenium sa hindi gumagana ang proxy ang mga karaniwang dahilan ayon sa pagkakasunod-sunod.

Hakbang-hakbang

  1. 1

    I-install ang selenium-wire

    Sa iyong virtual environment, patakbuhin ang pip install selenium-wire.

  2. 2

    Tukuyin ang proxy

    Bumuo ng sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} mula sa iyong order sa ProxyV4.

  3. 3

    Simulan ang Chrome gamit ang mga opsyong iyon

    Gawin ang driver gamit ang driver = webdriver.Chrome(seleniumwire_options=sw_options), habang ini-import ang webdriver mula sa seleniumwire.

  4. 4

    Suriin ang exit IP

    Tawagan ang driver.get('https://proxyv4.com/api/my-ip') at kumpirmahing ipinapakita sa page ang address ng proxy.

Mga madalas itanong

Bakit binabalewala ang --proxy-server=http://user:pass@ip:port sa ChromeOptions?

Sadyang inaalis ng Chrome ang mga kredensyal mula sa halaga ng --proxy-server. Ibigay ang mga ito sa pamamagitan ng selenium-wire, isang onAuthRequired extension, o lumipat sa Playwright, na direktang tumatanggap ng username at password.

Maaari bang magpalit ng proxy ang selenium-wire nang hindi muling sinisimulan ang browser?

Oo. Magtalaga ng bagong dict, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, at gagamitin ng mga susunod na kahilingan ang bagong upstream proxy.

Gumagana ba ang auth extension sa headless Chrome?

Oo, gamit ang --headless=new. Ang lumang --headless mode ay hindi naglo-load ng mga extension sa parehong paraan.

Nag-time out ang Selenium sa bawat page gamit ang proxy. Ano ang susunod na gagawin?

I-load ang IP endpoint gamit ang cURL gamit ang parehong mga kredensyal. Kung mabigo rin ang cURL, ang linya o port ang problema; nakalista sa proxy timeout guide ang mga dapat suriin.

Mga Sanggunian

Matatag na mga IP para sa mga session ng Selenium

Pribadong IPv4 sa 7 bansa at static ISP sa US at Vietnam, may user at password, unmetered at isang customer bawat IP.

Tingnan ang live na presyo sa US

Related articles

Mga proxy ayon sa platform
Mga proxy para sa web scraping: fixed pool ng mga IP na may unmetered traffic
Web scraping proxy para sa Python, Scrapy, Playwright at Selenium: pool ng pribadong IPv4 at static ISP, walang limitasyong bandwidth, fixed na singil kada IP.
Pag-setup ng proxy
Playwright proxy authentication, isang static IP bawat context
Bigyan ang bawat Playwright context ng naka-auth na HTTP(S) proxy sa Node.js o Python, itugma ang timezone at locale sa IP, at kumpirmahin ang exit address.
Pag-setup ng proxy
Python requests sa authenticated na proxy, bawat hakbang
Magpadala ng Python requests sa authenticated na proxy: buuin ang proxies dict, ikabit sa Session, i-encode ang password, mag-ikot ng listahan, suriin ang IP.
Pag-setup ng proxy
Puppeteer na may authenticated proxy: launch flag at login
Authentication ng proxy sa Puppeteer, una ang halimbawa: --proxy-server para sa address, page.authenticate() para sa login, saka SOCKS5, context, at fix.
Mga proxy ayon sa platform
Mga proxy para sa SEO rank tracking: tingnan ang resulta na nakikita ng lokal na naghahanap
SEO rank tracking proxy gamit ang pribadong IPv4 sa US, UK, Vietnam, Japan, at 4 pang merkado para tumugma ang ranking, local pack, at ads sa nakikita roon.
Mga proxy ayon sa platform
Mga Amazon seller proxy na nagbibigay ng permanenteng address sa bawat account
Mga Amazon seller proxy para sa Seller Central, KDP, at Merch: US static ISP o UK/Japan private IPv4 bawat account, solo mo lang at nananatili kapag nag-renew.
IPV4 · united states
Pool ng Pribadong IPv4 Proxy sa US para sa Scraping, Rank Tracking, at Pagsusuri ng Ad
Bumili ng US private IPv4 proxy: static American datacenter IP, 1 customer bawat IP, walang limitasyong bandwidth para sa scraping, SERP at US ad check.
ISP · united states
Static ISP Proxy sa US: Isang Home-Registered na IP na Hindi Nagbabago Kailanman
Mga US static ISP proxy sa IP mula sa consumer internet provider. Isang nakapirming American IP bawat account para sa Amazon sellers, ad account at Instagram.