ProxyV4

Selenium WebDriver dhe proxy-t e autentikuar: çfarë funksionon

· Updated:

Autentikimi i proxy-t në Selenium kërkon një zgjidhje alternative, sepse parametri --proxy-server=http://ip:port i ChromeDriver nuk mund të mbajë emër përdoruesi dhe fjalëkalim; Chrome heq user:pass të dhënë në linjë dhe shfaq një dritare hyrjeje që WebDriver nuk mund ta plotësojë. Dy zgjidhjet e besueshme janë selenium-wire, e cila menaxhon identifikimin në ProxyV4 në Python, dhe një shtesë e vogël e Chrome që i përgjigjet onAuthRequired në çdo gjuhë të Selenium.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
IPv4 privat (datacenter)
🇺🇸 Shtetet e Bashkuara
Në gjendje
Nga
1,10 US$ / IP / muaj
Zbritje për sasi
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Bli në Shtetet e Bashkuara
ISP rezidencial statik
🇺🇸 Shtetet e Bashkuara
Në gjendje
Nga
1,50 US$ / IP / muaj
Zbritje për sasi
  • 1 IP2,25 US$
  • 3+ IP2,10 US$
  • 10+ IP2,00 US$
  • 25+ IP1,90 US$
  • 50+ IP1,80 US$
  • 100+ IP1,70 US$
  • 200+ IP1,60 US$
  • 500+ IP1,50 US$
Bli në Shtetet e Bashkuara

Krahasimi i opsioneve

MetodaSi ta konfiguroniPërshtatshmëria
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Rruga më e shpejtë në Python; proxy mund të ndryshohet ndërkohë që shfletuesi është i hapur
Shtesë autentikimiNjë shtesë e kompresuar në zip, skripti në sfond i së cilës menaxhon chrome.webRequest.onAuthRequiredNjëlloj për Java, C#, Python dhe undetected-chromedriver
Kalimi në Playwrightbrowser.newContext({ proxy: { server, username, password } })Projekte të reja; hyrja në proxy është e integruar, pa shtesa

Çfarë ndodh vetëm me --proxy-server

Chrome e merr adresën e proxy-t nga rreshti i komandës, por shpërfill çdo kredencial të shkruar në të. Kur proxy kthen përgjigjen 407, Chrome hap një dritare vendore identifikimi. Ajo dritare ndodhet jashtë DOM-it të faqes, prandaj find_element nuk mund ta shohë dhe skripti pret derisa t'i mbarojë koha. Prandaj, çdo metodë funksionale i siguron kredencialet diku tjetër përveç parametrit.

Kini parasysh se selenium-wire nuk mirëmbahet më aktivisht. Ajo funksionon ende për shumë mjedise, por për projekte afatgjata përdorimi i shtesës ose Playwright është alternativa më e sigurt.

Mbajtja efikase e ekzekutimeve të Selenium me proxy

  • Vendosni options.page_load_strategy = 'eager' që skripti të vazhdojë sapo DOM të jetë gati, në vend që të presë skriptet e ngadalta të palëve të treta
  • Për ekzekutime headless në Chrome 109 ose më të ri përdorni --headless=new; shtesat, duke përfshirë shtesën e autentikimit, funksionojnë si në një dritare normale
  • Çaktivizoni ngarkimin e imazheve te preferencat e Chrome kur ju nevojitet vetëm tekst si çmimet ose titujt
  • Vendosni driver.quit() në një bllok try / finally që një ndërprerje e papritur të mos lërë pas procese të Chrome

Përpara se të rrisni shkallën

Çdo sesion WebDriver është një shfletues i plotë, ndaj jepini çdo sesioni IP-në e vet nëse faqja lidh llogaritë sipas adresës. Një IPv4 private ProxyV4 i jepet me qira një klienti të vetëm dhe e ruan adresën e saj kur e rinovoni, gjë që i mban llogaritë e testimit afatgjatë në të njëjtën IP. Kalojini fillimisht proxy-t e rinj në proxy checker, në mënyrë që një linjë me probleme të mos shfaqet si një timeout konfuz i Selenium.

Nëse një ekzekutim hap ende faqe nga vetë IP-ja e serverit ose ndalon në një gabim tuneli, seksioni i Selenium te proxy not working rendit shkaqet e zakonshme me radhë.

Hap pas hapi

  1. 1

    Instaloni selenium-wire

    Në mjedisin tuaj virtual, ekzekutoni pip install selenium-wire.

  2. 2

    Përshkruani proxy-n

    Ndërtoni sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} nga porosia juaj në ProxyV4.

  3. 3

    Nisni Chrome me ato opsione

    Krijoni driver-in me driver = webdriver.Chrome(seleniumwire_options=sw_options), duke importuar webdriver nga seleniumwire.

  4. 4

    Kontrolloni IP-në dalëse

    Thirrni driver.get('https://proxyv4.com/api/my-ip') dhe konfirmoni që faqja shfaq adresën e proxy-t.

Pyetjet e shpeshta

Pse shpërfillet --proxy-server=http://user:pass@ip:port në ChromeOptions?

Chrome i heq kredencialet nga vlera e --proxy-server sipas vetë projektimit. Sigurojini ato përmes selenium-wire, një shtese onAuthRequired, ose kaloni në Playwright, i cili pranon drejtpërdrejt emër përdoruesi dhe fjalëkalim.

A mundet selenium-wire të ndryshojë proxy pa e rinisur shfletuesin?

Po. Caktoni një dict të ri, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, dhe kërkesat pasuese do të përdorin proxy-n e ri kryesor.

A funksionon shtesa e autentikimit në Chrome headless?

Po, me --headless=new. Modaliteti i vjetër --headless nuk i ngarkonte shtesat në të njëjtën mënyrë.

Selenium-it i mbaron koha në çdo faqe përmes proxy-t. Çfarë të bëj më pas?

Ngarkoni pikën fundore të IP-së me curl duke përdorur të njëjtat kredenciale. Nëse edhe curl dështon, problemi është linja ose porta; udhëzuesi për skadimin e kohës së proxy-t liston se çfarë të kontrolloni.

Burimet

IP të qëndrueshme për sesionet e Selenium

IPv4 private në 7 shtete dhe ISP statike në SHBA dhe Vietnam, me user dhe fjalëkalim, pa kufizim trafiku dhe një klient për çdo IP.

Shikoni çmimet aktuale për SHBA

Related articles

Proxy sipas platformës
Proxy për web scraping: grup fiks IP-sh me trafik të pakufizuar
Proxy për web scraping për Python, Scrapy, Playwright e Selenium: adresat private IPv4 dhe ISP statike, brez i pakufizuar, çmim fiks për çdo IP.
Konfigurimi i proxy-t
Autentikimi i proxy-t në Playwright, një IP statike për kontekst
Jepini çdo konteksti Playwright një proxy HTTP(S) të autentikuar në Node.js ose Python, përshtatni zonën kohore e gjuhën me IP-në dhe konfirmoni adresën dalëse.
Konfigurimi i proxy-t
Kërkesat Python requests përmes një proxy të autentikuar, hap pas hapi
Dërgoni kërkesa Python me proxy HTTP(S) të autentikuar: krijoni fjalorin proxies, lidheni me Session, kodoni fjalëkalimet, alternoni listën dhe shihni IP-në.
Konfigurimi i proxy-t
Puppeteer me proxy të autentikuar: flamuri i nisjes plus hyrja
Autentifikimi i proxy-t në Puppeteer, shembull praktik: --proxy-server për adresën, page.authenticate() për hyrjen, më pas SOCKS5, kontekstet dhe zgjidhjet.
Proxy sipas platformës
Proxy për ndjekjen e renditjes SEO: shikoni faqen e rezultateve siç e sheh një kërkues lokal
Proxy për SEO me IPv4 private në SHBA, MB, Vietnam, Japoni e 4 tregje të tjera, që renditjet, paketat lokale e reklamat të përputhen me çfarë shohin vendasit.
Proxy sipas platformës
Proxy për shitësit në Amazon që i japin çdo llogarie një adresë të përhershme
Proxy Amazon për Seller Central, KDP e Merch: ISP statike në SHBA ose IPv4 private në MB/Japoni për llogari, me qira vetëm për ju dhe që ruhet në rinovim.
IPV4 · united states
Pool Proxy Privat IPv4 në SHBA për Scraping, Monitorim Renditjeje dhe Kontroll Reklamash
Blini proxy privatë IPv4 në SHBA: IP statike datacenter, një klient për IP, trafik i pakufizuar. Për scraping, ndjekje SERP dhe verifikim reklamash në SHBA.
ISP · united states
Proxy ISP Statik në SHBA: Një IP e Regjistruar në Shtëpi që Nuk Ndryshon Kurrë
Proxy statik ISP në SHBA me IP të regjistruara te ofrues familjarë. Një IP fikse amerikane për llogari për shitës në Amazon, llogari reklamash dhe Instagram.