ProxyV4

Selenium WebDriver en proxy's met verifikasie: wat werk

· Updated:

Selenium-proxy-verifikasie benodig 'n alternatiewe oplossing, aangesien ChromeDriver se --proxy-server=http://ip:port-vlag nie 'n gebruikersnaam en wagwoord kan dra nie; Chrome laat inlyn-user:pass vaar en wys 'n aanmelddialoog wat WebDriver nie kan invul nie. Die twee betroubare oplossings is selenium-wire, wat die ProxyV4-aanmelding in Python hanteer, en 'n klein Chrome-uitbreiding wat onAuthRequired in enige Selenium-taal beantwoord.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Privaat IPv4 (datasentrum)
🇺🇸 Verenigde State
In voorraad
Vanaf
USD 1,10 / IP / maand
Hoeveelheidsafslag
  • 1 IPUSD 1,85
  • 3+ IP'sUSD 1,70
  • 10+ IP'sUSD 1,60
  • 25+ IP'sUSD 1,50
  • 50+ IP'sUSD 1,40
  • 100+ IP'sUSD 1,30
  • 200+ IP'sUSD 1,20
  • 500+ IP'sUSD 1,10
Koop Verenigde State
Statiese residensiële ISP
🇺🇸 Verenigde State
In voorraad
Vanaf
USD 1,50 / IP / maand
Hoeveelheidsafslag
  • 1 IPUSD 2,25
  • 3+ IP'sUSD 2,10
  • 10+ IP'sUSD 2,00
  • 25+ IP'sUSD 1,90
  • 50+ IP'sUSD 1,80
  • 100+ IP'sUSD 1,70
  • 200+ IP'sUSD 1,60
  • 500+ IP'sUSD 1,50
Koop Verenigde State

Opsies vergelyk

MetodeHoe jy dit opstelGoeie keuse
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Vinnigste roete in Python; die proxy kan verander word terwyl die blaaier oop is
Verifikasie-uitbreiding'n Geritste uitbreiding waarvan die agtergrondskrip chrome.webRequest.onAuthRequired hanteerNet so geskik vir Java, C#, Python en undetected-chromedriver
Skuif na Playwrightbrowser.newContext({ proxy: { server, username, password } })Nuwe projekte; proxy-aanmelding is ingebou, geen uitbreiding nodig nie

Wat met gewone --proxy-server gebeur

Chrome neem die proxy-adres vanaf die opdragreël, maar ignoreer enige geloofsbriewe wat daarin geskryf is. Wanneer die proxy met 407 antwoord, maak Chrome 'n inheemse aanmeldvenster oop. Daardie venster is buite die bladsy-DOM, so find_element kan dit nie sien nie en die skrip wag totdat die tyd uitloop. Elke werkende metode verskaf die geloofsbriewe dus elders as in die vlag.

Let daarop dat selenium-wire nie meer aktief onderhou word nie. Dit werk steeds vir baie opstellings, maar vir langtermynprojekte is die uitbreidingsbenadering of Playwright die veiliger keuse.

Hou Selenium-sessies met 'n proxy doeltreffend

  • Stel options.page_load_strategy = 'eager' sodat die skrip voortgaan sodra die DOM gereed is, eerder as om vir stadige derdeparty-skrifte te wag
  • Vir headless-lopies op Chrome 109 of nuwer, gebruik --headless=new; uitbreidings, insluitend die verifikasie-uitbreiding, werk net soos in 'n gewone venster
  • Skakel prentlaai in Chrome-voorkeure af wanneer jy slegs teks soos pryse of titels benodig
  • Plaas driver.quit() in 'n try / finally-blok sodat 'n programfout nie Chrome-prosesse agterlaat nie

Voordat jy skaal

Elke WebDriver-sessie is 'n volledige blaaier, so gee elke sessie sy eie IP as die werf rekeninge volgens adres koppel. 'n ProxyV4 private IPv4 word aan een kliënt verhuur en behou sy adres wanneer jy hernu, wat langlopende toetsrekeninge op dieselfde IP hou. Stuur nuwe proxy's eers deur die proxy-toetser sodat 'n swak lyn nie as 'n verwarrende Selenium-tyduitval verskyn nie.

As 'n uitvoering steeds bladsye vanaf die bediener se eie IP oopmaak of by 'n tonnelfout stop, lys die Selenium-afdeling van proxy werk nie die gewone oorsake in volgorde.

Stap vir stap

  1. 1

    Installeer selenium-wire

    In jou virtuele omgewing, voer pip install selenium-wire uit.

  2. 2

    Beskryf die proxy

    Bou sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} vanaf jou ProxyV4-bestelling.

  3. 3

    Begin Chrome met daardie opsies

    Skep die drywer met driver = webdriver.Chrome(seleniumwire_options=sw_options), en voer webdriver vanaf seleniumwire in.

  4. 4

    Gaan die uitgang-IP na

    Roep driver.get('https://proxyv4.com/api/my-ip') op en bevestig dat die bladsy die proxy-adres wys.

Gereelde vrae

Waarom word --proxy-server=http://user:pass@ip:port in ChromeOptions geïgnoreer?

Chrome verwyder doelbewus geloofsbriewe uit die --proxy-server-waarde. Verskaf dit via selenium-wire, 'n onAuthRequired-uitbreiding, of skakel oor na Playwright, wat 'n gebruikersnaam en wagwoord direk aanvaar.

Kan selenium-wire die proxy verander sonder om die blaaier te herbegin?

Ja. Ken 'n nuwe dict toe, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, en die daaropvolgende versoeke sal die nuwe stroomop-proxy gebruik.

Werk die verifikasie-uitbreiding in headless Chrome?

Ja, met --headless=new. Die ou --headless-modus het uitbreidings nie op dieselfde manier gelaai nie.

Selenium se tyd loop uit op elke bladsy deur die proxy. Wat nou?

Laai die IP-eindpunt met cURL met dieselfde geloofsbriewe. As cURL ook misluk, is die lyn of poort die probleem; die proxy timeout guide lys wat om na te gaan.

Bronne

Stabiele IP's vir Selenium-sessies

Privaat IPv4 in 7 lande en statiese ISP in die VSA en Viëtnam, met gebruiker en wagwoord, onbeperk en een kliënt per IP.

Kyk regstreekse VSA-pryse

Related articles

Instaanbedieners per platform
Proksees vir webskraap: 'n vaste IP-poel met onbeperkte verkeer
Webskraap-proksees vir Python, Scrapy, Playwright en Selenium: 'n poel privaat IPv4- en statiese ISP-adresse, onbeperkte bandwydte, vaste pryse per IP.
Instaan-opstelling
Playwright-proxyverifikasie, een statiese IP per konteks
Gee elke Playwright-blaaierkonteks sy eie geverifieerde HTTP(S)-proxy in Node.js of Python, pas tydsone en taal by die IP aan en bevestig die uitgangsadres.
Instaan-opstelling
Python-requests deur 'n geoutentiseerde proxy, stap vir stap
Stuur Python-versoeke deur 'n geoutentiseerde HTTP(S)-proxy: bou die proxies-dict, heg aan 'n Session, enkodeer wagwoorde, roteer 'n lys en kontroleer die IP.
Instaan-opstelling
Puppeteer met 'n geverifieerde proxy: lanseervlag plus aanmelding
Puppeteer-proxy-verifikasie, werkende voorbeeld eerste: --proxy-server vir die adres, page.authenticate() vir aanmelding, dan SOCKS5, kontekste en oplossings.
Instaanbedieners per platform
Proxy's vir SEO-rangopsporing: sien die resultatebladsy wat 'n plaaslike soeker sien
SEO-rangopsporing-proxy's met privaat IPv4 in die VSA, VK, Viëtnam, Japan en nog vier markte, sodat ranglyste, plaaslike pakke en advertensies plaaslik pas.
Instaanbedieners per platform
Amazon-verkoper-proxies wat aan elke rekening 'n permanente adres gee
Amazon-verkoper-proxies vir Seller Central, KDP en Merch: statiese VSA-ISP of VK/Japan privaat IPv4 per rekening, net aan jou verhuur en behou met hernuwing.
IPV4 · united states
VSA Privaat IPv4-proxy-poel vir skraapwerk, rangopsporing en advertensiekontroles
Koop private VS IPv4-proxy's: statiese VSA-datasentrum-IP's, een kliënt per IP, onbeperkte bandwydte. Vir skraapwerk, SERP-opsporing en VS-advertensietoetse.
ISP · united states
VSA Statiese ISP-proxy: 'n Huisgeregistreerde IP wat nooit verander nie
Statiese VS-ISP-proxy's op IP's geregistreer by verbruikers-ISP's. Een vaste Amerikaanse IP per rekening vir Amazon-verkopers, advertensies en Instagram.