Selenium WebDriver en proxy's met verifikasie: wat werk
Deur die ProxyV4-ingenieurspan · Updated:
Selenium-proxy-verifikasie benodig 'n alternatiewe oplossing, aangesien ChromeDriver se --proxy-server=http://ip:port-vlag nie 'n gebruikersnaam en wagwoord kan dra nie; Chrome laat inlyn-user:pass vaar en wys 'n aanmelddialoog wat WebDriver nie kan invul nie. Die twee betroubare oplossings is selenium-wire, wat die ProxyV4-aanmelding in Python hanteer, en 'n klein Chrome-uitbreiding wat onAuthRequired in enige Selenium-taal beantwoord.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IPUSD 1,85
- 3+ IP'sUSD 1,70
- 10+ IP'sUSD 1,60
- 25+ IP'sUSD 1,50
- 50+ IP'sUSD 1,40
- 100+ IP'sUSD 1,30
- 200+ IP'sUSD 1,20
- 500+ IP'sUSD 1,10
- 1 IPUSD 2,25
- 3+ IP'sUSD 2,10
- 10+ IP'sUSD 2,00
- 25+ IP'sUSD 1,90
- 50+ IP'sUSD 1,80
- 100+ IP'sUSD 1,70
- 200+ IP'sUSD 1,60
- 500+ IP'sUSD 1,50
Opsies vergelyk
| Metode | Hoe jy dit opstel | Goeie keuse |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Vinnigste roete in Python; die proxy kan verander word terwyl die blaaier oop is |
| Verifikasie-uitbreiding | 'n Geritste uitbreiding waarvan die agtergrondskrip chrome.webRequest.onAuthRequired hanteer | Net so geskik vir Java, C#, Python en undetected-chromedriver |
| Skuif na Playwright | browser.newContext({ proxy: { server, username, password } }) | Nuwe projekte; proxy-aanmelding is ingebou, geen uitbreiding nodig nie |
Wat met gewone --proxy-server gebeur
Chrome neem die proxy-adres vanaf die opdragreël, maar ignoreer enige geloofsbriewe wat daarin geskryf is. Wanneer die proxy met 407 antwoord, maak Chrome 'n inheemse aanmeldvenster oop. Daardie venster is buite die bladsy-DOM, so find_element kan dit nie sien nie en die skrip wag totdat die tyd uitloop. Elke werkende metode verskaf die geloofsbriewe dus elders as in die vlag.
Let daarop dat selenium-wire nie meer aktief onderhou word nie. Dit werk steeds vir baie opstellings, maar vir langtermynprojekte is die uitbreidingsbenadering of Playwright die veiliger keuse.
Hou Selenium-sessies met 'n proxy doeltreffend
- Stel
options.page_load_strategy = 'eager'sodat die skrip voortgaan sodra die DOM gereed is, eerder as om vir stadige derdeparty-skrifte te wag - Vir headless-lopies op Chrome 109 of nuwer, gebruik
--headless=new; uitbreidings, insluitend die verifikasie-uitbreiding, werk net soos in 'n gewone venster - Skakel prentlaai in Chrome-voorkeure af wanneer jy slegs teks soos pryse of titels benodig
- Plaas
driver.quit()in 'ntry / finally-blok sodat 'n programfout nie Chrome-prosesse agterlaat nie
Voordat jy skaal
Elke WebDriver-sessie is 'n volledige blaaier, so gee elke sessie sy eie IP as die werf rekeninge volgens adres koppel. 'n ProxyV4 private IPv4 word aan een kliënt verhuur en behou sy adres wanneer jy hernu, wat langlopende toetsrekeninge op dieselfde IP hou. Stuur nuwe proxy's eers deur die proxy-toetser sodat 'n swak lyn nie as 'n verwarrende Selenium-tyduitval verskyn nie.
As 'n uitvoering steeds bladsye vanaf die bediener se eie IP oopmaak of by 'n tonnelfout stop, lys die Selenium-afdeling van proxy werk nie die gewone oorsake in volgorde.
Stap vir stap
- 1
Installeer selenium-wire
In jou virtuele omgewing, voer
pip install selenium-wireuit. - 2
Beskryf die proxy
Bou
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}vanaf jou ProxyV4-bestelling. - 3
Begin Chrome met daardie opsies
Skep die drywer met
driver = webdriver.Chrome(seleniumwire_options=sw_options), en voerwebdrivervanafseleniumwirein. - 4
Gaan die uitgang-IP na
Roep
driver.get('https://proxyv4.com/api/my-ip')op en bevestig dat die bladsy die proxy-adres wys.
Gereelde vrae
Waarom word --proxy-server=http://user:pass@ip:port in ChromeOptions geïgnoreer?
Chrome verwyder doelbewus geloofsbriewe uit die --proxy-server-waarde. Verskaf dit via selenium-wire, 'n onAuthRequired-uitbreiding, of skakel oor na Playwright, wat 'n gebruikersnaam en wagwoord direk aanvaar.
Kan selenium-wire die proxy verander sonder om die blaaier te herbegin?
Ja. Ken 'n nuwe dict toe, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, en die daaropvolgende versoeke sal die nuwe stroomop-proxy gebruik.
Werk die verifikasie-uitbreiding in headless Chrome?
Ja, met --headless=new. Die ou --headless-modus het uitbreidings nie op dieselfde manier gelaai nie.
Selenium se tyd loop uit op elke bladsy deur die proxy. Wat nou?
Laai die IP-eindpunt met cURL met dieselfde geloofsbriewe. As cURL ook misluk, is die lyn of poort die probleem; die proxy timeout guide lys wat om na te gaan.
Bronne
Stabiele IP's vir Selenium-sessies
Privaat IPv4 in 7 lande en statiese ISP in die VSA en Viëtnam, met gebruiker en wagwoord, onbeperk en een kliënt per IP.
Kyk regstreekse VSA-pryse