Selenium WebDriver ja todennetut välityspalvelimet: mikä toimii
Kirjoittanut ProxyV4-kehitystiimi · Updated:
Seleniumin välityspalvelintodennus vaatii kiertotavan, koska ChromeDriverin valitsin --proxy-server=http://ip:port ei tue käyttäjätunnusta ja salasanaa; Chrome jättää upotetun user:pass-osan huomiotta ja näyttää kirjautumisikkunan, jota WebDriver ei voi täyttää. Kaksi luotettavaa ratkaisua ovat selenium-wire, joka hoitaa ProxyV4-kirjautumisen Pythonissa, sekä pieni Chrome-laajennus, joka vastaa onAuthRequired-tapahtumaan millä tahansa Selenium-kielellä.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 $
- 3+ IP:tä1,70 $
- 10+ IP:tä1,60 $
- 25+ IP:tä1,50 $
- 50+ IP:tä1,40 $
- 100+ IP:tä1,30 $
- 200+ IP:tä1,20 $
- 500+ IP:tä1,10 $
- 1 IP2,25 $
- 3+ IP:tä2,10 $
- 10+ IP:tä2,00 $
- 25+ IP:tä1,90 $
- 50+ IP:tä1,80 $
- 100+ IP:tä1,70 $
- 200+ IP:tä1,60 $
- 500+ IP:tä1,50 $
Vaihtoehtojen vertailu
| Menetelmä | Miten määritetään | Paras käyttökohde |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Nopein tapa Pythonissa; välityspalvelinta voi vaihtaa selaimen ollessa auki |
| Todennuslaajennus | Pakattu zip-laajennus, jonka taustakoodi käsittelee tapahtuman chrome.webRequest.onAuthRequired | Java, C#, Python ja yhtä lailla undetected-chromedriver |
| Siirtyminen Playwrightiin | browser.newContext({ proxy: { server, username, password } }) | Uudet projektit; sisäänrakennettu välityspalvelimen kirjautuminen ilman laajennuksia |
Mitä pelkällä --proxy-server-valitsimella tapahtuu
Chrome ottaa välityspalvelimen osoitteen komentoriviltä, mutta ohittaa siihen kirjoitetut käyttäjätunnukset. Kun välityspalvelin palauttaa koodin 407, Chrome avaa käyttöjärjestelmän oman kirjautumiskehotteen. Kehote on sivun DOM-rakenteen ulkopuolella, joten find_element ei näe sitä ja skripti odottaa aikakatkaisuun saakka. Jokainen toimiva menetelmä välittääkin tunnukset jotakin muuta kautta kuin valitsimella.
Huomaa, että kirjastoa selenium-wire ei enää ylläpidetä aktiivisesti. Se toimii yhä monissa kokoonpanoissa, mutta pitkäikäisissä projekteissa laajennusratkaisu tai Playwright on turvallisempi valinta.
Välityspalvelinta käyttävien Selenium-ajojen tehostaminen
- Aseta
options.page_load_strategy = 'eager', jotta skripti jatkaa heti DOMin valmistuttua sen sijaan, että se odottaisi hitaita kolmannen osapuolen skriptejä - Käytä Chrome 109:ssä tai uudemmissa headless-ajoihin valitsinta
--headless=new; laajennukset, myös todennuslaajennus, toimivat kuten tavallisessa ikkunassa - Ota kuvien lataus pois päältä Chromen asetuksista, kun tarvitset vain tekstiä, kuten hintoja tai otsikoita
- Sijoita
driver.quit()try / finally-lohkoon, jotta kaatuminen ei jätä Chrome-prosesseja taustalle
Ennen skaalaamista
Jokainen WebDriver-istunto on täysi selain, joten anna jokaiselle istunnolle oma IP-osoitteensa, jos sivusto yhdistää tilit osoitteen perusteella. Yksityinen ProxyV4-IPv4 vuokrataan yhdelle asiakkaalle ja se säilyttää osoitteensa uusittaessa, mikä pitää pitkäkestoiset testitilit samassa IP-osoitteessa. Aja uudet välityspalvelimet ensin välityspalvelimen tarkistustyökalun läpi, jotta huono yhteys ei näy hämmentävänä Selenium-aikakatkaisuna.
Jos suoritus avaa sivuja edelleen palvelimen omasta IP-osoitteesta tai pysähtyy tunnelivirheeseen, oppaan välityspalvelin ei toimi Selenium-osiossa luetellaan yleisimmät syyt järjestyksessä.
Vaihe vaiheelta
- 1
Asenna selenium-wire
Suorita virtuaaliympäristössäsi
pip install selenium-wire. - 2
Määritä välityspalvelin
Muodosta ProxyV4-tilauksesi tiedoista
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}. - 3
Käynnistä Chrome näillä asetuksilla
Luo selainohjain komennolla
driver = webdriver.Chrome(seleniumwire_options=sw_options)tuomallawebdrivermoduulistaseleniumwire. - 4
Tarkista lähtevä IP-osoite
Kutsu
driver.get('https://proxyv4.com/api/my-ip')ja varmista, että sivu näyttää välityspalvelimen osoitteen.
Usein kysytyt kysymykset
Miksi --proxy-server=http://user:pass@ip:port ohitetaan ChromeOptions-määrityksissä?
Chrome poistaa tunnukset valitsimen --proxy-server arvosta tarkoituksella. Syötä ne käyttämällä kirjastoa selenium-wire, onAuthRequired-laajennusta tai siirry ratkaisuun Playwright, joka tukee käyttäjätunnusta ja salasanaa suoraan.
Voiko selenium-wire vaihtaa välityspalvelinta käynnistämättä selainta uudelleen?
Kyllä. Aseta uusi sanakirja, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, ja seuraavat pyynnöt käyttävät uutta välityspalvelinta.
Toimiiko todennuslaajennus headless-tilassa Chromessa?
Kyllä, valitsimella --headless=new. Vanha --headless-tila ei ladannut laajennuksia samalla tavalla.
Selenium aikakatkaisee jokaisen sivun välityspalvelimen kautta. Mitä seuraavaksi?
Avaa IP-päätepiste cURL-työkalulla samoilla tunnuksilla. Jos myös cURL epäonnistuu, ongelma on yhteydessä tai portissa; välityspalvelimen aikakatkaisuoppaassa kerrotaan tarkistettavat asiat.
Lähteet
Vakaat IP-osoitteet Selenium-istuntoihin
Yksityiset IPv4-osoitteet 7 maassa ja staattiset ISP-osoitteet Yhdysvalloissa ja Vietnamissa käyttäjätunnuksella ja salasanalla, rajoittamattomasti ja yksi asiakas per IP.
Katso reaaliaikaiset US-hinnat