ProxyV4

Selenium WebDriver ja todennetut välityspalvelimet: mikä toimii

· Updated:

Seleniumin välityspalvelintodennus vaatii kiertotavan, koska ChromeDriverin valitsin --proxy-server=http://ip:port ei tue käyttäjätunnusta ja salasanaa; Chrome jättää upotetun user:pass-osan huomiotta ja näyttää kirjautumisikkunan, jota WebDriver ei voi täyttää. Kaksi luotettavaa ratkaisua ovat selenium-wire, joka hoitaa ProxyV4-kirjautumisen Pythonissa, sekä pieni Chrome-laajennus, joka vastaa onAuthRequired-tapahtumaan millä tahansa Selenium-kielellä.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Yksityinen IPv4 (konesali)
🇺🇸 Yhdysvallat
Varastossa
Alkaen
1,10 $ / IP / kk
Määräalennukset
  • 1 IP1,85 $
  • 3+ IP:tä1,70 $
  • 10+ IP:tä1,60 $
  • 25+ IP:tä1,50 $
  • 50+ IP:tä1,40 $
  • 100+ IP:tä1,30 $
  • 200+ IP:tä1,20 $
  • 500+ IP:tä1,10 $
Osta Yhdysvallat
Staattinen residential ISP
🇺🇸 Yhdysvallat
Varastossa
Alkaen
1,50 $ / IP / kk
Määräalennukset
  • 1 IP2,25 $
  • 3+ IP:tä2,10 $
  • 10+ IP:tä2,00 $
  • 25+ IP:tä1,90 $
  • 50+ IP:tä1,80 $
  • 100+ IP:tä1,70 $
  • 200+ IP:tä1,60 $
  • 500+ IP:tä1,50 $
Osta Yhdysvallat

Vaihtoehtojen vertailu

MenetelmäMiten määritetäänParas käyttökohde
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Nopein tapa Pythonissa; välityspalvelinta voi vaihtaa selaimen ollessa auki
TodennuslaajennusPakattu zip-laajennus, jonka taustakoodi käsittelee tapahtuman chrome.webRequest.onAuthRequiredJava, C#, Python ja yhtä lailla undetected-chromedriver
Siirtyminen Playwrightiinbrowser.newContext({ proxy: { server, username, password } })Uudet projektit; sisäänrakennettu välityspalvelimen kirjautuminen ilman laajennuksia

Mitä pelkällä --proxy-server-valitsimella tapahtuu

Chrome ottaa välityspalvelimen osoitteen komentoriviltä, mutta ohittaa siihen kirjoitetut käyttäjätunnukset. Kun välityspalvelin palauttaa koodin 407, Chrome avaa käyttöjärjestelmän oman kirjautumiskehotteen. Kehote on sivun DOM-rakenteen ulkopuolella, joten find_element ei näe sitä ja skripti odottaa aikakatkaisuun saakka. Jokainen toimiva menetelmä välittääkin tunnukset jotakin muuta kautta kuin valitsimella.

Huomaa, että kirjastoa selenium-wire ei enää ylläpidetä aktiivisesti. Se toimii yhä monissa kokoonpanoissa, mutta pitkäikäisissä projekteissa laajennusratkaisu tai Playwright on turvallisempi valinta.

Välityspalvelinta käyttävien Selenium-ajojen tehostaminen

  • Aseta options.page_load_strategy = 'eager', jotta skripti jatkaa heti DOMin valmistuttua sen sijaan, että se odottaisi hitaita kolmannen osapuolen skriptejä
  • Käytä Chrome 109:ssä tai uudemmissa headless-ajoihin valitsinta --headless=new; laajennukset, myös todennuslaajennus, toimivat kuten tavallisessa ikkunassa
  • Ota kuvien lataus pois päältä Chromen asetuksista, kun tarvitset vain tekstiä, kuten hintoja tai otsikoita
  • Sijoita driver.quit() try / finally -lohkoon, jotta kaatuminen ei jätä Chrome-prosesseja taustalle

Ennen skaalaamista

Jokainen WebDriver-istunto on täysi selain, joten anna jokaiselle istunnolle oma IP-osoitteensa, jos sivusto yhdistää tilit osoitteen perusteella. Yksityinen ProxyV4-IPv4 vuokrataan yhdelle asiakkaalle ja se säilyttää osoitteensa uusittaessa, mikä pitää pitkäkestoiset testitilit samassa IP-osoitteessa. Aja uudet välityspalvelimet ensin välityspalvelimen tarkistustyökalun läpi, jotta huono yhteys ei näy hämmentävänä Selenium-aikakatkaisuna.

Jos suoritus avaa sivuja edelleen palvelimen omasta IP-osoitteesta tai pysähtyy tunnelivirheeseen, oppaan välityspalvelin ei toimi Selenium-osiossa luetellaan yleisimmät syyt järjestyksessä.

Vaihe vaiheelta

  1. 1

    Asenna selenium-wire

    Suorita virtuaaliympäristössäsi pip install selenium-wire.

  2. 2

    Määritä välityspalvelin

    Muodosta ProxyV4-tilauksesi tiedoista sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}.

  3. 3

    Käynnistä Chrome näillä asetuksilla

    Luo selainohjain komennolla driver = webdriver.Chrome(seleniumwire_options=sw_options) tuomalla webdriver moduulista seleniumwire.

  4. 4

    Tarkista lähtevä IP-osoite

    Kutsu driver.get('https://proxyv4.com/api/my-ip') ja varmista, että sivu näyttää välityspalvelimen osoitteen.

Usein kysytyt kysymykset

Miksi --proxy-server=http://user:pass@ip:port ohitetaan ChromeOptions-määrityksissä?

Chrome poistaa tunnukset valitsimen --proxy-server arvosta tarkoituksella. Syötä ne käyttämällä kirjastoa selenium-wire, onAuthRequired-laajennusta tai siirry ratkaisuun Playwright, joka tukee käyttäjätunnusta ja salasanaa suoraan.

Voiko selenium-wire vaihtaa välityspalvelinta käynnistämättä selainta uudelleen?

Kyllä. Aseta uusi sanakirja, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, ja seuraavat pyynnöt käyttävät uutta välityspalvelinta.

Toimiiko todennuslaajennus headless-tilassa Chromessa?

Kyllä, valitsimella --headless=new. Vanha --headless-tila ei ladannut laajennuksia samalla tavalla.

Selenium aikakatkaisee jokaisen sivun välityspalvelimen kautta. Mitä seuraavaksi?

Avaa IP-päätepiste cURL-työkalulla samoilla tunnuksilla. Jos myös cURL epäonnistuu, ongelma on yhteydessä tai portissa; välityspalvelimen aikakatkaisuoppaassa kerrotaan tarkistettavat asiat.

Lähteet

Vakaat IP-osoitteet Selenium-istuntoihin

Yksityiset IPv4-osoitteet 7 maassa ja staattiset ISP-osoitteet Yhdysvalloissa ja Vietnamissa käyttäjätunnuksella ja salasanalla, rajoittamattomasti ja yksi asiakas per IP.

Katso reaaliaikaiset US-hinnat

Related articles

Proxyt alustoittain
Proxyt web scrapingiin: kiinteä IP-pooli rajoittamattomalla liikenteellä
Web scraping -proxyt Pythonille, Scrapylle, Playwrightille ja Seleniumille: yksityisiä IPv4- ja staattisia ISP-osoitteita, rajaton kaista, kiinteä IP-hinta.
Proxyn käyttöönotto
Playwright-välityspalvelimen todennus, yksi staattinen IP per konteksti
Anna Playwright-selainkonteksteille oma todennettu HTTP(S)-välityspalvelin Node.js:ssä tai Pythonissa, sovita aikavyöhyke ja lokaali sekä vahvista lähtöosoite.
Proxyn käyttöönotto
Python requests todennetun välityspalvelimen kautta vaiheittain
Lähetä Python-pyyntöjä todennetun HTTP(S)-proxyn kautta: luo proxies-dict, liitä se Session-olioon, koodaa erikoiset salasanat, kierrätä listaa ja tarkista IP.
Proxyn käyttöönotto
Puppeteer todennetulla proxylla: käynnistysparametri ja kirjautuminen
Puppeteer-proxyn todennus, ensin toimiva esimerkki: --proxy-server osoitteelle, page.authenticate() tunnuksille, sitten SOCKS5, kontekstit ja korjaukset.
Proxyt alustoittain
Välityspalvelimet SEO-sijoitusseurantaan: näe paikallisen hakijan tulossivu
SEO-välityspalvelimet ja oma IPv4 USA:ssa, UK:ssa, Vietnamissa, Japanissa ja 4 muussa maassa. Näe sijoitukset, paikallispaketit ja mainokset kuten paikalliset.
Proxyt alustoittain
Amazon-myyjäproxyt, jotka antavat jokaiselle tilille pysyvän osoitteen
Amazon-myyjäproxyt Seller Centraliin, KDP:hen ja Merchiin: staattinen USA-ISP tai UK:n/Japanin yksityinen IPv4 tiliä kohden vain sinulle, säilyy uusittaessa.
IPV4 · united states
Yksityinen Yhdysvaltain IPv4-välityspalvelinpooli tiedonkeruuseen, sijoitusseurantaan ja mainosten tarkistukseen
Osta yksityiset USA IPv4 -proxyt: staattiset konesali-IP:t, yksi asiakas per IP, rajaton kaista. Tehty tiedonkeruuseen, SERP-seurantaan ja mainostarkistuksiin.
ISP · united states
Staattinen Yhdysvaltain ISP-välityspalvelin: kotiliittymäksi rekisteröity IP, joka ei koskaan muutu
USA:n staattiset ISP-proxyt kuluttajaliittymien IP-osoitteilla. Yksi kiinteä amerikkalainen IP tiliä kohden Amazon-myyjille, mainostileille ja Instagramiin.