ProxyV4

Selenium WebDriver dan proksi berpengesahan: apa yang berkesan

· Updated:

Pengesahan proksi Selenium memerlukan penyelesaian alternatif, kerana bendera --proxy-server=http://ip:port pada ChromeDriver tidak boleh membawa nama pengguna dan kata laluan; Chrome menggugurkan user:pass sebaris dan memaparkan dialog log masuk yang tidak dapat diisi oleh WebDriver. Dua kaedah penyelesaian yang boleh dipercayai ialah selenium-wire, yang mengendalikan log masuk ProxyV4 dalam Python, dan sambungan Chrome kecil yang membalas onAuthRequired dalam mana-mana bahasa Selenium.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
IPv4 peribadi (pusat data)
🇺🇸 Amerika Syarikat
Ada stok
Daripada
USD 1.10 / IP / bulan
Diskaun kuantiti
  • 1 IPUSD 1.85
  • 3+ IPUSD 1.70
  • 10+ IPUSD 1.60
  • 25+ IPUSD 1.50
  • 50+ IPUSD 1.40
  • 100+ IPUSD 1.30
  • 200+ IPUSD 1.20
  • 500+ IPUSD 1.10
Beli Amerika Syarikat
ISP kediaman statik
🇺🇸 Amerika Syarikat
Ada stok
Daripada
USD 1.50 / IP / bulan
Diskaun kuantiti
  • 1 IPUSD 2.25
  • 3+ IPUSD 2.10
  • 10+ IPUSD 2.00
  • 25+ IPUSD 1.90
  • 50+ IPUSD 1.80
  • 100+ IPUSD 1.70
  • 200+ IPUSD 1.60
  • 500+ IPUSD 1.50
Beli Amerika Syarikat

Perbandingan pilihan

KaedahCara anda mengkonfigurasikannyaSesuai untuk
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Laluan terpantas dalam Python; proksi boleh ditukar semasa pelayar dibuka
Sambungan pengesahanSambungan dizip dengan skrip latar belakang yang mengendalikan chrome.webRequest.onAuthRequiredSesuai untuk Java, C#, Python serta undetected-chromedriver
Beralih ke Playwrightbrowser.newContext({ proxy: { server, username, password } })Projek baharu; log masuk proksi sedia terbina, tanpa sambungan

Apa yang berlaku dengan --proxy-server biasa

Chrome mengambil alamat proksi daripada baris arahan tetapi mengabaikan sebarang kelayakan yang dimasukkan ke dalamnya. Apabila proksi membalas dengan 407, Chrome membuka gesaan log masuk natif. Gesaan tersebut berada di luar DOM halaman, jadi find_element tidak dapat mengesannya dan skrip akan menunggu sehingga tamat masa. Oleh itu, setiap kaedah yang berkesan membekalkan kelayakan di tempat lain selain daripada bendera tersebut.

Ambil perhatian bahawa selenium-wire tidak lagi diselenggara secara aktif. Ia masih berfungsi untuk banyak persediaan, tetapi bagi projek jangka panjang, pendekatan sambungan atau Playwright merupakan pilihan yang lebih selamat.

Mengekalkan kecekapan larian Selenium berproksi

  • Tetapkan options.page_load_strategy = 'eager' supaya skrip diteruskan sebaik sahaja DOM siap dan bukannya menunggu skrip pihak ketiga yang perlahan
  • Untuk larian headless pada Chrome 109 atau lebih baharu, gunakan --headless=new; sambungan, termasuk sambungan pengesahan, berfungsi seperti dalam tetingkap biasa
  • Matikan pemuatan imej dalam keutamaan Chrome apabila anda hanya memerlukan teks seperti harga atau tajuk
  • Letakkan driver.quit() dalam blok try / finally supaya ranap sistem tidak meninggalkan proses Chrome di latar belakang

Sebelum anda meningkatkan skala

Setiap sesi WebDriver ialah pelayar yang lengkap, jadi berikan IP tersendiri kepada setiap sesi jika laman web memautkan akaun mengikut alamat. IPv4 peribadi ProxyV4 disewa kepada seorang pelanggan dan mengekalkan alamatnya apabila anda memperbaharuinya, sekali gus memastikan akaun ujian jangka panjang kekal pada IP yang sama. Jalankan proksi baharu melalui pemeriksa proksi terlebih dahulu supaya sambungan yang bermasalah tidak kelihatan sebagai ralat tamat masa Selenium yang mengelirukan.

Jika pelaksanaan masih membuka halaman daripada IP pelayan itu sendiri atau terhenti pada ralat terowong, bahagian Selenium dalam proksi tidak berfungsi menyenaraikan punca biasa mengikut urutan.

Langkah demi langkah

  1. 1

    Pasang selenium-wire

    Dalam persekitaran maya anda, jalankan pip install selenium-wire.

  2. 2

    Huraikan proksi

    Bina sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} daripada pesanan ProxyV4 anda.

  3. 3

    Mulakan Chrome dengan pilihan tersebut

    Cipta pemacu dengan driver = webdriver.Chrome(seleniumwire_options=sw_options), dengan mengimport webdriver daripada seleniumwire.

  4. 4

    Semak IP keluar

    Panggil driver.get('https://proxyv4.com/api/my-ip') dan sahkan halaman memaparkan alamat proksi tersebut.

Soalan lazim

Mengapa --proxy-server=http://user:pass@ip:port diabaikan dalam ChromeOptions?

Secara reka bentuk, Chrome mengalih keluar kelayakan daripada nilai --proxy-server. Bekalkannya melalui selenium-wire, sambungan onAuthRequired, atau beralih ke Playwright, yang menerima nama pengguna dan kata laluan secara terus.

Bolehkah selenium-wire menukar proksi tanpa memulakan semula pelayar?

Ya. Tetapkan dict baharu, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, dan permintaan seterusnya akan menggunakan proksi huluan yang baharu.

Adakah sambungan pengesahan berfungsi dalam headless Chrome?

Ya, dengan --headless=new. Mod --headless lama tidak memuatkan sambungan dengan cara yang sama.

Selenium mengalami tamat masa pada setiap halaman melalui proksi. Apa langkah seterusnya?

Muatkan titik akhir IP dengan cURL menggunakan kelayakan yang sama. Jika cURL turut gagal, masalah berpunca daripada talian atau port; panduan tamat masa proksi menyenaraikan perkara yang perlu disemak.

Sumber

IP Stabil untuk Sesi Selenium

IPv4 peribadi di 7 buah negara dan ISP statik di AS dan Vietnam, dengan nama pengguna dan kata laluan, tanpa had kuota dan satu pelanggan bagi setiap IP.

Semak harga langsung AS

Related articles

Proksi mengikut platform
Proksi untuk web scraping: kolam IP tetap dengan trafik tanpa had
Proksi web scraping untuk Python, Scrapy, Playwright dan Selenium: kolam alamat IPv4 peribadi dan ISP statik, lebar jalur tanpa had, harga tetap setiap IP.
Persediaan proksi
Pengesahsahihan proksi Playwright, satu IP statik setiap konteks
Berikan setiap konteks pelayar Playwright proksi HTTP(S) disahkan tersendiri dalam Node.js atau Python, padankan zon masa dan lokaliti, serta sahkan IP keluar.
Persediaan proksi
Permintaan Python melalui proksi dengan pengesahan, langkah demi langkah
Hantar permintaan Python melalui proksi HTTP(S) disahkan: bina dict proxies, sambung ke Session, enkod kata laluan ganjil, gilirkan senarai dan semak IP.
Persediaan proksi
Puppeteer dengan proksi disahkan: bendera pelancaran dan log masuk
Pengesahan proksi Puppeteer, contoh praktikal dahulu: --proxy-server untuk alamat, page.authenticate() untuk log masuk, diikuti SOCKS5, konteks dan pembaikan.
Proksi mengikut platform
Proksi untuk penjejakan kedudukan SEO: lihat halaman hasil carian yang dilihat pencari tempatan
Proksi jejak ranking SEO dengan IPv4 peribadi di AS, UK, Vietnam, Jepun dan 4 pasaran lagi agar kedudukan, pek tempatan serta iklan sepadan paparan tempatan.
Proksi mengikut platform
Proksi penjual Amazon yang memberikan alamat kekal kepada setiap akaun
Proksi penjual Amazon untuk Seller Central, KDP dan Merch: ISP statik AS atau IPv4 peribadi UK/Jepun setiap akaun, disewa khusus dan kekal semasa pembaharuan.
IPV4 · united states
Kumpulan Proksi IPv4 Peribadi AS untuk Pengikisan, Penjejakan Kedudukan dan Semakan Iklan
Beli proksi IPv4 peribadi AS: IP pusat data Amerika statik, satu pelanggan per IP, data tanpa had. Sesuai untuk pengikisan, jejak SERP & semakan iklan AS.
ISP · united states
Proksi ISP Statik AS: IP Berdaftar Kediaman yang Tidak Pernah Berubah
Proksi ISP statik AS pada IP penyedia internet pengguna. Satu IP tetap Amerika bagi setiap akaun untuk penjual Amazon, akaun iklan dan Instagram.