Selenium WebDriver dan proksi berpengesahan: apa yang berkesan
Oleh Pasukan Kejuruteraan ProxyV4 · Updated:
Pengesahan proksi Selenium memerlukan penyelesaian alternatif, kerana bendera --proxy-server=http://ip:port pada ChromeDriver tidak boleh membawa nama pengguna dan kata laluan; Chrome menggugurkan user:pass sebaris dan memaparkan dialog log masuk yang tidak dapat diisi oleh WebDriver. Dua kaedah penyelesaian yang boleh dipercayai ialah selenium-wire, yang mengendalikan log masuk ProxyV4 dalam Python, dan sambungan Chrome kecil yang membalas onAuthRequired dalam mana-mana bahasa Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IPUSD 1.85
- 3+ IPUSD 1.70
- 10+ IPUSD 1.60
- 25+ IPUSD 1.50
- 50+ IPUSD 1.40
- 100+ IPUSD 1.30
- 200+ IPUSD 1.20
- 500+ IPUSD 1.10
- 1 IPUSD 2.25
- 3+ IPUSD 2.10
- 10+ IPUSD 2.00
- 25+ IPUSD 1.90
- 50+ IPUSD 1.80
- 100+ IPUSD 1.70
- 200+ IPUSD 1.60
- 500+ IPUSD 1.50
Perbandingan pilihan
| Kaedah | Cara anda mengkonfigurasikannya | Sesuai untuk |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Laluan terpantas dalam Python; proksi boleh ditukar semasa pelayar dibuka |
| Sambungan pengesahan | Sambungan dizip dengan skrip latar belakang yang mengendalikan chrome.webRequest.onAuthRequired | Sesuai untuk Java, C#, Python serta undetected-chromedriver |
| Beralih ke Playwright | browser.newContext({ proxy: { server, username, password } }) | Projek baharu; log masuk proksi sedia terbina, tanpa sambungan |
Apa yang berlaku dengan --proxy-server biasa
Chrome mengambil alamat proksi daripada baris arahan tetapi mengabaikan sebarang kelayakan yang dimasukkan ke dalamnya. Apabila proksi membalas dengan 407, Chrome membuka gesaan log masuk natif. Gesaan tersebut berada di luar DOM halaman, jadi find_element tidak dapat mengesannya dan skrip akan menunggu sehingga tamat masa. Oleh itu, setiap kaedah yang berkesan membekalkan kelayakan di tempat lain selain daripada bendera tersebut.
Ambil perhatian bahawa selenium-wire tidak lagi diselenggara secara aktif. Ia masih berfungsi untuk banyak persediaan, tetapi bagi projek jangka panjang, pendekatan sambungan atau Playwright merupakan pilihan yang lebih selamat.
Mengekalkan kecekapan larian Selenium berproksi
- Tetapkan
options.page_load_strategy = 'eager'supaya skrip diteruskan sebaik sahaja DOM siap dan bukannya menunggu skrip pihak ketiga yang perlahan - Untuk larian headless pada Chrome 109 atau lebih baharu, gunakan
--headless=new; sambungan, termasuk sambungan pengesahan, berfungsi seperti dalam tetingkap biasa - Matikan pemuatan imej dalam keutamaan Chrome apabila anda hanya memerlukan teks seperti harga atau tajuk
- Letakkan
driver.quit()dalam bloktry / finallysupaya ranap sistem tidak meninggalkan proses Chrome di latar belakang
Sebelum anda meningkatkan skala
Setiap sesi WebDriver ialah pelayar yang lengkap, jadi berikan IP tersendiri kepada setiap sesi jika laman web memautkan akaun mengikut alamat. IPv4 peribadi ProxyV4 disewa kepada seorang pelanggan dan mengekalkan alamatnya apabila anda memperbaharuinya, sekali gus memastikan akaun ujian jangka panjang kekal pada IP yang sama. Jalankan proksi baharu melalui pemeriksa proksi terlebih dahulu supaya sambungan yang bermasalah tidak kelihatan sebagai ralat tamat masa Selenium yang mengelirukan.
Jika pelaksanaan masih membuka halaman daripada IP pelayan itu sendiri atau terhenti pada ralat terowong, bahagian Selenium dalam proksi tidak berfungsi menyenaraikan punca biasa mengikut urutan.
Langkah demi langkah
- 1
Pasang selenium-wire
Dalam persekitaran maya anda, jalankan
pip install selenium-wire. - 2
Huraikan proksi
Bina
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}daripada pesanan ProxyV4 anda. - 3
Mulakan Chrome dengan pilihan tersebut
Cipta pemacu dengan
driver = webdriver.Chrome(seleniumwire_options=sw_options), dengan mengimportwebdriverdaripadaseleniumwire. - 4
Semak IP keluar
Panggil
driver.get('https://proxyv4.com/api/my-ip')dan sahkan halaman memaparkan alamat proksi tersebut.
Soalan lazim
Mengapa --proxy-server=http://user:pass@ip:port diabaikan dalam ChromeOptions?
Secara reka bentuk, Chrome mengalih keluar kelayakan daripada nilai --proxy-server. Bekalkannya melalui selenium-wire, sambungan onAuthRequired, atau beralih ke Playwright, yang menerima nama pengguna dan kata laluan secara terus.
Bolehkah selenium-wire menukar proksi tanpa memulakan semula pelayar?
Ya. Tetapkan dict baharu, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, dan permintaan seterusnya akan menggunakan proksi huluan yang baharu.
Adakah sambungan pengesahan berfungsi dalam headless Chrome?
Ya, dengan --headless=new. Mod --headless lama tidak memuatkan sambungan dengan cara yang sama.
Selenium mengalami tamat masa pada setiap halaman melalui proksi. Apa langkah seterusnya?
Muatkan titik akhir IP dengan cURL menggunakan kelayakan yang sama. Jika cURL turut gagal, masalah berpunca daripada talian atau port; panduan tamat masa proksi menyenaraikan perkara yang perlu disemak.
Sumber
IP Stabil untuk Sesi Selenium
IPv4 peribadi di 7 buah negara dan ISP statik di AS dan Vietnam, dengan nama pengguna dan kata laluan, tanpa had kuota dan satu pelanggan bagi setiap IP.
Semak harga langsung AS