Selenium WebDriver dan proxy terautentikasi: solusi yang berhasil
Oleh Tim Engineering ProxyV4 · Updated:
Autentikasi proxy Selenium memerlukan solusi alternatif, karena flag --proxy-server=http://ip:port pada ChromeDriver tidak dapat memuat username dan password; Chrome menghapus user:pass sebaris dan menampilkan dialog login yang tidak dapat diisi oleh WebDriver. Dua solusi andal yang dapat digunakan adalah selenium-wire, yang menangani login ProxyV4 di Python, dan ekstensi Chrome kecil yang merespons onAuthRequired dalam bahasa Selenium apa pun.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IPUS$1,85
- 3+ IPUS$1,70
- 10+ IPUS$1,60
- 25+ IPUS$1,50
- 50+ IPUS$1,40
- 100+ IPUS$1,30
- 200+ IPUS$1,20
- 500+ IPUS$1,10
- 1 IPUS$2,25
- 3+ IPUS$2,10
- 10+ IPUS$2,00
- 25+ IPUS$1,90
- 50+ IPUS$1,80
- 100+ IPUS$1,70
- 200+ IPUS$1,60
- 500+ IPUS$1,50
Perbandingan opsi
| Metode | Cara mengonfigurasinya | Paling cocok untuk |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Cara tercepat di Python; proxy dapat diubah saat browser sedang berjalan |
| Ekstensi autentikasi | Ekstensi berformat zip dengan skrip latar belakang yang menangani chrome.webRequest.onAuthRequired | Cocok untuk Java, C#, Python, maupun undetected-chromedriver |
| Beralih ke Playwright | browser.newContext({ proxy: { server, username, password } }) | Proyek baru; login proxy sudah terintegrasi bawaan, tanpa ekstensi |
Apa yang terjadi jika hanya menggunakan --proxy-server
Chrome mengambil alamat proxy dari command line tetapi mengabaikan kredensial apa pun yang ditulis di dalamnya. Ketika proxy merespons 407, Chrome membuka dialog login bawaan. Dialog tersebut berada di luar DOM halaman, sehingga find_element tidak dapat mendeteksinya dan skrip menunggu hingga batas waktu berakhir. Oleh karena itu, semua metode yang berfungsi memasukkan kredensial melalui cara lain di luar flag tersebut.
Perlu diperhatikan bahwa selenium-wire sudah tidak lagi dikelola secara aktif. Paket ini masih berfungsi untuk banyak konfigurasi, tetapi untuk proyek jangka panjang, pendekatan ekstensi atau Playwright merupakan pilihan yang lebih aman.
Menjaga eksekusi Selenium dengan proxy tetap efisien
- Atur
options.page_load_strategy = 'eager'agar skrip langsung berlanjut begitu DOM siap, alih-alih menunggu skrip pihak ketiga yang lambat - Untuk eksekusi headless pada Chrome 109 atau yang lebih baru, gunakan
--headless=new; ekstensi, termasuk ekstensi autentikasi, akan bekerja seperti pada jendela normal - Nonaktifkan pemuatan gambar di preferensi Chrome jika Anda hanya memerlukan data teks seperti harga atau judul
- Tempatkan
driver.quit()di dalam bloktry / finallyagar crash tidak meninggalkan sisa proses Chrome
Sebelum Anda meningkatkan skala
Setiap sesi WebDriver merupakan peramban lengkap, jadi berikan IP tersendiri untuk setiap sesi jika situs menautkan akun berdasarkan alamat. IPv4 privat ProxyV4 disewakan kepada satu pelanggan dan mempertahankan alamatnya saat Anda memperpanjang langganan, sehingga akun pengujian jangka panjang tetap menggunakan IP yang sama. Uji proxy baru melalui pengecek proxy terlebih dahulu agar koneksi yang bermasalah tidak muncul sebagai timeout Selenium yang membingungkan.
Jika proses masih membuka halaman dari IP milik server atau terhenti karena error tunnel, bagian Selenium pada proxy tidak berfungsi mencantumkan penyebab umumnya secara berurutan.
Langkah demi langkah
- 1
Instal selenium-wire
Di virtual environment Anda, jalankan
pip install selenium-wire. - 2
Tentukan konfigurasi proxy
Susun
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}dari detail pesanan ProxyV4 Anda. - 3
Mulai Chrome dengan opsi tersebut
Buat driver dengan
driver = webdriver.Chrome(seleniumwire_options=sw_options), dengan mengimporwebdriverdariseleniumwire. - 4
Periksa IP keluar
Panggil
driver.get('https://proxyv4.com/api/my-ip')dan pastikan halaman menampilkan alamat proxy tersebut.
Pertanyaan yang sering diajukan
Mengapa --proxy-server=http://user:pass@ip:port diabaikan di ChromeOptions?
Secara sengaja, Chrome menghapus kredensial dari nilai --proxy-server. Berikan kredensial melalui selenium-wire, ekstensi onAuthRequired, atau beralih ke Playwright yang mendukung username dan password secara langsung.
Bisakah selenium-wire mengganti proxy tanpa memulai ulang browser?
Bisa. Cukup tetapkan dict baru, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, dan permintaan berikutnya akan menggunakan proxy upstream yang baru.
Apakah ekstensi autentikasi berfungsi di Chrome headless?
Ya, dengan --headless=new. Mode --headless yang lama tidak memuat ekstensi dengan cara yang sama.
Selenium mengalami timeout di setiap halaman saat menggunakan proxy. Apa yang harus dilakukan?
Akses endpoint IP dengan cURL menggunakan kredensial yang sama. Jika cURL juga gagal, kendalanya ada pada jaringan atau port; panduan timeout proxy merinci hal-hal yang perlu diperiksa.
Sumber
IP stabil untuk sesi Selenium
IPv4 privat di 7 negara dan ISP statis di AS dan Vietnam, dengan username dan password, tanpa batas kuota dan satu pelanggan per IP.
Cek harga AS terkini