Selenium WebDriver dan proxy terautentikasi: solusi yang berhasil

· Updated:

Autentikasi proxy Selenium memerlukan solusi alternatif, karena flag --proxy-server=http://ip:port pada ChromeDriver tidak dapat memuat username dan password; Chrome menghapus user:pass sebaris dan menampilkan dialog login yang tidak dapat diisi oleh WebDriver. Dua solusi andal yang dapat digunakan adalah selenium-wire, yang menangani login ProxyV4 di Python, dan ekstensi Chrome kecil yang merespons onAuthRequired dalam bahasa Selenium apa pun.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
IPv4 privat (datacenter)
🇺🇸 Amerika Serikat
Tersedia
Mulai dari
US$1,10 / IP / bulan
Diskon jumlah pembelian
  • 1 IPUS$1,85
  • 3+ IPUS$1,70
  • 10+ IPUS$1,60
  • 25+ IPUS$1,50
  • 50+ IPUS$1,40
  • 100+ IPUS$1,30
  • 200+ IPUS$1,20
  • 500+ IPUS$1,10
Beli Amerika Serikat
ISP residensial statis
🇺🇸 Amerika Serikat
Tersedia
Mulai dari
US$1,50 / IP / bulan
Diskon jumlah pembelian
  • 1 IPUS$2,25
  • 3+ IPUS$2,10
  • 10+ IPUS$2,00
  • 25+ IPUS$1,90
  • 50+ IPUS$1,80
  • 100+ IPUS$1,70
  • 200+ IPUS$1,60
  • 500+ IPUS$1,50
Beli Amerika Serikat

Perbandingan opsi

MetodeCara mengonfigurasinyaPaling cocok untuk
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Cara tercepat di Python; proxy dapat diubah saat browser sedang berjalan
Ekstensi autentikasiEkstensi berformat zip dengan skrip latar belakang yang menangani chrome.webRequest.onAuthRequiredCocok untuk Java, C#, Python, maupun undetected-chromedriver
Beralih ke Playwrightbrowser.newContext({ proxy: { server, username, password } })Proyek baru; login proxy sudah terintegrasi bawaan, tanpa ekstensi

Apa yang terjadi jika hanya menggunakan --proxy-server

Chrome mengambil alamat proxy dari command line tetapi mengabaikan kredensial apa pun yang ditulis di dalamnya. Ketika proxy merespons 407, Chrome membuka dialog login bawaan. Dialog tersebut berada di luar DOM halaman, sehingga find_element tidak dapat mendeteksinya dan skrip menunggu hingga batas waktu berakhir. Oleh karena itu, semua metode yang berfungsi memasukkan kredensial melalui cara lain di luar flag tersebut.

Perlu diperhatikan bahwa selenium-wire sudah tidak lagi dikelola secara aktif. Paket ini masih berfungsi untuk banyak konfigurasi, tetapi untuk proyek jangka panjang, pendekatan ekstensi atau Playwright merupakan pilihan yang lebih aman.

Menjaga eksekusi Selenium dengan proxy tetap efisien

  • Atur options.page_load_strategy = 'eager' agar skrip langsung berlanjut begitu DOM siap, alih-alih menunggu skrip pihak ketiga yang lambat
  • Untuk eksekusi headless pada Chrome 109 atau yang lebih baru, gunakan --headless=new; ekstensi, termasuk ekstensi autentikasi, akan bekerja seperti pada jendela normal
  • Nonaktifkan pemuatan gambar di preferensi Chrome jika Anda hanya memerlukan data teks seperti harga atau judul
  • Tempatkan driver.quit() di dalam blok try / finally agar crash tidak meninggalkan sisa proses Chrome

Sebelum Anda meningkatkan skala

Setiap sesi WebDriver merupakan peramban lengkap, jadi berikan IP tersendiri untuk setiap sesi jika situs menautkan akun berdasarkan alamat. IPv4 privat ProxyV4 disewakan kepada satu pelanggan dan mempertahankan alamatnya saat Anda memperpanjang langganan, sehingga akun pengujian jangka panjang tetap menggunakan IP yang sama. Uji proxy baru melalui pengecek proxy terlebih dahulu agar koneksi yang bermasalah tidak muncul sebagai timeout Selenium yang membingungkan.

Jika proses masih membuka halaman dari IP milik server atau terhenti karena error tunnel, bagian Selenium pada proxy tidak berfungsi mencantumkan penyebab umumnya secara berurutan.

Langkah demi langkah

  1. 1

    Instal selenium-wire

    Di virtual environment Anda, jalankan pip install selenium-wire.

  2. 2

    Tentukan konfigurasi proxy

    Susun sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} dari detail pesanan ProxyV4 Anda.

  3. 3

    Mulai Chrome dengan opsi tersebut

    Buat driver dengan driver = webdriver.Chrome(seleniumwire_options=sw_options), dengan mengimpor webdriver dari seleniumwire.

  4. 4

    Periksa IP keluar

    Panggil driver.get('https://proxyv4.com/api/my-ip') dan pastikan halaman menampilkan alamat proxy tersebut.

Pertanyaan yang sering diajukan

Mengapa --proxy-server=http://user:pass@ip:port diabaikan di ChromeOptions?

Secara sengaja, Chrome menghapus kredensial dari nilai --proxy-server. Berikan kredensial melalui selenium-wire, ekstensi onAuthRequired, atau beralih ke Playwright yang mendukung username dan password secara langsung.

Bisakah selenium-wire mengganti proxy tanpa memulai ulang browser?

Bisa. Cukup tetapkan dict baru, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, dan permintaan berikutnya akan menggunakan proxy upstream yang baru.

Apakah ekstensi autentikasi berfungsi di Chrome headless?

Ya, dengan --headless=new. Mode --headless yang lama tidak memuat ekstensi dengan cara yang sama.

Selenium mengalami timeout di setiap halaman saat menggunakan proxy. Apa yang harus dilakukan?

Akses endpoint IP dengan cURL menggunakan kredensial yang sama. Jika cURL juga gagal, kendalanya ada pada jaringan atau port; panduan timeout proxy merinci hal-hal yang perlu diperiksa.

Sumber

IP stabil untuk sesi Selenium

IPv4 privat di 7 negara dan ISP statis di AS dan Vietnam, dengan username dan password, tanpa batas kuota dan satu pelanggan per IP.

Cek harga AS terkini

Related articles

Proxy per platform
Proksi untuk web scraping: pool IP tetap dengan lalu lintas tanpa batas
Proksi web scraping untuk Python, Scrapy, Playwright, dan Selenium: pool alamat IPv4 privat dan ISP statis, bandwidth tanpa batas, harga flat per IP.
Setup proxy
Autentikasi proxy Playwright, satu IP statis per context
Beri setiap browser context Playwright proxy HTTP(S) terautentikasi di Node.js atau Python, sesuaikan zona waktu dan lokal dengan IP, lalu cek alamat keluar.
Setup proxy
Request Python melalui proxy berautentikasi, langkah demi langkah
Kirim request Python via proxy HTTP(S) berautentikasi: buat dict proxies, pasang ke Session, encode password khusus, rotasi daftar, dan periksa IP.
Setup proxy
Puppeteer dengan proxy terautentikasi: launch flag plus login
Autentikasi proxy Puppeteer, contoh kerja: --proxy-server untuk alamat, page.authenticate() untuk login, lalu SOCKS5, context, serta solusi kendalanya.
Proxy per platform
Proxy untuk pelacakan rank SEO: lihat halaman hasil seperti pencari lokal
Proxy pelacakan rank SEO dengan IPv4 privat di AS, Inggris, Vietnam, Jepang, dan 4 pasar lain agar peringkat, local pack, dan iklan sesuai tampilan lokal.
Proxy per platform
Proxy seller Amazon yang memberikan alamat permanen untuk setiap akun
Proxy Amazon seller untuk Seller Central, KDP & Merch: ISP statis US atau IPv4 privat UK/Jepang per akun, khusus untuk Anda dan tetap sama saat diperpanjang.
IPV4 · united states
Pool Proxy IPv4 Privat AS untuk Scraping, Pelacakan Peringkat, dan Pengecekan Iklan
Beli proxy IPv4 privat AS: IP datacenter statis Amerika, satu pengguna per IP, bandwidth tanpa batas. Dibuat untuk scraping, pelacakan SERP, dan cek iklan AS.
ISP · united states
Proxy ISP Statis AS: IP Terdaftar Rumahan yang Tidak Pernah Berubah
Proxy ISP statis AS dengan IP terdaftar di penyedia internet konsumen. Satu IP Amerika tetap per akun untuk seller Amazon, akun iklan, dan Instagram.