Selenium WebDriver và proxy có xác thực: các giải pháp hiệu quả
Bởi Đội ngũ Kỹ thuật ProxyV4 · Updated:
Xác thực proxy trong Selenium cần một giải pháp thay thế, bởi vì cờ --proxy-server=http://ip:port của ChromeDriver không thể mang username và password; Chrome sẽ loại bỏ user:pass nội dòng và hiển thị hộp thoại đăng nhập mà WebDriver không thể điền. Hai giải pháp đáng tin cậy là selenium-wire, thư viện xử lý đăng nhập ProxyV4 trong Python, và một extension Chrome nhỏ phản hồi sự kiện onAuthRequired trên mọi ngôn ngữ dùng Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP2,25 US$
- 3+ IP2,10 US$
- 10+ IP2,00 US$
- 25+ IP1,90 US$
- 50+ IP1,80 US$
- 100+ IP1,70 US$
- 200+ IP1,60 US$
- 500+ IP1,50 US$
So sánh các phương pháp
| Phương pháp | Cách cấu hình | Trường hợp phù hợp |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Cách nhanh nhất trong Python; có thể đổi proxy khi trình duyệt đang mở |
| Extension xác thực | Extension dạng zip có background script xử lý chrome.webRequest.onAuthRequired | Phù hợp như nhau cho Java, C#, Python và undetected-chromedriver |
| Chuyển sang Playwright | browser.newContext({ proxy: { server, username, password } }) | Dự án mới; đăng nhập proxy được tích hợp sẵn, không cần extension |
Điều gì xảy ra khi chỉ dùng --proxy-server
Chrome nhận địa chỉ proxy từ dòng lệnh nhưng bỏ qua mọi thông tin đăng nhập đi kèm. Khi proxy phản hồi 407, Chrome sẽ mở cửa sổ đăng nhập gốc của trình duyệt. Cửa sổ này nằm ngoài DOM của trang, do đó find_element không thể nhận diện được và script sẽ chờ cho đến khi hết thời gian chờ. Vì vậy, mọi phương pháp hoạt động được đều phải truyền thông tin xác thực qua một kênh khác ngoài cờ này.
Lưu ý rằng selenium-wire hiện không còn được duy trì tích cực. Thư viện này vẫn hoạt động tốt cho nhiều mô hình, nhưng với các dự án dài hạn, giải pháp dùng extension hoặc Playwright sẽ là lựa chọn an toàn hơn.
Tối ưu hiệu suất khi chạy Selenium qua proxy
- Đặt
options.page_load_strategy = 'eager'để script tiếp tục chạy ngay khi DOM đã sẵn sàng thay vì phải chờ các script bên thứ ba chậm chạp - Khi chạy headless trên Chrome 109 trở lên, hãy dùng
--headless=new; các extension, bao gồm cả extension xác thực, sẽ hoạt động như trong cửa sổ bình thường - Tắt tính năng tải hình ảnh trong cài đặt Chrome khi bạn chỉ cần dữ liệu văn bản như giá cả hoặc tiêu đề
- Đặt
driver.quit()trong khốitry / finallyđể sự cố sập script không để lại các tiến trình Chrome chạy ngầm
Trước khi mở rộng quy mô
Mỗi phiên WebDriver là một trình duyệt hoàn chỉnh, vì vậy hãy gán cho mỗi phiên một IP riêng nếu trang web liên kết tài khoản theo địa chỉ. IPv4 riêng của ProxyV4 chỉ được cho một khách hàng thuê và giữ nguyên địa chỉ khi gia hạn, giúp duy trì các tài khoản thử nghiệm dài hạn trên cùng một IP. Hãy kiểm tra proxy mới qua trình kiểm tra proxy trước để đường truyền lỗi không gây ra sự cố timeout khó hiểu trên Selenium.
Nếu một lượt chạy vẫn mở trang bằng chính IP của máy chủ hoặc dừng lại do lỗi tunnel, mục Selenium trong proxy không hoạt động sẽ liệt kê lần lượt các nguyên nhân phổ biến.
Từng bước thực hiện
- 1
Cài đặt selenium-wire
Trong môi trường ảo của bạn, chạy lệnh
pip install selenium-wire. - 2
Khai báo thông tin proxy
Tạo
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}từ đơn hàng ProxyV4 của bạn. - 3
Khởi động Chrome với các tùy chọn đó
Khởi tạo driver bằng
driver = webdriver.Chrome(seleniumwire_options=sw_options), importwebdrivertừseleniumwire. - 4
Kiểm tra IP đầu ra
Gọi
driver.get('https://proxyv4.com/api/my-ip')và xác nhận trang hiển thị đúng địa chỉ proxy.
Câu hỏi thường gặp
Vì sao --proxy-server=http://user:pass@ip:port bị bỏ qua trong ChromeOptions?
Theo thiết kế, Chrome sẽ loại bỏ thông tin đăng nhập khỏi giá trị --proxy-server. Hãy cung cấp thông tin qua selenium-wire, một extension onAuthRequired, hoặc chuyển sang Playwright, công cụ hỗ trợ trực tiếp username và password.
selenium-wire có thể đổi proxy mà không cần khởi động lại trình duyệt không?
Có. Chỉ cần gán một dict mới, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, và các request tiếp theo sẽ sử dụng proxy upstream mới.
Extension xác thực có hoạt động trong Chrome headless không?
Có, khi sử dụng --headless=new. Chế độ --headless cũ trước đây không tải extension theo cách này.
Selenium bị timeout trên mọi trang khi đi qua proxy. Cần làm gì tiếp theo?
Hãy tải endpoint kiểm tra IP bằng cURL với cùng thông tin đăng nhập đó. Nếu cURL cũng thất bại, nguyên nhân là do đường truyền hoặc cổng kết nối; hướng dẫn xử lý timeout proxy sẽ liệt kê các bước cần kiểm tra.
Nguồn tham khảo
IP ổn định cho các phiên Selenium
IPv4 riêng tư tại 7 quốc gia và ISP tĩnh tại Mỹ và Việt Nam, có user và password, không giới hạn băng thông và một khách hàng mỗi IP.
Xem giá Mỹ trực tiếp