Selenium WebDriver 与代理认证:切实可行的解决方案
由 ProxyV4 工程团队撰写 · Updated:
Selenium 代理认证需要变通方案,因为 ChromeDriver 的 --proxy-server=http://ip:port 参数无法携带用户名和密码;Chrome 会丢弃内联的 user:pass 并弹出 WebDriver 无法填写的登录对话框。目前有两种可靠的解决方法:一种是使用在 Python 中处理 ProxyV4 登录的 selenium-wire,另一种则是使用可在任何 Selenium 支持语言中响应 onAuthRequired 的轻量 Chrome 扩展。
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 个 IPUS$1.85
- 3+ 个 IPUS$1.70
- 10+ 个 IPUS$1.60
- 25+ 个 IPUS$1.50
- 50+ 个 IPUS$1.40
- 100+ 个 IPUS$1.30
- 200+ 个 IPUS$1.20
- 500+ 个 IPUS$1.10
- 1 个 IPUS$2.25
- 3+ 个 IPUS$2.10
- 10+ 个 IPUS$2.00
- 25+ 个 IPUS$1.90
- 50+ 个 IPUS$1.80
- 100+ 个 IPUS$1.70
- 200+ 个 IPUS$1.60
- 500+ 个 IPUS$1.50
方案对比
| 方法 | 配置方式 | 适用场景 |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Python 中最快捷的途径;可在浏览器运行期间动态更换代理 |
| 认证扩展 | 一个 zip 格式扩展,其后台脚本负责处理 chrome.webRequest.onAuthRequired | 同样适用于 Java、C#、Python 以及 undetected-chromedriver |
| 迁移至 Playwright | browser.newContext({ proxy: { server, username, password } }) | 新项目;内置代理登录支持,无需扩展 |
直接使用 --proxy-server 会发生什么
Chrome 会读取命令行中的代理地址,但会忽略其中包含的任何凭据。当代理返回 407 时,Chrome 会弹出原生登录提示框。该提示框位于页面 DOM 之外,因此 find_element 无法获取到它,脚本将一直等待直至超时。所以,所有可行的方案都需要通过启动参数以外的方式提供认证凭据。
请注意,selenium-wire 已不再积极维护。它在很多环境下仍可正常运行,但对于长期维护的项目,采用扩展方案或 Playwright 是更稳妥的选择。
保持带代理的 Selenium 高效运行
- 设置
options.page_load_strategy = 'eager',使脚本在 DOM 就绪后立即继续执行,而无需等待缓慢的第三方脚本加载 - 在 Chrome 109 或更高版本中进行无头运行时使用
--headless=new;包括认证扩展在内的各类扩展都能像在普通窗口中一样正常工作 - 如果只需要价格或标题等文本内容,可在 Chrome 首选项中关闭图片加载
- 将
driver.quit()放入try / finally块中,防止崩溃后残留后台 Chrome 进程
在扩大规模之前
每个 WebDriver 会话都是一个独立的完整浏览器,因此若网站会根据地址关联账号,请为每个会话分配独立的 IP。ProxyV4 独享 IPv4 仅供单个客户租用,续费时保留原地址,可确保长期运行的测试账号始终使用相同 IP。建议先使用代理检测工具测试新代理,避免因线路故障引发令人困惑的 Selenium 超时。
如果运行时打开的页面仍显示服务器自身的 IP,或因隧道错误而中断,代理无法正常工作中的 Selenium 部分已按排查顺序列出了常见原因。
操作步骤
- 1
安装 selenium-wire
在虚拟环境中运行
pip install selenium-wire。 - 2
配置代理信息
根据你的 ProxyV4 订单信息构建
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}。 - 3
使用该配置启动 Chrome
从
seleniumwire中导入webdriver,并通过driver = webdriver.Chrome(seleniumwire_options=sw_options)创建驱动。 - 4
检查出口 IP
调用
driver.get('https://proxyv4.com/api/my-ip')并确认页面显示代理 IP 地址。
常见问题
为什么 ChromeOptions 中的 --proxy-server=http://user:pass@ip:port 会被忽略?
Chrome 在设计上会主动移除 --proxy-server 参数中的认证凭据。请通过 selenium-wire、onAuthRequired 扩展提供凭据,或改用原生支持直接传入用户名和密码的 Playwright。
selenium-wire 能否在不重启浏览器的情况下更换代理?
可以。只需赋值新的字典 driver.proxy = {'http': 'http://...', 'https': 'http://...'},后续请求就会使用新的上游代理。
认证扩展在无头模式的 Chrome 中可以使用吗?
可以,需配合 --headless=new 使用。旧版的 --headless 模式加载扩展的机制有所不同。
通过代理访问时 Selenium 在每个页面都超时,下一步该怎么做?
使用相同的凭据通过 curl 请求 IP 查询接口。如果 curl 也失败,则说明线路或端口存在问题;代理超时排查指南列出了具体的排查步骤。
来源
适用于 Selenium 会话的稳定 IP
覆盖 7 个国家的独享 IPv4 以及美国和越南的静态 ISP 代理,支持用户名和密码认证,不限流量且单人独享单一 IP。
查看美国实时价格