Selenium WebDriver 与代理认证:切实可行的解决方案

· Updated:

Selenium 代理认证需要变通方案,因为 ChromeDriver 的 --proxy-server=http://ip:port 参数无法携带用户名和密码;Chrome 会丢弃内联的 user:pass 并弹出 WebDriver 无法填写的登录对话框。目前有两种可靠的解决方法:一种是使用在 Python 中处理 ProxyV4 登录的 selenium-wire,另一种则是使用可在任何 Selenium 支持语言中响应 onAuthRequired 的轻量 Chrome 扩展。

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
独享 IPv4(数据中心)
🇺🇸 美国
有货
起
US$1.10 / IP / 月
批量阶梯折扣
  • 1 个 IPUS$1.85
  • 3+ 个 IPUS$1.70
  • 10+ 个 IPUS$1.60
  • 25+ 个 IPUS$1.50
  • 50+ 个 IPUS$1.40
  • 100+ 个 IPUS$1.30
  • 200+ 个 IPUS$1.20
  • 500+ 个 IPUS$1.10
购买 美国
静态住宅 ISP
🇺🇸 美国
有货
起
US$1.50 / IP / 月
批量阶梯折扣
  • 1 个 IPUS$2.25
  • 3+ 个 IPUS$2.10
  • 10+ 个 IPUS$2.00
  • 25+ 个 IPUS$1.90
  • 50+ 个 IPUS$1.80
  • 100+ 个 IPUS$1.70
  • 200+ 个 IPUS$1.60
  • 500+ 个 IPUS$1.50
购买 美国

方案对比

方法配置方式适用场景
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Python 中最快捷的途径;可在浏览器运行期间动态更换代理
认证扩展一个 zip 格式扩展,其后台脚本负责处理 chrome.webRequest.onAuthRequired同样适用于 Java、C#、Python 以及 undetected-chromedriver
迁移至 Playwrightbrowser.newContext({ proxy: { server, username, password } })新项目;内置代理登录支持,无需扩展

直接使用 --proxy-server 会发生什么

Chrome 会读取命令行中的代理地址,但会忽略其中包含的任何凭据。当代理返回 407 时,Chrome 会弹出原生登录提示框。该提示框位于页面 DOM 之外,因此 find_element 无法获取到它,脚本将一直等待直至超时。所以,所有可行的方案都需要通过启动参数以外的方式提供认证凭据。

请注意,selenium-wire 已不再积极维护。它在很多环境下仍可正常运行,但对于长期维护的项目,采用扩展方案或 Playwright 是更稳妥的选择。

保持带代理的 Selenium 高效运行

  • 设置 options.page_load_strategy = 'eager',使脚本在 DOM 就绪后立即继续执行,而无需等待缓慢的第三方脚本加载
  • 在 Chrome 109 或更高版本中进行无头运行时使用 --headless=new;包括认证扩展在内的各类扩展都能像在普通窗口中一样正常工作
  • 如果只需要价格或标题等文本内容,可在 Chrome 首选项中关闭图片加载
  • 将 driver.quit() 放入 try / finally 块中,防止崩溃后残留后台 Chrome 进程

在扩大规模之前

每个 WebDriver 会话都是一个独立的完整浏览器,因此若网站会根据地址关联账号,请为每个会话分配独立的 IP。ProxyV4 独享 IPv4 仅供单个客户租用,续费时保留原地址,可确保长期运行的测试账号始终使用相同 IP。建议先使用代理检测工具测试新代理,避免因线路故障引发令人困惑的 Selenium 超时。

如果运行时打开的页面仍显示服务器自身的 IP,或因隧道错误而中断,代理无法正常工作中的 Selenium 部分已按排查顺序列出了常见原因。

操作步骤

  1. 1

    安装 selenium-wire

    在虚拟环境中运行 pip install selenium-wire。

  2. 2

    配置代理信息

    根据你的 ProxyV4 订单信息构建 sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}。

  3. 3

    使用该配置启动 Chrome

    从 seleniumwire 中导入 webdriver,并通过 driver = webdriver.Chrome(seleniumwire_options=sw_options) 创建驱动。

  4. 4

    检查出口 IP

    调用 driver.get('https://proxyv4.com/api/my-ip') 并确认页面显示代理 IP 地址。

常见问题

为什么 ChromeOptions 中的 --proxy-server=http://user:pass@ip:port 会被忽略?

Chrome 在设计上会主动移除 --proxy-server 参数中的认证凭据。请通过 selenium-wire、onAuthRequired 扩展提供凭据,或改用原生支持直接传入用户名和密码的 Playwright。

selenium-wire 能否在不重启浏览器的情况下更换代理?

可以。只需赋值新的字典 driver.proxy = {'http': 'http://...', 'https': 'http://...'},后续请求就会使用新的上游代理。

认证扩展在无头模式的 Chrome 中可以使用吗?

可以,需配合 --headless=new 使用。旧版的 --headless 模式加载扩展的机制有所不同。

通过代理访问时 Selenium 在每个页面都超时,下一步该怎么做?

使用相同的凭据通过 curl 请求 IP 查询接口。如果 curl 也失败,则说明线路或端口存在问题;代理超时排查指南列出了具体的排查步骤。

来源

适用于 Selenium 会话的稳定 IP

覆盖 7 个国家的独享 IPv4 以及美国和越南的静态 ISP 代理,支持用户名和密码认证,不限流量且单人独享单一 IP。

查看美国实时价格

Related articles

按平台选择代理
网页抓取专属代理:不限流量的固定 IP 池
适用于 Python、Scrapy、Playwright 和 Selenium 的网页抓取代理:独享 IPv4 与静态 ISP 地址池,无限流量,按 IP 统一定价。
代理配置
Playwright 代理身份认证:每个上下文独享独立静态 IP
在 Node.js 或 Python 中为每个 Playwright 浏览器上下文配置独立的 HTTP(S) 认证代理,使时区与语言环境匹配对应 IP,并验证实际出口地址。
代理配置
分步指南:通过带认证的代理发送 Python requests 请求
通过带认证的 HTTP(S) 代理发送 Python 请求:构建 proxies 字典、绑定至 Session、对特殊密码编码、轮询代理列表并验证出口 IP。
代理配置
带认证代理的 Puppeteer 配置:启动参数加登录验证
Puppeteer 代理认证实践示例:使用 --proxy-server 设置地址,通过 page.authenticate() 验证登录,并介绍 SOCKS5、多上下文配置与错误修复。
按平台选择代理
用于SEO排名监控的代理:还原当地搜索者的真实结果页
提供美国、英国、越南、日本等7个市场的独享IPv4 SEO排名监控代理,确保自然排名、本地搜索包(Local Pack)和广告投放与当地搜索结果完全一致。
按平台选择代理
为每个账号提供固定独立地址的亚马逊卖家代理
专为 Seller Central、KDP 与 Merch 打造的亚马逊卖家代理:每账号独享美国静态 ISP 或英国/日本独享 IPv4,一客一租,续费始终保留原 IP。
IPV4 · united states
美国独享 IPv4 代理池:适用于数据抓取、排名追踪与广告核查
购买美国独享 IPv4 代理:静态美国数据中心 IP,单人专享,无限流量。专为数据采集、SERP 排名追踪与美国广告投放检查打造。
ISP · united states
美国静态 ISP 代理:永不变更的家庭住宅注册 IP
注册在民用互联网服务商名下的美国静态ISP代理。每账号独立独享一个固定美国IP,专为亚马逊卖家、广告账户及Instagram业务打造。