分步指南:通过带认证的代理发送 Python requests 请求

· Updated:

要在 Python requests 中使用代理,只需传入一个 proxies 字典,让其 'http' 与 'https' 键均指向 http://user:pass@ip:port。将该字典挂载到 requests.Session() 上,即可在每次请求中复用到代理的同一连接,这比逐个请求建立新连接更快。下文将详解:字典配置、Session 会话、常见错误排查,以及一行代码验证 ProxyV4 出口 IP。

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
独享 IPv4(数据中心)
🇺🇸 美国
有货
起
US$1.10 / IP / 月
批量阶梯折扣
  • 1 个 IPUS$1.85
  • 3+ 个 IPUS$1.70
  • 10+ 个 IPUS$1.60
  • 25+ 个 IPUS$1.50
  • 50+ 个 IPUS$1.40
  • 100+ 个 IPUS$1.30
  • 200+ 个 IPUS$1.20
  • 500+ 个 IPUS$1.10
购买 美国
独享 IPv4(数据中心)
🇻🇳 越南
有货
起
US$1.10 / IP / 月
批量阶梯折扣
  • 1 个 IPUS$1.85
  • 3+ 个 IPUS$1.70
  • 10+ 个 IPUS$1.60
  • 25+ 个 IPUS$1.50
  • 50+ 个 IPUS$1.40
  • 100+ 个 IPUS$1.30
  • 200+ 个 IPUS$1.20
  • 500+ 个 IPUS$1.10
购买 越南

详解 proxies 字典

配置项值说明
'http' 键'http://user:pass@ip:port'用于普通的 http:// 目标 URL
'https' 键'http://user:pass@ip:port'仍为 http:// 代理 URL:urllib3 会向代理请求 CONNECT 隧道并在其内部运行 TLS
timeouttimeout=(5, 15)5 秒连接,15 秒读取,防止失效目标卡死线程
轮询itertools.cycle(proxy_list)依次轮流分发你的静态 IP

为什么 Session 优于直接调用 requests.get()

每次顶层调用 requests.get() 都会新建一个连接池,导致每次都需重复与代理建立 TCP 连接并与目标网站进行 TLS 握手。而 Session 可以在各次调用之间保持连接活跃。对于通过单个 IP 抓取数百个页面的脚本,这种差异会在总运行耗时中明显体现出来。

只需设置一次 s.proxies.update(proxies),后续所有 s.get() 和 s.post() 都会走该代理。需要注意一点:如果环境变量中设置了 HTTP_PROXY 或 HTTPS_PROXY,requests 可能会将其与 Session 设置合并;若需明确指定生效的代理,请在调用方法时直接传入 proxies= 参数。

常见错误及其含义

  • 出现带 407 Proxy Authentication Required 的 ProxyError:代理网络可达,但 URL 中的登录凭据与订单不符。详情请参见 407 错误页面
  • 包含 @、: 或 / 的密码会破坏 URL 结构;请先使用 urllib.parse.quote(password, safe='') 进行编码
  • 将代理 URL 改为 https:// 通常会导致连接中断;除非你的代理端口明确是 TLS 端口,否则两个键均请保留 http://
  • ConnectTimeout 表示 IP 或端口问题,与账号凭据无关;请使用 端口检测工具 测试连通性

httpx 和 aiohttp 中的相同用法

URL 格式完全通用。在 httpx 中,创建 httpx.Client(proxy='http://user:pass@ip:port');在 aiohttp 中,向 session.get(url, proxy=...) 传入 proxy=。涉及任务调度与重试的大型爬网任务,通常使用 Scrapy 会更轻松。

操作步骤

  1. 1

    构建代理 URL

    将每行 ProxyV4 的 ip:port:user:pass 改写为 http://user:pass@ip:port,或使用 代理格式转换器 批量转换整个列表。

  2. 2

    创建字典

    编写 proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}。

  3. 3

    绑定至 Session

    创建 s = requests.Session() 并调用 s.proxies.update(proxies),以便在各请求之间保持长连接。

  4. 4

    打印出口 IP

    运行 print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json());输出中的 IP 应该为代理的 IP。

常见问题

为什么 'https' 项也是 http:// URL?

该协议头描述的是 Python 与代理服务器之间的通信协议,而非与目标网站的通信协议。urllib3 通过普通 HTTP 连接至代理服务器并发送 CONNECT 命令,随后通过该隧道与 https:// 目标网站建立 TLS 连接,因此页面流量依然是全程加密的。

如何将请求分发到 25 个静态代理上?

将这 25 个 URL 放入列表中,创建 pool = itertools.cycle(PROXIES),并在每次请求时获取 p = next(pool) 并传入 proxies={'http': p, 'https': p}。每个 IP 之间设置合理的请求间隔,避免单个地址遭受高频高并发冲击。

Python 脚本产生的流量会计费或限额吗?

不计费/不限额。ProxyV4 独享 IPv4 和静态 ISP 套餐均提供不限流量,长时间运行脚本无需担心触及流量上限。

来源

适用于 Python 脚本的静态 IP 池

涵盖 7 个国家的独享 IPv4 以及美国和越南的静态 ISP。支持单买或批量选购;单 IP 价格随购买数量递减。

查看美国实时价格

Related articles

按平台选择代理
网页抓取专属代理:不限流量的固定 IP 池
适用于 Python、Scrapy、Playwright 和 Selenium 的网页抓取代理:独享 IPv4 与静态 ISP 地址池,无限流量,按 IP 统一定价。
代理配置
Playwright 代理身份认证:每个上下文独享独立静态 IP
在 Node.js 或 Python 中为每个 Playwright 浏览器上下文配置独立的 HTTP(S) 认证代理,使时区与语言环境匹配对应 IP,并验证实际出口地址。
代理配置
Scrapy代理:meta['proxy']、中间件顺序与轮换
在Scrapy中使用带认证的HTTP(S)代理:设置request.meta['proxy'],将中间件顺序排在HttpProxyMiddleware(750)之前,轮换IP并把控爬取节奏。
免费工具
将代理列表转换为工具所需的格式
在浏览器中批量转换代理列表,支持 ip:port:user:pass、user:pass@ip:port、http:// URL、SOCKS5 URI、JSON 数组与 FoxyProxy 导入格式。
按平台选择代理
用于SEO排名监控的代理:还原当地搜索者的真实结果页
提供美国、英国、越南、日本等7个市场的独享IPv4 SEO排名监控代理,确保自然排名、本地搜索包(Local Pack)和广告投放与当地搜索结果完全一致。
按平台选择代理
为每个账号提供固定独立地址的亚马逊卖家代理
专为 Seller Central、KDP 与 Merch 打造的亚马逊卖家代理:每账号独享美国静态 ISP 或英国/日本独享 IPv4,一客一租,续费始终保留原 IP。
IPV4 · united states
美国独享 IPv4 代理池:适用于数据抓取、排名追踪与广告核查
购买美国独享 IPv4 代理:静态美国数据中心 IP,单人专享,无限流量。专为数据采集、SERP 排名追踪与美国广告投放检查打造。
IPV4 · vietnam
越南独享 IPv4 代理:支持大批量使用,单账户专享固定 IP
越南独享IPv4代理:静态越南机房IP,单人独享,批量订购价格更优。专为社交账号养号拓客、Shopee副店运营及自动化工具打造,稳定高效。