分步指南:通过带认证的代理发送 Python requests 请求
由 ProxyV4 工程团队撰写 · Updated:
要在 Python requests 中使用代理,只需传入一个 proxies 字典,让其 'http' 与 'https' 键均指向 http://user:pass@ip:port。将该字典挂载到 requests.Session() 上,即可在每次请求中复用到代理的同一连接,这比逐个请求建立新连接更快。下文将详解:字典配置、Session 会话、常见错误排查,以及一行代码验证 ProxyV4 出口 IP。
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 个 IPUS$1.85
- 3+ 个 IPUS$1.70
- 10+ 个 IPUS$1.60
- 25+ 个 IPUS$1.50
- 50+ 个 IPUS$1.40
- 100+ 个 IPUS$1.30
- 200+ 个 IPUS$1.20
- 500+ 个 IPUS$1.10
- 1 个 IPUS$1.85
- 3+ 个 IPUS$1.70
- 10+ 个 IPUS$1.60
- 25+ 个 IPUS$1.50
- 50+ 个 IPUS$1.40
- 100+ 个 IPUS$1.30
- 200+ 个 IPUS$1.20
- 500+ 个 IPUS$1.10
详解 proxies 字典
| 配置项 | 值 | 说明 |
|---|---|---|
'http' 键 | 'http://user:pass@ip:port' | 用于普通的 http:// 目标 URL |
'https' 键 | 'http://user:pass@ip:port' | 仍为 http:// 代理 URL:urllib3 会向代理请求 CONNECT 隧道并在其内部运行 TLS |
timeout | timeout=(5, 15) | 5 秒连接,15 秒读取,防止失效目标卡死线程 |
| 轮询 | itertools.cycle(proxy_list) | 依次轮流分发你的静态 IP |
为什么 Session 优于直接调用 requests.get()
每次顶层调用 requests.get() 都会新建一个连接池,导致每次都需重复与代理建立 TCP 连接并与目标网站进行 TLS 握手。而 Session 可以在各次调用之间保持连接活跃。对于通过单个 IP 抓取数百个页面的脚本,这种差异会在总运行耗时中明显体现出来。
只需设置一次 s.proxies.update(proxies),后续所有 s.get() 和 s.post() 都会走该代理。需要注意一点:如果环境变量中设置了 HTTP_PROXY 或 HTTPS_PROXY,requests 可能会将其与 Session 设置合并;若需明确指定生效的代理,请在调用方法时直接传入 proxies= 参数。
常见错误及其含义
httpx 和 aiohttp 中的相同用法
URL 格式完全通用。在 httpx 中,创建 httpx.Client(proxy='http://user:pass@ip:port');在 aiohttp 中,向 session.get(url, proxy=...) 传入 proxy=。涉及任务调度与重试的大型爬网任务,通常使用 Scrapy 会更轻松。
操作步骤
- 1
构建代理 URL
将每行 ProxyV4 的
ip:port:user:pass改写为http://user:pass@ip:port,或使用 代理格式转换器 批量转换整个列表。 - 2
创建字典
编写
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}。 - 3
绑定至 Session
创建
s = requests.Session()并调用s.proxies.update(proxies),以便在各请求之间保持长连接。 - 4
打印出口 IP
运行
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json());输出中的 IP 应该为代理的 IP。
常见问题
为什么 'https' 项也是 http:// URL?
该协议头描述的是 Python 与代理服务器之间的通信协议,而非与目标网站的通信协议。urllib3 通过普通 HTTP 连接至代理服务器并发送 CONNECT 命令,随后通过该隧道与 https:// 目标网站建立 TLS 连接,因此页面流量依然是全程加密的。
如何将请求分发到 25 个静态代理上?
将这 25 个 URL 放入列表中,创建 pool = itertools.cycle(PROXIES),并在每次请求时获取 p = next(pool) 并传入 proxies={'http': p, 'https': p}。每个 IP 之间设置合理的请求间隔,避免单个地址遭受高频高并发冲击。
Python 脚本产生的流量会计费或限额吗?
不计费/不限额。ProxyV4 独享 IPv4 和静态 ISP 套餐均提供不限流量,长时间运行脚本无需担心触及流量上限。
来源
适用于 Python 脚本的静态 IP 池
涵盖 7 个国家的独享 IPv4 以及美国和越南的静态 ISP。支持单买或批量选购;单 IP 价格随购买数量递减。
查看美国实时价格