网页抓取专属代理:不限流量的固定 IP 池
Updated:
按 GB 计费的网页抓取代理会让爬虫成本随着页面变大而直线上升,这就是为什么稳定运行的定时爬虫更适合采用无限流量的固定地址池。ProxyV4 提供 7 个国家的独享 IPv4 以及美国和越南的静态 ISP,全部按 IP 计费且不计流量。您可以根据目标网站允许的每秒请求数来规划 IP 池规模,无论抓取的网页有多大,账单金额始终不变。
- 1 个 IPUS$1.85
- 3+ 个 IPUS$1.70
- 10+ 个 IPUS$1.60
- 25+ 个 IPUS$1.50
- 50+ 个 IPUS$1.40
- 100+ 个 IPUS$1.30
- 200+ 个 IPUS$1.20
- 500+ 个 IPUS$1.10
- 1 个 IPUS$1.85
- 3+ 个 IPUS$1.70
- 10+ 个 IPUS$1.60
- 25+ 个 IPUS$1.50
- 50+ 个 IPUS$1.40
- 100+ 个 IPUS$1.30
- 200+ 个 IPUS$1.20
- 500+ 个 IPUS$1.10
爬虫按 IP 计费与按 GB 计费对比
| 对比项 | 静态池(按 IP 计费) | 计量流量(按 GB 计费) |
|---|---|---|
| 决定成本的因素 | IP 数量与租用周期 | 下载的字节数,包括 HTML、JS 和静态资源 |
| 页面变大时会怎样 | 毫无影响;带宽不限 | 费用随之水涨船高 |
| 吞吐量的限制瓶颈 | 各个目标对单 IP 的请求频率限制 | 预算上限 |
| 如何扩容扩展 | 增加 IP;单价随数量增加而降低 | 购买更多流量 |
为什么爬虫会被封禁,IP 池能改变什么
在抓取商品目录、列表和公共 API 时,大多数封禁并不是因为你是谁,而是因为你的请求速度有多快:单个地址超过网站允许的请求速率就会收到 HTTP 429。使用包含 10 到 100 个静态 IP 的代理池,将每个地址的并发控制在合理水平,既能保证每个地址都不超限,又能让爬虫整体按你需要的速度运行。
独享使用在这里也能起到很大作用。租期内每个 ProxyV4 IP 仅供一位客户独占,因此目标网站在对应地址上看到的请求频率历史记录完全属于你一个人。
根据抓取目标选择适配的 IP 池
延长静态 IP 池使用寿命的爬虫设置
每条线路均采用标准凭据认证,在 Python 中配置代理仅需:proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}。
- 在 IP 列表中使用轮询(round-robin)分配请求并加入随机抖动,针对每个目标域名单 IP 间隔保持在 2 到 5 秒左右
- 使用
requests.Session()或连接池客户端复用连接,避免每次请求都产生 TLS 握手开销 - 在 Playwright 和 Puppeteer 中,拦截并阻止不需要解析的图片、字体和媒体资源
- 当某个 IP 遇到 HTTP 429 或 503 时,将其移出轮询队列进行冷却并执行退避策略,不要立即重试
操作步骤
- 1
- 2
将列表转换为 URL
将
ip:port:user:pass格式的多行文本粘贴到代理格式转换器中,即可获取http://user:pass@ip:port格式的字符串或 JSON。 - 3
接入您的代码框架
参考 Python Requests、Scrapy、Selenium 或 Node.js Axios 的配置教程页面进行集成。
- 4
首次全量运行前进行测速
使用代理测速工具检查响应延迟,剔除连接目标网站速度较慢的线路。
常见问题
ProxyV4 代理上的爬虫流量是否计费?
不计费。独享 IPv4 和静态 ISP 在租用期内均按 IP 计费,享受无限带宽流量。
单个静态 IP 每天可以抓取多少个页面?
这取决于目标网站的速率限制。在对单个域名保持每分钟 1 到 3 次请求的频率下,单个 IP 每天大约可抓取 1,500 到 4,000 个页面而不会引起注意。
你们出售用于爬虫的旋转代理吗?
目前尚未开放。旋转越南代理仅限候补预约。目前对于大多数定时爬虫任务,使用静态池结合轮询调度即可达到同样的效果。
如何快速将 50 个代理转换成 Scrapy 格式?
直接粘贴到代理格式转换器中。它可以在浏览器端将 ip:port:user:pass 格式文本转换为 URL 字符串或 JSON 数组。
搭建月付固定成本的爬虫代理池
覆盖 7 个国家的独享 IPv4 以及美国和越南的静态 ISP,按 IP 计价,流量无限畅享。
查看美国 IPv4 实时价格