Scrapy代理:meta['proxy']、中间件顺序与轮换

· Updated:

在Scrapy中,每个请求的代理通过request.meta['proxy'] = 'http://user:pass@ip:port'进行设置,内置的HttpProxyMiddleware(优先级为750)会将user:pass部分转换为Proxy-Authorization请求头。只需添加一个运行在其之前(优先级为740)的轻量下载器中间件,爬虫生成的每个请求就能从您的ProxyV4代理池中选取一个IP。

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
独享 IPv4(数据中心)
🇺🇸 美国
有货
起
US$1.10 / IP / 月
批量阶梯折扣
  • 1 个 IPUS$1.85
  • 3+ 个 IPUS$1.70
  • 10+ 个 IPUS$1.60
  • 25+ 个 IPUS$1.50
  • 50+ 个 IPUS$1.40
  • 100+ 个 IPUS$1.30
  • 200+ 个 IPUS$1.20
  • 500+ 个 IPUS$1.10
购买 美国
独享 IPv4(数据中心)
🇬🇧 英国
有货
起
US$1.10 / IP / 月
批量阶梯折扣
  • 1 个 IPUS$1.85
  • 3+ 个 IPUS$1.70
  • 10+ 个 IPUS$1.60
  • 25+ 个 IPUS$1.50
  • 50+ 个 IPUS$1.40
  • 100+ 个 IPUS$1.30
  • 200+ 个 IPUS$1.20
  • 500+ 个 IPUS$1.10
购买 英国

为什么中间件优先级数值至关重要

下载器中间件在发出请求时按升序依次执行。处于750位置的HttpProxyMiddleware会读取meta['proxy'],从URL中剥离认证凭据并写入认证请求头。如果自定义中间件在此之后(例如800)才设置代理,内置中间件早已执行完毕,凭据永远无法被转换,代理就会返回407错误。将其注册在740即可确保优先执行。

配置项建议值作用
request.meta['proxy']'http://user:pass@ip:port'通过指定的ProxyV4代理发送该请求
自定义中间件优先级740在HttpProxyMiddleware(750)之前运行,从而完成登录凭据的编码
CONCURRENT_REQUESTS_PER_IP2 到 4限制每个目标IP的并发请求数,礼貌控制对单台服务器的访问压力
AUTOTHROTTLE_ENABLEDTrue允许Scrapy根据目标站点的响应速度自动拉长或缩短延迟

轮换中间件设计概览

  • 在from_crawler()中从配置读取代理列表,并保存在中间件实例上
  • 在process_request()中,若请求未携带代理,则分配request.meta['proxy'] = random.choice(self.proxies)
  • 当响应返回429或503时,从代理池中换用另一个不同的代理进行重试,而不是使用刚刚被拒绝的那个
  • 将DOWNLOAD_DELAY = 1.0与RANDOMIZE_DOWNLOAD_DELAY = True结合使用,使请求间隔动态变化,而非像节拍器一样死板固定

规划代理池规模

Scrapy爬虫每分钟可发起大量请求,因此IP数量决定了单个IP的使用频率有多温和。ProxyV4无最低起订量,且每个IP的价格随订购数量增加而降低;独享IPv4流量不计费,因此大规模抓取在带宽上的成本与小规模抓取完全一致。每个IP仅供一位客户独享使用,其信誉度完全由您自身的爬取行为决定,不受他人影响。有关爬取规模与礼貌抓取的规划,请参阅网页抓取指南。

操作步骤

  1. 1

    准备代理URL

    使用代理格式转换器将您的ProxyV4 ip:port:user:pass格式转换为http://user:pass@ip:port,并保存在配置文件或独立文件中。

  2. 2

    编写ProxyPoolMiddleware

    在middlewares.py中实现process_request(self, request, spider),使其设置request.meta['proxy'] = random.choice(self.proxies)。

  3. 3

    在内置中间件之前注册

    在settings.py中,将'myproject.middlewares.ProxyPoolMiddleware': 740添加到DOWNLOADER_MIDDLEWARES,并设置CONCURRENT_REQUESTS_PER_IP = 2。

  4. 4

    验证轮换效果

    通过scrapy shell或简短的测试爬虫多次请求https://proxyv4.com/api/my-ip,确认返回的IP在您的代理池中正常切换。

常见问题

我的代理中间件优先级设为800时出现407错误,为什么?

优先级为800时,它会在HttpProxyMiddleware(750)之后执行,导致代理URL中的user:pass未能转换为Proxy-Authorization请求头。请将中间件优先级调整到750之前,例如740。

我可以仅为单个请求设置代理吗?

可以。在创建Request时传入meta={'proxy': 'http://user:pass@ip:port'}即可;内置中间件将仅对该请求处理认证登录。

爬取数百万个页面会达到带宽上限吗?

ProxyV4的独享IPv4和静态ISP代理均不会受到限制,两者均提供不限流量带宽。实际的限制仅取决于目标站点允许您的爬取速度。

来源

适用于Scrapy爬取的无限流量静态IP

覆盖7个国家的独享IPv4以及美国和越南的静态ISP代理,从单个IP到大型代理池均可支持,并享受实时用量梯度优惠。

查看美国实时价格

Related articles

按平台选择代理
网页抓取专属代理:不限流量的固定 IP 池
适用于 Python、Scrapy、Playwright 和 Selenium 的网页抓取代理:独享 IPv4 与静态 ISP 地址池,无限流量,按 IP 统一定价。
代理配置
分步指南:通过带认证的代理发送 Python requests 请求
通过带认证的 HTTP(S) 代理发送 Python 请求:构建 proxies 字典、绑定至 Session、对特殊密码编码、轮询代理列表并验证出口 IP。
代理配置
Playwright 代理身份认证:每个上下文独享独立静态 IP
在 Node.js 或 Python 中为每个 Playwright 浏览器上下文配置独立的 HTTP(S) 认证代理,使时区与语言环境匹配对应 IP,并验证实际出口地址。
免费工具
将代理列表转换为工具所需的格式
在浏览器中批量转换代理列表,支持 ip:port:user:pass、user:pass@ip:port、http:// URL、SOCKS5 URI、JSON 数组与 FoxyProxy 导入格式。
按平台选择代理
用于SEO排名监控的代理:还原当地搜索者的真实结果页
提供美国、英国、越南、日本等7个市场的独享IPv4 SEO排名监控代理,确保自然排名、本地搜索包(Local Pack)和广告投放与当地搜索结果完全一致。
按平台选择代理
为每个账号提供固定独立地址的亚马逊卖家代理
专为 Seller Central、KDP 与 Merch 打造的亚马逊卖家代理:每账号独享美国静态 ISP 或英国/日本独享 IPv4,一客一租,续费始终保留原 IP。
IPV4 · united states
美国独享 IPv4 代理池:适用于数据抓取、排名追踪与广告核查
购买美国独享 IPv4 代理:静态美国数据中心 IP,单人专享,无限流量。专为数据采集、SERP 排名追踪与美国广告投放检查打造。
IPV4 · united kingdom
英国独享 IPv4 代理:适用于电商平台、搜索业务与营销活动
英国独享IPv4代理,提供仅供单人租用的静态英国数据中心IP,适用于eBay英国站与Amazon.co.uk调研、google.co.uk排名追踪及英国广告验证。