Scrapy代理:meta['proxy']、中间件顺序与轮换
由 ProxyV4 工程团队撰写 · Updated:
在Scrapy中,每个请求的代理通过request.meta['proxy'] = 'http://user:pass@ip:port'进行设置,内置的HttpProxyMiddleware(优先级为750)会将user:pass部分转换为Proxy-Authorization请求头。只需添加一个运行在其之前(优先级为740)的轻量下载器中间件,爬虫生成的每个请求就能从您的ProxyV4代理池中选取一个IP。
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 个 IPUS$1.85
- 3+ 个 IPUS$1.70
- 10+ 个 IPUS$1.60
- 25+ 个 IPUS$1.50
- 50+ 个 IPUS$1.40
- 100+ 个 IPUS$1.30
- 200+ 个 IPUS$1.20
- 500+ 个 IPUS$1.10
- 1 个 IPUS$1.85
- 3+ 个 IPUS$1.70
- 10+ 个 IPUS$1.60
- 25+ 个 IPUS$1.50
- 50+ 个 IPUS$1.40
- 100+ 个 IPUS$1.30
- 200+ 个 IPUS$1.20
- 500+ 个 IPUS$1.10
为什么中间件优先级数值至关重要
下载器中间件在发出请求时按升序依次执行。处于750位置的HttpProxyMiddleware会读取meta['proxy'],从URL中剥离认证凭据并写入认证请求头。如果自定义中间件在此之后(例如800)才设置代理,内置中间件早已执行完毕,凭据永远无法被转换,代理就会返回407错误。将其注册在740即可确保优先执行。
| 配置项 | 建议值 | 作用 |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | 通过指定的ProxyV4代理发送该请求 |
| 自定义中间件优先级 | 740 | 在HttpProxyMiddleware(750)之前运行,从而完成登录凭据的编码 |
CONCURRENT_REQUESTS_PER_IP | 2 到 4 | 限制每个目标IP的并发请求数,礼貌控制对单台服务器的访问压力 |
AUTOTHROTTLE_ENABLED | True | 允许Scrapy根据目标站点的响应速度自动拉长或缩短延迟 |
轮换中间件设计概览
- 在
from_crawler()中从配置读取代理列表,并保存在中间件实例上 - 在
process_request()中,若请求未携带代理,则分配request.meta['proxy'] = random.choice(self.proxies) - 当响应返回
429或503时,从代理池中换用另一个不同的代理进行重试,而不是使用刚刚被拒绝的那个 - 将
DOWNLOAD_DELAY = 1.0与RANDOMIZE_DOWNLOAD_DELAY = True结合使用,使请求间隔动态变化,而非像节拍器一样死板固定
规划代理池规模
Scrapy爬虫每分钟可发起大量请求,因此IP数量决定了单个IP的使用频率有多温和。ProxyV4无最低起订量,且每个IP的价格随订购数量增加而降低;独享IPv4流量不计费,因此大规模抓取在带宽上的成本与小规模抓取完全一致。每个IP仅供一位客户独享使用,其信誉度完全由您自身的爬取行为决定,不受他人影响。有关爬取规模与礼貌抓取的规划,请参阅网页抓取指南。
操作步骤
- 1
准备代理URL
使用代理格式转换器将您的ProxyV4
ip:port:user:pass格式转换为http://user:pass@ip:port,并保存在配置文件或独立文件中。 - 2
编写ProxyPoolMiddleware
在
middlewares.py中实现process_request(self, request, spider),使其设置request.meta['proxy'] = random.choice(self.proxies)。 - 3
在内置中间件之前注册
在
settings.py中,将'myproject.middlewares.ProxyPoolMiddleware': 740添加到DOWNLOADER_MIDDLEWARES,并设置CONCURRENT_REQUESTS_PER_IP = 2。 - 4
验证轮换效果
通过
scrapy shell或简短的测试爬虫多次请求https://proxyv4.com/api/my-ip,确认返回的IP在您的代理池中正常切换。
常见问题
我的代理中间件优先级设为800时出现407错误,为什么?
优先级为800时,它会在HttpProxyMiddleware(750)之后执行,导致代理URL中的user:pass未能转换为Proxy-Authorization请求头。请将中间件优先级调整到750之前,例如740。
我可以仅为单个请求设置代理吗?
可以。在创建Request时传入meta={'proxy': 'http://user:pass@ip:port'}即可;内置中间件将仅对该请求处理认证登录。
爬取数百万个页面会达到带宽上限吗?
ProxyV4的独享IPv4和静态ISP代理均不会受到限制,两者均提供不限流量带宽。实际的限制仅取决于目标站点允许您的爬取速度。
来源
适用于Scrapy爬取的无限流量静态IP
覆盖7个国家的独享IPv4以及美国和越南的静态ISP代理,从单个IP到大型代理池均可支持,并享受实时用量梯度优惠。
查看美国实时价格