Scrapy proxy'leri: meta['proxy'], middleware sırası ve rotasyon
ProxyV4 Mühendislik Ekibi tarafından · Updated:
Scrapy'de proxy, her istek için request.meta['proxy'] = 'http://user:pass@ip:port' ile ayarlanır ve yerleşik HttpProxyMiddleware (sıra 750), user:pass kısmını bir Proxy-Authorization başlığına dönüştürür. Ondan önce, 740 sırasında çalışan küçük bir downloader middleware ekleyin; böylece spider'ınızın ürettiği her istek ProxyV4 havuzunuzdan bir IP seçebilir.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP$1,85
- 3+ IP$1,70
- 10+ IP$1,60
- 25+ IP$1,50
- 50+ IP$1,40
- 100+ IP$1,30
- 200+ IP$1,20
- 500+ IP$1,10
- 1 IP$1,85
- 3+ IP$1,70
- 10+ IP$1,60
- 25+ IP$1,50
- 50+ IP$1,40
- 100+ IP$1,30
- 200+ IP$1,20
- 500+ IP$1,10
Middleware sırası neden önemlidir
Downloader middleware'ler giden isteklerde artan sırayla çalışır. 750 sırasındaki HttpProxyMiddleware, meta['proxy'] değerini okur, kimlik bilgilerini URL'den ayıklar ve yetkilendirme başlığını yazar. Kendi middleware'iniz proxy'yi daha sonra, örneğin 800 sırasında ayarlarsa yerleşik olan zaten çalışmış olur, kimlik bilgileri hiçbir zaman dönüştürülmez ve proxy 407 yanıtı verir. Sizinkini 740 olarak kaydetmek onu ilk sıraya alır.
| Ayar | Önerilen değer | Etki |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | İlgili isteği belirtilen ProxyV4 proxy'si üzerinden gönderir |
| Middleware sıranız | 740 | HttpProxyMiddleware (750) öncesinde çalışır, böylece giriş bilgileri kodlanır |
CONCURRENT_REQUESTS_PER_IP | 2 ila 4 | Hedef IP başına paralel istekleri sınırlar; her bir sunucuya ne kadar yüklenileceğine dair nazik bir üst sınır koyar |
AUTOTHROTTLE_ENABLED | True | Hedefin ne kadar hızlı yanıt verdiğine bağlı olarak Scrapy'nin gecikmeleri uzatmasına veya kısaltmasına olanak tanır |
Rotasyon middleware'inin ana hatları
from_crawler()içinde proxy listesini ayarlardan okuyun ve middleware örneğinde saklayınprocess_request()içinde, istek halihazırda bir proxy taşımıyorsarequest.meta['proxy'] = random.choice(self.proxies)atayın- Bir yanıt
429veya503olarak döndüğünde, az önce reddedilen yerine havuzdan farklı bir proxy ile isteği yeniden deneyin - İstekler arasındaki aralığın bir metronom gibi sabit kalması yerine değişmesi için
DOWNLOAD_DELAY = 1.0ileRANDOMIZE_DOWNLOAD_DELAY = Trueayarlarını birleştirin
Havuz boyutunu belirleme
Bir Scrapy taraması dakikada çok sayıda istek gönderebilir; bu nedenle IP sayısı, her birinin ne kadar ölçülü kullanılacağını belirler. ProxyV4 ile minimum sipariş yoktur, adet arttıkça IP başına fiyat düşer ve özel IPv4 trafiği kotalı değildir; bu sayede büyük bir tarama bant genişliği açısından küçük olanla aynı maliyettedir. Her IP yalnızca tek bir müşteri tarafından kullanılır, dolayısıyla IP'nin itibarı başkasının değil yalnızca kendi taramanızın sonucunu yansıtır. Tarama hacmini ve nezaket sınırlarını planlamak için web scraping rehberi sayfasına göz atın.
Adım adım
- 1
Proxy URL'lerini hazırlayın
ProxyV4
ip:port:user:passsatırlarınızı proxy format dönüştürücü ilehttp://user:pass@ip:portbiçimine dönüştürün ve ayarlarda ya da bir dosyada saklayın. - 2
ProxyPoolMiddleware yazın
middlewares.pydosyasında,request.meta['proxy'] = random.choice(self.proxies)ataması yapacak şekildeprocess_request(self, request, spider)fonksiyonunu uygulayın. - 3
Yerleşik olanın öncesine kaydedin
settings.pyiçinde,DOWNLOADER_MIDDLEWARESlistesine'myproject.middlewares.ProxyPoolMiddleware': 740satırını ekleyin veCONCURRENT_REQUESTS_PER_IP = 2olarak ayarlayın. - 4
Rotasyonu doğrulayın
scrapy shellveya kısa bir test spider'ı ilehttps://proxyv4.com/api/my-ipadresine birkaç kez istek atın ve bildirilen IP'nin havuzunuz genelinde değiştiğini kontrol edin.
Sıkça sorulan sorular
800 önceliğindeki proxy middleware'im 407 hatası alıyor. Neden?
800 değerinde, HttpProxyMiddleware (750) sonrasında çalışır; bu nedenle proxy URL'nizdeki user:pass hiçbir zaman bir Proxy-Authorization başlığına dönüştürülmez. Middleware'inizi 750 değerinin altına, örneğin 740 seviyesine taşıyın.
Proxy'yi yalnızca tek bir istek için ayarlayabilir miyim?
Evet. Request oluştururken meta={'proxy': 'http://user:pass@ip:port'} parametresini iletin; yerleşik middleware yalnızca o istek için kimlik doğrulamasını halleder.
Milyonlarca sayfalık bir tarama bant genişliği sınırına takılır mı?
ProxyV4 özel IPv4 veya statik ISP proxy'lerinde takılmaz; her ikisinde de sınırsız bant genişliği sunulur. Pratik sınır, hedefin ne kadar hızlı tarama yapmanıza izin verdiğidir.
Kaynaklar
Scrapy taramaları için kotasız statik IP'ler
7 ülkede özel IPv4 ile ABD ve Vietnam'da statik ISP; tek bir IP'den büyük bir havuza kadar, anlık toplu alım fiyatlandırmasıyla.
Güncel ABD fiyatlarını inceleyin