ProxyV4

Scrapy proxy'leri: meta['proxy'], middleware sırası ve rotasyon

· Updated:

Scrapy'de proxy, her istek için request.meta['proxy'] = 'http://user:pass@ip:port' ile ayarlanır ve yerleşik HttpProxyMiddleware (sıra 750), user:pass kısmını bir Proxy-Authorization başlığına dönüştürür. Ondan önce, 740 sırasında çalışan küçük bir downloader middleware ekleyin; böylece spider'ınızın ürettiği her istek ProxyV4 havuzunuzdan bir IP seçebilir.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Özel IPv4 (veri merkezi)
🇺🇸 Amerika Birleşik Devletleri
Stokta var
Başlangıç
$1,10 / IP / ay
Adet indirimleri
  • 1 IP$1,85
  • 3+ IP$1,70
  • 10+ IP$1,60
  • 25+ IP$1,50
  • 50+ IP$1,40
  • 100+ IP$1,30
  • 200+ IP$1,20
  • 500+ IP$1,10
Amerika Birleşik Devletleri satın al
Özel IPv4 (veri merkezi)
🇬🇧 Birleşik Krallık
Stokta var
Başlangıç
$1,10 / IP / ay
Adet indirimleri
  • 1 IP$1,85
  • 3+ IP$1,70
  • 10+ IP$1,60
  • 25+ IP$1,50
  • 50+ IP$1,40
  • 100+ IP$1,30
  • 200+ IP$1,20
  • 500+ IP$1,10
Birleşik Krallık satın al

Middleware sırası neden önemlidir

Downloader middleware'ler giden isteklerde artan sırayla çalışır. 750 sırasındaki HttpProxyMiddleware, meta['proxy'] değerini okur, kimlik bilgilerini URL'den ayıklar ve yetkilendirme başlığını yazar. Kendi middleware'iniz proxy'yi daha sonra, örneğin 800 sırasında ayarlarsa yerleşik olan zaten çalışmış olur, kimlik bilgileri hiçbir zaman dönüştürülmez ve proxy 407 yanıtı verir. Sizinkini 740 olarak kaydetmek onu ilk sıraya alır.

AyarÖnerilen değerEtki
request.meta['proxy']'http://user:pass@ip:port'İlgili isteği belirtilen ProxyV4 proxy'si üzerinden gönderir
Middleware sıranız740HttpProxyMiddleware (750) öncesinde çalışır, böylece giriş bilgileri kodlanır
CONCURRENT_REQUESTS_PER_IP2 ila 4Hedef IP başına paralel istekleri sınırlar; her bir sunucuya ne kadar yüklenileceğine dair nazik bir üst sınır koyar
AUTOTHROTTLE_ENABLEDTrueHedefin ne kadar hızlı yanıt verdiğine bağlı olarak Scrapy'nin gecikmeleri uzatmasına veya kısaltmasına olanak tanır

Rotasyon middleware'inin ana hatları

  • from_crawler() içinde proxy listesini ayarlardan okuyun ve middleware örneğinde saklayın
  • process_request() içinde, istek halihazırda bir proxy taşımıyorsa request.meta['proxy'] = random.choice(self.proxies) atayın
  • Bir yanıt 429 veya 503 olarak döndüğünde, az önce reddedilen yerine havuzdan farklı bir proxy ile isteği yeniden deneyin
  • İstekler arasındaki aralığın bir metronom gibi sabit kalması yerine değişmesi için DOWNLOAD_DELAY = 1.0 ile RANDOMIZE_DOWNLOAD_DELAY = True ayarlarını birleştirin

Havuz boyutunu belirleme

Bir Scrapy taraması dakikada çok sayıda istek gönderebilir; bu nedenle IP sayısı, her birinin ne kadar ölçülü kullanılacağını belirler. ProxyV4 ile minimum sipariş yoktur, adet arttıkça IP başına fiyat düşer ve özel IPv4 trafiği kotalı değildir; bu sayede büyük bir tarama bant genişliği açısından küçük olanla aynı maliyettedir. Her IP yalnızca tek bir müşteri tarafından kullanılır, dolayısıyla IP'nin itibarı başkasının değil yalnızca kendi taramanızın sonucunu yansıtır. Tarama hacmini ve nezaket sınırlarını planlamak için web scraping rehberi sayfasına göz atın.

Adım adım

  1. 1

    Proxy URL'lerini hazırlayın

    ProxyV4 ip:port:user:pass satırlarınızı proxy format dönüştürücü ile http://user:pass@ip:port biçimine dönüştürün ve ayarlarda ya da bir dosyada saklayın.

  2. 2

    ProxyPoolMiddleware yazın

    middlewares.py dosyasında, request.meta['proxy'] = random.choice(self.proxies) ataması yapacak şekilde process_request(self, request, spider) fonksiyonunu uygulayın.

  3. 3

    Yerleşik olanın öncesine kaydedin

    settings.py içinde, DOWNLOADER_MIDDLEWARES listesine 'myproject.middlewares.ProxyPoolMiddleware': 740 satırını ekleyin ve CONCURRENT_REQUESTS_PER_IP = 2 olarak ayarlayın.

  4. 4

    Rotasyonu doğrulayın

    scrapy shell veya kısa bir test spider'ı ile https://proxyv4.com/api/my-ip adresine birkaç kez istek atın ve bildirilen IP'nin havuzunuz genelinde değiştiğini kontrol edin.

Sıkça sorulan sorular

800 önceliğindeki proxy middleware'im 407 hatası alıyor. Neden?

800 değerinde, HttpProxyMiddleware (750) sonrasında çalışır; bu nedenle proxy URL'nizdeki user:pass hiçbir zaman bir Proxy-Authorization başlığına dönüştürülmez. Middleware'inizi 750 değerinin altına, örneğin 740 seviyesine taşıyın.

Proxy'yi yalnızca tek bir istek için ayarlayabilir miyim?

Evet. Request oluştururken meta={'proxy': 'http://user:pass@ip:port'} parametresini iletin; yerleşik middleware yalnızca o istek için kimlik doğrulamasını halleder.

Milyonlarca sayfalık bir tarama bant genişliği sınırına takılır mı?

ProxyV4 özel IPv4 veya statik ISP proxy'lerinde takılmaz; her ikisinde de sınırsız bant genişliği sunulur. Pratik sınır, hedefin ne kadar hızlı tarama yapmanıza izin verdiğidir.

Kaynaklar

Scrapy taramaları için kotasız statik IP'ler

7 ülkede özel IPv4 ile ABD ve Vietnam'da statik ISP; tek bir IP'den büyük bir havuza kadar, anlık toplu alım fiyatlandırmasıyla.

Güncel ABD fiyatlarını inceleyin

Related articles

Platformlara göre proxyler
Web scraping için proxy'ler: Sınırsız trafikli sabit IP havuzu
Python, Scrapy, Playwright ve Selenium için web scraping proxy'leri: Özel IPv4 ve statik ISP havuzu, sınırsız bant genişliği, IP başına sabit fiyatlandırma.
Proxy kurulumu
Kimlik doğrulamalı proxy ile adım adım Python requests kullanımı
Python isteklerini kimlik doğrulamalı HTTP(S) proxy ile iletin: proxies dict kurun, Session'a bağlayın, parolaları kodlayın, listeyi döndürün, IP'yi sınayın.
Proxy kurulumu
Playwright proxy kimlik doğrulaması: Context başına bir statik IP
Node.js veya Python'da her Playwright context'ine kimlik doğrulamalı HTTP(S) proxy atayın, saat dilimi ve dili IP ile eşleştirip çıkış adresini doğrulayın.
Ücretsiz araçlar
Proxy listesini aracınızın beklediği formata dönüştürün
Proxy listelerini ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON dizileri ve FoxyProxy dosyaları arasında tarayıcınızda topluca dönüştürün.
Platformlara göre proxyler
SEO sıra takibi için proxyler: Yerel bir kullanıcının gördüğü sonuç sayfasını görün
ABD, İngiltere, Vietnam, Japonya ve 4 diğer pazarda özel IPv4 SEO proxyleri; sıralama, yerel paket ve reklamları yerel kullanıcıların gördüğü gibi görün.
Platformlara göre proxyler
Her hesaba kalıcı bir adres sağlayan Amazon satıcı proxy'leri
Seller Central, KDP ve Merch için Amazon satıcı proxy'leri: Hesap başı size özel kiralanan, yenilemede korunan ABD statik ISP veya İngiltere/Japonya özel IPv4.
IPV4 · united states
Veri Kazıma, Sıralama Takibi ve Reklam Kontrolleri İçin ABD Özel IPv4 Proxy Havuzu
ABD özel IPv4 proxy satın alın: Statik Amerikan veri merkezi IP'leri, tek müşteri, sınırsız bant genişliği. Scraping, SERP ve ABD reklam kontrolleri için.
IPV4 · united kingdom
Pazaryerleri, Arama ve Kampanyalar İçin İngiltere Özel IPv4 Proxy
Tek kişiye kiralanan statik İngiliz veri merkezi IP'li UK özel IPv4 proxy; eBay UK, Amazon.co.uk araştırması, google.co.uk takibi ve UK reklam denetimi için.