ProxyV4

Özel IP havuzu etrafında web kazıyıcı tasarlama

Updated:

Web kazıma proxy'leri, hiçbir IP'nin tüm tarama yükünü tek başına taşımaması için isteklerinizi birçok adrese dağıtır. Çoğu hedef için özel IPv4 adreslerinden oluşan bir havuz en hızlı ve en uygun maliyetli seçenektir; statik ISP adresleri ise veri merkezi IP aralıklarını engelleyen siteler için alternatif çözümdür. Havuzu kendi kodunuzda döndürürsünüz; bu da hangi IP'nin hangi sayfayı getirdiğini her zaman bilmenizi sağlar.

Tek bir IP neden çalışmayı durdurur?

Siteler, bir adresin gönderebileceği istek sayısını sınırlar. Ofis hattınızdan çalışan bir tarayıcı kısa sürede bu sınıra ulaşır ve gelen engelleme binadaki diğer herkesi etkileyebilir. Bir proxy havuzu yükü böler, kendi ağınızı sunucu günlüklerinin dışında tutar ve sayfaların belirli bir ülkedeki ziyaretçilere gösterilen sürümünü çekmenizi sağlar.

Tipik kullanıcılar: Rakip fiyatlarını ve stok durumunu takip eden e-ticaret ekipleri, herkese açık veri setleri oluşturan analistler, seyahat, emlak ve iş ilanı toplayıcıları ile kendi sitelerini diğer ülkelerden test eden geliştiriciler.

Statik havuz ile dönen ağ geçidi karşılaştırması

Statik bir havuzda adres listesi, kiralama süresi boyunca size aittir. Görev zamanlayıcınız istek veya oturum başına bir IP seçer, bunu günlüğe kaydeder ve hız sınırlaması almaya başlayan adresleri kullanımdan kaldırır. Her IP tek bir kullanıcıya tahsis edildiğinden itibarı yalnızca sizin trafiğinizi yansıtır ve sabit listeyi dahili araçlarda izin verilenler listesine eklemek kolaydır.

Özel IPv4 ve statik ISP paketlerinde bant genişliği sınırsızdır. Büyük sayfalar, görseller ve uzun süreli taramalar gigabayt başına değil, IP başına ücretlendirilir.

Ürünü hedefle eşleştirme

HedefÜrünNeden
Herkese açık kataloglar, API'ler, çoğu siteÖzel IPv4Hızlı, uygun maliyetli, yedi ülke
Veri merkezi aralıklarını engelleyen sitelerStatik ISP, ABD veya VietnamBireysel ISP'lere kayıtlı adresler
IPv6 destekleyen sitelerde çok büyük ölçekli taramalarIPv6IP başına düşük fiyata çok sayıda adres; sitenin IPv6 kabul ettiğinden emin olun
Asya'daki yerelleştirilmiş sayfalarJaponya, Güney Kore, Singapur, Hong Kong veya Vietnam'da özel IPv4Yerel ziyaretçilerin gördüğü içeriği getirin

Havuz boyutlandırma ve istek disiplini

  • Havuzu hedef istek hızınıza göre boyutlandırın: IP başına düşük hızda çalışan daha fazla adres, aşırı yüklenen az sayıdaki adresten daha uzun ömürlü olur.
  • Giriş yapılmış oturumlar veya sepet işlemleri boyunca tek bir adresi sabitleyin, ardından adresi değiştirin.
  • Gerçekçi başlıklar gönderin, istekler arasına rastgele gecikmeler ekleyin ve HTTP 429 ile 403 hatalarında geri çekilip bekleyin.
  • Captcha ve engelleme sayfalarının veri setine asla girmemesi için yanıtları doğrulayın.
  • Adresleri proxy denetleyicisi ile test edin (tek seferde en fazla 100 adet, parolalar saklanmaz) ve yavaş veya engellenenleri ayıklayın.

Havuzu yazılım yığınınıza entegre etme

Tüm adresler kullanıcı adı ve şifre ile HTTP(S) veya SOCKS5 üzerinden çalışır ve Siparişler bölümünde ip:port:user:pass biçiminde teslim edilir. Yaygın kütüphaneler bu formatı doğrudan kabul eder; Python requests, Scrapy, Playwright ve Puppeteer kurulum sayfalarını inceleyebilirsiniz. Proxy ayarı bulunmayan masaüstü araçları Proxifier üzerinden yönlendirilebilir. Web kazıma proxy sayfası hedefe özel ek notlar içerir.

Sorumlu veri toplama

Proxy, bir isteğin nereden geldiğini değiştirir; neyi toplama hakkınız olduğunu değil. robots.txt kurallarına, sitenin kullanım şartlarına ve tabi olduğunuz veri koruma yasalarına uyun; işleme hakkınız olmayan kişisel verileri toplamayın. Bir siteyi paralel isteklerle aşırı yüke boğmak, size ait olmayan hesaplarla oturum açarak kazıma yapmak ve ağır suistimaller kullanım koşullarımızı da ihlal eder.

Sıkça sorulan sorular

Kazıma işlemi için veri merkezi mi yoksa ISP proxy'leri ile mi başlamalıyım?

Veri merkezi. Özel IPv4 daha hızlıdır ve daha fazla ülkede mevcuttur. Bir hedefi yalnızca veri merkezi IP aralıklarını engelliyorsa statik ISP'ye taşıyın. Proxy türü karşılaştırması bu dengeyi açıklamaktadır.

Dönen proxy hizmeti gerekli mi?

Hayır. Kendi kodunuzla döndürdüğünüz statik bir havuz, hangi adresin hangi isteği işleyeceği konusunda size tam kontrol sağlar.

Trafik kotalı mı?

Hayır. Özel IPv4 ve statik ISP paketlerinde bant genişliği sınırsızdır; kiralama süresi boyunca yalnızca IP başına ödeme yaparsınız.

Scrapy veya Playwright ile SOCKS5 kullanabilir miyim?

Evet. Ücretli proxy'ler kullanıcı adı ve şifre ile HTTP(S) ve SOCKS5 protokollerini destekler; kontrol panelindeki sipariş sayfasından protokolü SOCKS5 (veya her ikisi) olarak değiştirebilirsiniz. Scrapy'nin yerleşik ara yazılımı yalnızca HTTP destekler, bu nedenle orada HTTP kullanmaya devam edin. Bkz. HTTP vs SOCKS5.

Web kazıma yasal mı?

Neyi topladığınıza, nerede faaliyet gösterdiğinize ve sitenin kullanım şartlarına bağlıdır. robots.txt kurallarına uyarak herkese açık ve kişisel olmayan verileri toplamak yaygın bir uygulamadır; kendi projenize ilişkin kuralları mutlaka kontrol edin.

Bir kazıma havuzu oluşturun

Tarama işleminizin ihtiyaç duyduğu kadar özel IPv4 adresi sipariş edin; adet arttıkça IP başına düşen fiyat azalır ve bant genişliği sınırsızdır.

ABD veri merkezi fiyatlarını inceleyin

Related articles

Kullanım alanları
Doğru yerel sıralamaları bildiren bir takip altyapısı kurma
Google sıralamalarını yerel kullanıcıların gördüğü gibi kontrol edin: Pazar başına bir IP belirleyin, sorguları dengeleyin ve veri bozan hataları önleyin.
Platformlara göre proxyler
Web scraping için proxy'ler: Sınırsız trafikli sabit IP havuzu
Python, Scrapy, Playwright ve Selenium için web scraping proxy'leri: Özel IPv4 ve statik ISP havuzu, sınırsız bant genişliği, IP başına sabit fiyatlandırma.
Bilgi bankası
Datacenter, ISP veya Residential: Üç Proxy IP Türü Açıklandı
ISP, datacenter ve residential proxy: IP sahibi kim, nerede barınır, ne kadar sürer, nasıl faturalandırılır; hesap, reklam ve veri toplamaya hangisi uygundur.
Proxy kurulumu
Scrapy proxy'leri: meta['proxy'], middleware sırası ve rotasyon
Scrapy'de kimlik doğrulamalı HTTP(S) proxy kullanın: request.meta['proxy'] ayarlayın, HttpProxyMiddleware (750) öncesine alın, IP döndürün ve hızı ayarlayın.
Ücretsiz araçlar
Proxy'leri toplu kontrol edin: durum, çıkış IP'si ve gecikme süresi
Ücretsiz çevrim içi proxy denetleyici: 100 adede kadar ip:port:user:pass yapıştırın; çalışanları, çıkış IP'sini, gecikmeyi ve her hata sonucunun anlamını görün.
ISP · vietnam
Ana Mağazalar ve Reklam Hesapları İçin Vietnam Statik ISP Proxy
Vietnamlı bireysel sağlayıcılara kayıtlı IP'lerle Vietnam statik ISP proxy. Ana Shopee, TikTok Shop, Facebook reklam hesapları ve Zalo OA için sabit bir IP.
ISP · united states
ABD Statik ISP Proxy: Asla Değişmeyen Ev Kayıtlı IP
Bireysel internet sağlayıcılarına kayıtlı IP'lerle ABD statik ISP proxy. Amazon satıcıları, reklam ve Instagram hesapları için hesap başına sabit Amerikan IP.
Platformlara göre proxyler
Birden fazla mağaza yöneten TikTok Shop satıcıları için proxyler
Çoklu mağaza yönetenler için TikTok Shop proxyleri: ABD, Vietnam, Birleşik Krallık veya Singapur'da yenilemede sabit kalan statik ISP veya özel IPv4 adresleri.