Özel IP havuzu etrafında web kazıyıcı tasarlama
Updated:
Web kazıma proxy'leri, hiçbir IP'nin tüm tarama yükünü tek başına taşımaması için isteklerinizi birçok adrese dağıtır. Çoğu hedef için özel IPv4 adreslerinden oluşan bir havuz en hızlı ve en uygun maliyetli seçenektir; statik ISP adresleri ise veri merkezi IP aralıklarını engelleyen siteler için alternatif çözümdür. Havuzu kendi kodunuzda döndürürsünüz; bu da hangi IP'nin hangi sayfayı getirdiğini her zaman bilmenizi sağlar.
Tek bir IP neden çalışmayı durdurur?
Siteler, bir adresin gönderebileceği istek sayısını sınırlar. Ofis hattınızdan çalışan bir tarayıcı kısa sürede bu sınıra ulaşır ve gelen engelleme binadaki diğer herkesi etkileyebilir. Bir proxy havuzu yükü böler, kendi ağınızı sunucu günlüklerinin dışında tutar ve sayfaların belirli bir ülkedeki ziyaretçilere gösterilen sürümünü çekmenizi sağlar.
Tipik kullanıcılar: Rakip fiyatlarını ve stok durumunu takip eden e-ticaret ekipleri, herkese açık veri setleri oluşturan analistler, seyahat, emlak ve iş ilanı toplayıcıları ile kendi sitelerini diğer ülkelerden test eden geliştiriciler.
Statik havuz ile dönen ağ geçidi karşılaştırması
Statik bir havuzda adres listesi, kiralama süresi boyunca size aittir. Görev zamanlayıcınız istek veya oturum başına bir IP seçer, bunu günlüğe kaydeder ve hız sınırlaması almaya başlayan adresleri kullanımdan kaldırır. Her IP tek bir kullanıcıya tahsis edildiğinden itibarı yalnızca sizin trafiğinizi yansıtır ve sabit listeyi dahili araçlarda izin verilenler listesine eklemek kolaydır.
Özel IPv4 ve statik ISP paketlerinde bant genişliği sınırsızdır. Büyük sayfalar, görseller ve uzun süreli taramalar gigabayt başına değil, IP başına ücretlendirilir.
Ürünü hedefle eşleştirme
| Hedef | Ürün | Neden |
|---|---|---|
| Herkese açık kataloglar, API'ler, çoğu site | Özel IPv4 | Hızlı, uygun maliyetli, yedi ülke |
| Veri merkezi aralıklarını engelleyen siteler | Statik ISP, ABD veya Vietnam | Bireysel ISP'lere kayıtlı adresler |
| IPv6 destekleyen sitelerde çok büyük ölçekli taramalar | IPv6 | IP başına düşük fiyata çok sayıda adres; sitenin IPv6 kabul ettiğinden emin olun |
| Asya'daki yerelleştirilmiş sayfalar | Japonya, Güney Kore, Singapur, Hong Kong veya Vietnam'da özel IPv4 | Yerel ziyaretçilerin gördüğü içeriği getirin |
Havuz boyutlandırma ve istek disiplini
- Havuzu hedef istek hızınıza göre boyutlandırın: IP başına düşük hızda çalışan daha fazla adres, aşırı yüklenen az sayıdaki adresten daha uzun ömürlü olur.
- Giriş yapılmış oturumlar veya sepet işlemleri boyunca tek bir adresi sabitleyin, ardından adresi değiştirin.
- Gerçekçi başlıklar gönderin, istekler arasına rastgele gecikmeler ekleyin ve HTTP 429 ile 403 hatalarında geri çekilip bekleyin.
- Captcha ve engelleme sayfalarının veri setine asla girmemesi için yanıtları doğrulayın.
- Adresleri proxy denetleyicisi ile test edin (tek seferde en fazla 100 adet, parolalar saklanmaz) ve yavaş veya engellenenleri ayıklayın.
Havuzu yazılım yığınınıza entegre etme
Tüm adresler kullanıcı adı ve şifre ile HTTP(S) veya SOCKS5 üzerinden çalışır ve Siparişler bölümünde ip:port:user:pass biçiminde teslim edilir. Yaygın kütüphaneler bu formatı doğrudan kabul eder; Python requests, Scrapy, Playwright ve Puppeteer kurulum sayfalarını inceleyebilirsiniz. Proxy ayarı bulunmayan masaüstü araçları Proxifier üzerinden yönlendirilebilir. Web kazıma proxy sayfası hedefe özel ek notlar içerir.
Sorumlu veri toplama
Proxy, bir isteğin nereden geldiğini değiştirir; neyi toplama hakkınız olduğunu değil. robots.txt kurallarına, sitenin kullanım şartlarına ve tabi olduğunuz veri koruma yasalarına uyun; işleme hakkınız olmayan kişisel verileri toplamayın. Bir siteyi paralel isteklerle aşırı yüke boğmak, size ait olmayan hesaplarla oturum açarak kazıma yapmak ve ağır suistimaller kullanım koşullarımızı da ihlal eder.
Sıkça sorulan sorular
Kazıma işlemi için veri merkezi mi yoksa ISP proxy'leri ile mi başlamalıyım?
Veri merkezi. Özel IPv4 daha hızlıdır ve daha fazla ülkede mevcuttur. Bir hedefi yalnızca veri merkezi IP aralıklarını engelliyorsa statik ISP'ye taşıyın. Proxy türü karşılaştırması bu dengeyi açıklamaktadır.
Dönen proxy hizmeti gerekli mi?
Hayır. Kendi kodunuzla döndürdüğünüz statik bir havuz, hangi adresin hangi isteği işleyeceği konusunda size tam kontrol sağlar.
Trafik kotalı mı?
Hayır. Özel IPv4 ve statik ISP paketlerinde bant genişliği sınırsızdır; kiralama süresi boyunca yalnızca IP başına ödeme yaparsınız.
Scrapy veya Playwright ile SOCKS5 kullanabilir miyim?
Evet. Ücretli proxy'ler kullanıcı adı ve şifre ile HTTP(S) ve SOCKS5 protokollerini destekler; kontrol panelindeki sipariş sayfasından protokolü SOCKS5 (veya her ikisi) olarak değiştirebilirsiniz. Scrapy'nin yerleşik ara yazılımı yalnızca HTTP destekler, bu nedenle orada HTTP kullanmaya devam edin. Bkz. HTTP vs SOCKS5.
Web kazıma yasal mı?
Neyi topladığınıza, nerede faaliyet gösterdiğinize ve sitenin kullanım şartlarına bağlıdır. robots.txt kurallarına uyarak herkese açık ve kişisel olmayan verileri toplamak yaygın bir uygulamadır; kendi projenize ilişkin kuralları mutlaka kontrol edin.
Bir kazıma havuzu oluşturun
Tarama işleminizin ihtiyaç duyduğu kadar özel IPv4 adresi sipariş edin; adet arttıkça IP başına düşen fiyat azalır ve bant genişliği sınırsızdır.
ABD veri merkezi fiyatlarını inceleyin