Web scraping için proxy'ler: Sınırsız trafikli sabit IP havuzu
Updated:
Gigabayt başına faturalandırılan web scraping proxy'leri, sayfalar ağırlaştıkça tarayıcınızın maliyetini artırır; bu nedenle düzenli ve zamanlanmış tarayıcılar için sınırsız trafikli sabit bir adres havuzu çok daha ekonomiktir. ProxyV4, yedi ülkede özel IPv4 ile ABD ve Vietnam'da statik ISP proxy'leri sunar; her biri trafik sınırlaması olmaksızın IP başına fiyatlandırılır. Havuzu, hedef sitelerin saniyede tolere edebileceği istek sayısına göre ölçeklendirirsiniz ve sayfa boyutları ne olursa olsun faturanız asla değişmez.
- 1 IP$1,85
- 3+ IP$1,70
- 10+ IP$1,60
- 25+ IP$1,50
- 50+ IP$1,40
- 100+ IP$1,30
- 200+ IP$1,20
- 500+ IP$1,10
- 1 IP$1,85
- 3+ IP$1,70
- 10+ IP$1,60
- 25+ IP$1,50
- 50+ IP$1,40
- 100+ IP$1,30
- 200+ IP$1,20
- 500+ IP$1,10
Tarayıcılar için IP başına ve GB başına fiyatlandırma karşılaştırması
| Soru | Sabit havuz (IP başına) | Kotalı trafik (GB başına) |
|---|---|---|
| Maliyeti ne belirler | IP sayısı ve kiralama süresi | HTML, JS ve statik varlıklar dahil indirilen bayt miktarı |
| Sayfalar ağırlaştığında ne olur | Hiçbir şey; bant genişliği sınırsızdır | Sayfa boyutuyla birlikte fatura da artar |
| Veri akışını ne sınırlar | Her hedefin IP başına koyduğu istek sınırı | Bütçe |
| Nasıl ölçeklendirilir | IP ekleyin; adet arttıkça IP başına birim fiyat düşer | Daha fazla trafik satın alın |
Scraper'lar neden engellenir ve bir IP havuzu neyi değiştirir
Katalog, ilan ve herkese açık API scraping işlemlerinde engellemelerin çoğu kim olduğunuza değil, ne kadar hızlı istek gönderdiğinize bağlıdır: Bir sitenin istek sınırını aşan bir adres HTTP 429 alır. Her biri makul bir eşzamanlılıkta tutulan 10 ila 100 statik IP'lik bir havuz, her adresin eşik değerin altında kalmasını sağlarken tarayıcınızın toplamda ihtiyaç duyduğunuz hızda çalışmasına olanak tanır.
Tek kullanıcılı tahsis de burada avantaj sağlar. Her ProxyV4 IP'si, kiralama süresi boyunca tek bir müşteriye aittir; bu sayede hedef sitenin o adreste gördüğü istek geçmişi yalnızca size aittir.
Havuzu hedefe göre belirleme
- Herkese açık kataloglar ve yüksek hacimli API'ler: IP başına en düşük maliyetle Amerika Birleşik Devletleri veya Singapur özel IPv4
- Vietnam e-ticaret siteleri ve yerel portallar: Yerel sayfaları ve yerel fiyatları görmek için Vietnam IPv4
- Bir WAF arkasında veri merkezi ASN'lerini filtreleyen hedefler: Bireysel ISS'lere kayıtlı olan ve genellikle daha az Cloudflare doğrulamasıyla karşılaşan Amerika Birleşik Devletleri veya Vietnam statik ISP proxy'leri
- Her istekte yeni bir IP gerektiren hedefler: Dönen Vietnam proxy'leri henüz satışta değildir; bekleme listesi için dönen Vietnam sayfasını ziyaret edebilirsiniz
Statik bir havuzun ömrünü uzatan tarayıcı ayarları
Her hat standart kimlik bilgileri kullanır; bu nedenle Python'da proxy kullanımı yalnızca proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"} şeklindedir.
- İstekleri listede round-robin yöntemiyle dağıtın ve hedef alan adı başına IP başına yaklaşık 2 ila 5 saniyelik rastgele gecikmeler ekleyin
- Her istekte tekrar tekrar TLS el sıkışması maliyetine katlanmamak için
requests.Session()veya bağlantı havuzu kullanan bir istemci ile bağlantıları yeniden kullanın - Playwright ve Puppeteer kullanırken ayrıştırmayacağınız görselleri, yazı tiplerini ve medyaları engelleyin
- Bir IP HTTP 429 veya 503 aldığında, hemen yeniden denemek yerine adresi soğuma süresi için rotasyondan çıkarın ve istek hızını düşürün
Adım adım
- 1
- 2
Listeyi URL'lere dönüştürün
http://user:pass@ip:portdizeleri veya JSON elde etmek içinip:port:user:passsatırlarını proxy format dönüştürücüsüne yapıştırın. - 3
Havuzu çerçevenize entegre edin
Python Requests, Scrapy, Selenium veya Node.js Axios kurulum sayfalarını kullanın.
- 4
İlk tam çalıştırmadan önce ölçüm yapın
Proxy hız testi ile yanıt sürelerini kontrol edin ve hedefinize karşı yavaş kalan hatları çıkarın.
Sıkça sorulan sorular
ProxyV4 proxy'lerinde scraping trafiği kotalı mı?
Hayır. Özel IPv4 ve statik ISP, sınırsız bant genişliğiyle kiralama süresi boyunca IP başına fiyatlandırılır.
Bir statik IP günde kaç sayfa çekebilir?
Bu, hedefin istek sınırına bağlıdır. Alan adı başına dakikada 1 ila 3 istek hızında, tek bir IP dikkat çekmeden günde yaklaşık 1.500 ila 4.000 sayfa çekebilir.
Scraping için dönen proxy satıyor musunuz?
Henüz değil. Dönen Vietnam proxy'leri yalnızca bekleme listesindedir. Şimdilik, round-robin dağıtımlı statik bir havuz çoğu zamanlanmış tarama için aynı görevi görür.
50 proxy'yi hızlıca Scrapy formatına nasıl dönüştürebilirim?
Proxy'leri proxy format dönüştürücüsüne yapıştırın. Araç, tarayıcınızda ip:port:user:pass satırlarını URL dizelerine veya bir JSON dizisine dönüştürür.
Sabit aylık maliyetle bir scraping havuzu oluşturun
Yedi ülkede özel IPv4 ile ABD ve Vietnam'da statik ISP; sınırsız trafikle IP başına fiyatlandırılır.
Güncel ABD IPv4 fiyatlarını inceleyin