Proxyji za web scraping: fiksni pool IP-jeva s neograničenim prometom
Updated:
Web scraping proxyji koji se naplaćuju po gigabajtu čine crawler sve skupljim kako stranice postaju teže, zbog čega su stabilni, raspoređeni crawler-i isplativiji uz fiksni pool adresa s neograničenim prometom. ProxyV4 prodaje privatne IPv4 adrese u sedam zemalja i statičke ISP adrese u SAD-u i Vijetnamu, svaka s cijenom po IP-ju bez mjerenja prometa. Veličinu poola određujete prema tome koliko zahtjeva u sekundi ciljne stranice dozvoljavaju, a račun ostaje isti bez obzira na težinu stranica.
- 1 IP1,85 USD
- 3+ IP-jeva1,70 USD
- 10+ IP-jeva1,60 USD
- 25+ IP-jeva1,50 USD
- 50+ IP-jeva1,40 USD
- 100+ IP-jeva1,30 USD
- 200+ IP-jeva1,20 USD
- 500+ IP-jeva1,10 USD
- 1 IP1,85 USD
- 3+ IP-jeva1,70 USD
- 10+ IP-jeva1,60 USD
- 25+ IP-jeva1,50 USD
- 50+ IP-jeva1,40 USD
- 100+ IP-jeva1,30 USD
- 200+ IP-jeva1,20 USD
- 500+ IP-jeva1,10 USD
Cijena po IP-ju u odnosu na cijenu po GB-u za crawler
| Pitanje | Statički pool (po IP-ju) | Mjereni promet (po GB-u) |
|---|---|---|
| Šta utječe na trošak | Broj IP adresa i period zakupa | Preuzeti bajti, uključujući HTML, JS i medijske resurse |
| Šta se dešava kada stranice postanu teže | Ništa; propusnost je neograničena | Račun raste zajedno s njima |
| Šta ograničava propusnost | Ograničenje broja zahtjeva po IP-ju na ciljnoj stranici | Budžet |
| Kako skalirati | Dodajte IP adrese; cijena po IP-ju opada s količinom | Kupite više prometa |
Zašto scraperi bivaju blokirani i šta pool mijenja
Prilikom scrapinga kataloga, oglasnika i javnih API-ja, većina blokada ne nastaje zbog toga ko ste, već koliko brzo šaljete zahtjeve: jedna adresa koja prekorači dozvoljenu učestalost zahtjeva dobija HTTP 429. Pool od 10 do 100 statičkih IP-jeva, gdje svaki radi uz umjerenu konkurentnost, drži svaku adresu ispod praga dok crawler kao cjelina radi željenom brzinom.
Zasebno korištenje (single tenancy) ovdje također pomaže. Svaka ProxyV4 IP adresa pripada isključivo jednom korisniku tokom cijelog perioda zakupa, pa je historija zahtjeva koju ciljna stranica vidi na toj adresi samo vaša.
Usklađivanje poola s ciljnom stranicom
- Javni katalozi i API-ji s velikim obimom: privatni IPv4 u Sjedinjenim Američkim Državama ili Singapuru, najniža cijena po IP-ju
- Vijetnamska e-trgovina i lokalni portali: vijetnamski IPv4 za pristup lokalnim stranicama i domaćim cijenama
- Ciljne stranice koje filtriraju hosting ASN-ove iza WAF-a: statički ISP u Sjedinjenim Američkim Državama ili Vijetnamu, registrovani na rezidencijalne ISP pružaoce, što obično znači manje Cloudflare provjera
- Ciljne stranice koje zahtijevaju novu IP adresu pri svakom zahtjevu: rotirajući vijetnamski proxyji još nisu u prodaji; stranica za rotirajući Vijetnam sadrži listu čekanja
Postavke crawlera koje osiguravaju dugotrajnost statičkog poola
Svaka linija koristi standardne pristupne podatke, pa u Pythonu proxy glasi jednostavno proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Raspoređujte zahtjeve po round-robin principu preko liste i dodajte nasumični razmak (jitter), otprilike 2 do 5 sekundi po IP-ju po ciljnoj domeni
- Ponovo koristite konekcije pomoću
requests.Session()ili klijenta s poolom konekcija kako ne biste plaćali TLS rukovanje pri svakom zahtjevu - U Playwright i Puppeteer alatima blokirajte slike, fontove i medijske sadržaje koje ne parsirate
- Kada IP adresa dobije HTTP 429 ili 503, privremeno je uklonite iz rotacije radi pauze (cooldown) i usporite umjesto trenutnog ponovnog pokušaja
Korak po korak
- 1
- 2
Pretvorite listu u URL-ove
Zalijepite linije u formatu
ip:port:user:passu konverter formata proxyja kako biste dobilihttp://user:pass@ip:portstringove ili JSON. - 3
Povežite pool sa svojim radnim okvirom
Koristite stranice s uputstvima za podešavanje za Python Requests, Scrapy, Selenium ili Node.js Axios.
- 4
Izmjerite brzinu prije prvog potpunog pokretanja
Provjerite vrijeme odziva pomoću testa brzine proxyja i uklonite svaku liniju koja sporo komunicira s vašom ciljnom stranicom.
Često postavljana pitanja
Da li se promet za scraping na ProxyV4 proxyjima mjeri?
Ne. Privatni IPv4 i statički ISP se naplaćuju po IP-ju za period zakupa uz neograničen protok.
Koliko stranica dnevno može preuzeti jedna statička IP adresa?
Zavisi od ograničenja ciljne stranice. Pri brzini od 1 do 3 zahtjeva u minuti po domeni, jedna IP adresa preuzima otprilike 1.500 do 4.000 stranica dnevno bez privlačenja pažnje.
Prodajete li rotirajuće proxyje za scraping?
Još ne. Rotirajući vijetnamski proxyji dostupni su samo putem liste čekanja. Za sada, statički pool s round-robin raspodjelom obavlja isti posao za većinu planiranih crawlera.
Kako brzo pretvoriti 50 proxyja u format za Scrapy?
Zalijepite ih u konverter formata proxyja. On u pregledniku pretvara linije ip:port:user:pass u URL stringove ili JSON niz.
Kreirajte pool za scraping s fiksnim mjesečnim troškom
Privatni IPv4 u sedam zemalja i statički ISP u SAD-u i Vijetnamu, s cijenom po IP-ju i neograničenim prometom.
Pogledajte trenutne cijene za IPv4 u SAD-u