Proxyji za web scraping: fiksni bazen IP adresa s neograničenim prometom
Updated:
Proxyji za web scraping koji se naplaćuju po gigabajtu poskupljuju crawler svaki put kada stranica postane teža, zbog čega su stabilni, raspoređeni crawler-i isplativiji uz fiksni bazen adresa s neograničenim prometom. ProxyV4 nudi privatni IPv4 u sedam zemalja i statički ISP u SAD-u i Vijetnamu, svaki s cijenom po IP-ju bez obračuna prometa. Veličinu bazena određujete prema tome koliko zahtjeva u sekundi ciljane stranice podnose, a račun ostaje isti bez obzira na veličinu stranica.
- 1 IP1,85 USD
- 3+ IP-ova1,70 USD
- 10+ IP-ova1,60 USD
- 25+ IP-ova1,50 USD
- 50+ IP-ova1,40 USD
- 100+ IP-ova1,30 USD
- 200+ IP-ova1,20 USD
- 500+ IP-ova1,10 USD
- 1 IP1,85 USD
- 3+ IP-ova1,70 USD
- 10+ IP-ova1,60 USD
- 25+ IP-ova1,50 USD
- 50+ IP-ova1,40 USD
- 100+ IP-ova1,30 USD
- 200+ IP-ova1,20 USD
- 500+ IP-ova1,10 USD
Usporedba cijena po IP-ju i po GB-u za crawler
| Pitanje | Statički bazen (po IP-ju) | Obračun po prometu (po GB-u) |
|---|---|---|
| Što određuje cijenu | Broj IP adresa i razdoblje najma | Preuzeti bajtovi, uključujući HTML, JS i datoteke |
| Što se događa kada stranice postanu teže | Ništa; promet je neograničen | Račun raste s njima |
| Što ograničava propusnost | Ograničenje broja zahtjeva po IP-ju za svaku stranicu | Proračun |
| Kako skalirati | Dodajte IP adrese; cijena po IP-ju pada s količinom | Kupite više prometa |
Zašto scraperi bivaju blokirani i što bazen mijenja
Pri scraping-u kataloga, oglasa i javnih API-ja, većina blokada ne nastaje zbog toga tko ste, već koliko brzo šaljete upite: adresa koja premaši dopuštenu učestalost zahtjeva stranice dobiva HTTP 429. Bazen od 10 do 100 statičkih IP adresa, gdje se svaka drži na umjerenom broju paralelnih zahtjeva, zadržava svaku adresu ispod praga dok crawler u cjelini radi potrebnom brzinom.
Zasebno dodjeljivanje također pomaže. Svaki ProxyV4 IP pripada samo jednom korisniku tijekom cijelog najma, pa je povijest zahtjeva koju ciljano web-mjesto vidi na toj adresi isključivo vaša.
Usklađivanje bazena s ciljanim web-mjestom
- Javni katalozi i API-ji velikog volumena: privatni IPv4 u Sjedinjenim Američkim Državama ili Singapuru, najniža cijena po IP-ju
- Vijetnamska e-trgovina i lokalni portali: vijetnamski IPv4 za pristup lokalnim stranicama i domaćim cijenama
- Ciljevi koji filtriraju hosting ASN-ove iza WAF-a: statički ISP u Sjedinjenim Američkim Državama ili Vijetnamu, registriran kod rezidencijalnih ISP pružatelja, što obično znači manje Cloudflare provjera
- Ciljevi koji zahtijevaju novi IP pri svakom zahtjevu: rotirajući vijetnamski proxyji još nisu u prodaji; lista čekanja nalazi se na stranici za rotirajući Vijetnam
Postavke crawler-a koje produžuju vijek trajanja statičkog bazena
Svaka linija koristi standardne vjerodajnice, pa je u Pythonu proxy jednostavno proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Raspoređujte zahtjeve round-robin metodom po popisu i dodajte nasumični odmak (jitter), otprilike 2 do 5 sekundi po IP-ju za ciljanu domenu
- Ponovno koristite veze uz
requests.Session()ili klijent s bazenom veza kako ne biste trošili resurse na TLS rukovanje pri svakom zahtjevu - U alatima Playwright i Puppeteer blokirajte slike, fontove i medijske datoteke koje ne obrađujete
- Kada IP dobije HTTP 429 ili 503, uklonite ga iz rotacije radi hlađenja i usporite umjesto trenutnog ponovnog slanja zahtjeva
Korak po korak
- 1
- 2
Pretvorite popis u URL-ove
Zalijepite retke formata
ip:port:user:passu pretvarač formata proxyja kako biste dobili nizovehttp://user:pass@ip:portili JSON. - 3
Povežite bazen sa svojim radnim okvirom
Upotrijebite stranice s uputama za Python Requests, Scrapy, Selenium ili Node.js Axios.
- 4
Izmjerite performanse prije prvog punog pokretanja
Provjerite vremena odziva pomoću testa brzine proxyja i uklonite svaku liniju koja je spora prema vašem cilju.
Često postavljana pitanja
Mjeri li se scraping promet na ProxyV4 proxyjima?
Ne. Privatni IPv4 i statički ISP plaćaju se po IP-ju za razdoblje najma uz neograničen promet.
Koliko stranica dnevno može preuzeti jedna statička IP adresa?
Ovisi o ograničenju učestalosti zahtjeva ciljanog web-mjesta. Uz 1 do 3 zahtjeva u minuti po domeni, jedan IP dohvaća otprilike 1,500 do 4,000 stranica dnevno bez privlačenja pažnje.
Prodajete li rotirajuće proxyje za scraping?
Još ne. Rotirajući vijetnamski proxyji dostupni su samo putem liste čekanja. Za sada, statički bazen s round-robin dodjelom obavlja isti posao za većinu planiranih crawlera.
Kako brzo pretvoriti 50 proxyja u format za Scrapy?
Zalijepite ih u pretvarač formata proxyja. On pretvara retke oblika ip:port:user:pass u URL nizove ili JSON polje unutar preglednika.
Izgradite bazen za scraping uz fiksni mjesečni trošak
Privatni IPv4 u sedam zemalja i statički ISP u SAD-u i Vijetnamu, s cijenom po IP-ju i neograničenim prometom.
Provjerite trenutne cijene za US IPv4