Mga proxy para sa web scraping: fixed pool ng mga IP na may unmetered traffic
Updated:
Ang mga proxy sa web scraping na sinisingil kada gigabyte ay nagpapamahal sa crawler sa tuwing lumalaki ang pahina, kaya naman mas matipid ang tuloy-tuloy at nakaiskedyul na mga crawler gamit ang fixed pool ng mga address na may unmetered traffic. Nagbebenta ang ProxyV4 ng pribadong IPv4 sa pitong bansa at static ISP sa US at Vietnam, na bawat isa ay may presyo kada IP nang walang pagsukat sa trapiko. Inaayos mo ang laki ng pool batay sa dami ng request kada segundo na kayang tanggapin ng mga target, at mananatiling pareho ang bayarin gaano man kabigat ang mga pahina.
- 1 IP$1.85
- 3+ na IP$1.70
- 10+ na IP$1.60
- 25+ na IP$1.50
- 50+ na IP$1.40
- 100+ na IP$1.30
- 200+ na IP$1.20
- 500+ na IP$1.10
- 1 IP$1.85
- 3+ na IP$1.70
- 10+ na IP$1.60
- 25+ na IP$1.50
- 50+ na IP$1.40
- 100+ na IP$1.30
- 200+ na IP$1.20
- 500+ na IP$1.10
Presyong kada IP laban sa presyong kada GB para sa crawler
| Tanong | Static pool (kada IP) | Sinusukat na trapiko (kada GB) |
|---|---|---|
| Ano ang nagdidikta sa gastos | Dami ng mga IP at tagal ng upa | Na-download na byte, kabilang ang HTML, JS, at mga asset |
| Ano ang mangyayari kapag lumaki ang sukat ng pahina | Wala; walang limitasyon ang bandwidth | Lalaki rin ang bayarin kasabay nito |
| Ano ang naglilimita sa throughput | Rate limit kada IP ng bawat target | Badyet |
| Paano mag-scale | Magdagdag ng mga IP; bumababa ang presyo kada IP kapag marami | Bumili pa ng mas maraming trapiko |
Bakit naba-block ang mga scraper, at ano ang nababago ng pool
Sa pag-scrape ng mga katalogo, listahan, at pampublikong API, karamihan sa mga block ay hindi dahil sa kung sino ka kundi kung gaano ka kabilis magpadala ng request: ang isang address na lumampas sa request rate ng site ay makakatanggap ng HTTP 429. Ang pool na may 10 hanggang 100 static IP, na bawat isa ay pinapanatili sa katamtamang concurrency, ay nagpapanatili sa bawat address sa ilalim ng threshold habang ang kabuuang crawler ay tumatakbo sa bilis na kailangan mo.
Nakatutulong din dito ang single tenancy. Ang bawat IP ng ProxyV4 ay pagmamay-ari ng iisang kustomer sa buong panahon ng pag-upa, kaya ang rate history na nakikita ng target sa address na iyon ay para sa iyo lamang.
Pagtutugma ng pool sa target
- Mga pampublikong katalogo at matataas na volume ng API: pribadong IPv4 sa United States o Singapore, ang pinakamababang presyo kada IP
- Vietnamese e-commerce at mga lokal na portal: Vietnam IPv4 upang makuha ang mga lokal na pahina at presyo
- Mga target na sumasala ng hosting ASN sa likod ng WAF: static ISP sa United States o Vietnam, na nakarehistro sa mga pambahay na ISP, na karaniwang nagdudulot ng mas kaunting Cloudflare challenge
- Mga target na nangangailangan ng bagong IP sa bawat request: hindi pa ibinebenta ang mga rotating Vietnam proxy; nasa pahina ng rotating Vietnam ang waitlist
Mga setting ng crawler para magtagal ang static pool
Gumagamit ang bawat linya ng karaniwang mga kredensyal, kaya sa Python ang proxy ay proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"} lamang.
- I-assign ang mga request nang round-robin sa buong listahan at magdagdag ng random jitter, humigit-kumulang 2 hanggang 5 segundo kada IP bawat target domain
- Muling gamitin ang mga koneksyon gamit ang
requests.Session()o isang pooled client upang hindi magbayad para sa TLS handshake sa bawat request - Sa Playwright at Puppeteer, i-block ang mga larawan, font, at media na hindi mo ipa-parse
- Kapag nakatanggap ang isang IP ng HTTP 429 o 503, alisin muna ito sa rotation para mag-cooldown at mag-back off sa halip na subukan agad muli
Hakbang-hakbang
- 1
- 2
Gawing mga URL ang listahan
I-paste ang mga linyang
ip:port:user:passsa proxy format converter upang makuha ang mgahttp://user:pass@ip:portstring o JSON. - 3
Ikabit ang pool sa iyong framework
Gamitin ang mga gabay sa pag-set up para sa Python Requests, Scrapy, Selenium o Node.js Axios.
- 4
Sukatin bago ang unang buong pagpapatakbo
Suriin ang bilis ng pagtugon gamit ang proxy speed test at alisin ang anumang linyang mabagal sa iyong target.
Mga madalas itanong
Sinusukat ba ang trapiko sa pag-scrape sa mga proxy ng ProxyV4?
Hindi. Ang pribadong IPv4 at static ISP ay may presyo kada IP para sa tagal ng upa na may walang limitasyong bandwidth.
Ilang pahina bawat araw ang kayang kunin ng isang static IP?
Depende ito sa rate limit ng target. Sa 1 hanggang 3 request bawat minuto kada domain, ang isang IP ay nakakakuha ng humigit-kumulang 1,500 hanggang 4,000 pahina bawat araw nang hindi kapansin-pansin.
Nagbebenta ba kayo ng rotating proxy para sa scraping?
Hindi pa. Nasa waitlist pa lamang ang rotating Vietnam proxies. Sa ngayon, ang isang static pool na may round-robin assignment ay sapat na para sa karamihan ng mga nakaiskedyul na crawl.
Paano ko mabilis na mako-convert ang 50 proxy sa format ng Scrapy?
I-paste ang mga ito sa proxy format converter. Ginagawa nitong mga URL string o JSON array sa browser ang mga linyang ip:port:user:pass.
Bumuo ng scraping pool na may fixed na buwanang gastos
Pribadong IPv4 sa pitong bansa at static ISP sa US at Vietnam, may presyo kada IP na may walang limitasyong trapiko.
Tingnan ang live na presyo ng US IPv4