ProxyV4

Mga proxy para sa web scraping: fixed pool ng mga IP na may unmetered traffic

Updated:

Ang mga proxy sa web scraping na sinisingil kada gigabyte ay nagpapamahal sa crawler sa tuwing lumalaki ang pahina, kaya naman mas matipid ang tuloy-tuloy at nakaiskedyul na mga crawler gamit ang fixed pool ng mga address na may unmetered traffic. Nagbebenta ang ProxyV4 ng pribadong IPv4 sa pitong bansa at static ISP sa US at Vietnam, na bawat isa ay may presyo kada IP nang walang pagsukat sa trapiko. Inaayos mo ang laki ng pool batay sa dami ng request kada segundo na kayang tanggapin ng mga target, at mananatiling pareho ang bayarin gaano man kabigat ang mga pahina.

Private IPv4 (datacenter)
🇺🇸 United States
May stock
Mula
$1.10 / IP / buwan
Mga diskwento batay sa dami
  • 1 IP$1.85
  • 3+ na IP$1.70
  • 10+ na IP$1.60
  • 25+ na IP$1.50
  • 50+ na IP$1.40
  • 100+ na IP$1.30
  • 200+ na IP$1.20
  • 500+ na IP$1.10
Bumili sa United States
Private IPv4 (datacenter)
🇻🇳 Vietnam
May stock
Mula
$1.10 / IP / buwan
Mga diskwento batay sa dami
  • 1 IP$1.85
  • 3+ na IP$1.70
  • 10+ na IP$1.60
  • 25+ na IP$1.50
  • 50+ na IP$1.40
  • 100+ na IP$1.30
  • 200+ na IP$1.20
  • 500+ na IP$1.10
Bumili sa Vietnam

Presyong kada IP laban sa presyong kada GB para sa crawler

TanongStatic pool (kada IP)Sinusukat na trapiko (kada GB)
Ano ang nagdidikta sa gastosDami ng mga IP at tagal ng upaNa-download na byte, kabilang ang HTML, JS, at mga asset
Ano ang mangyayari kapag lumaki ang sukat ng pahinaWala; walang limitasyon ang bandwidthLalaki rin ang bayarin kasabay nito
Ano ang naglilimita sa throughputRate limit kada IP ng bawat targetBadyet
Paano mag-scaleMagdagdag ng mga IP; bumababa ang presyo kada IP kapag maramiBumili pa ng mas maraming trapiko

Bakit naba-block ang mga scraper, at ano ang nababago ng pool

Sa pag-scrape ng mga katalogo, listahan, at pampublikong API, karamihan sa mga block ay hindi dahil sa kung sino ka kundi kung gaano ka kabilis magpadala ng request: ang isang address na lumampas sa request rate ng site ay makakatanggap ng HTTP 429. Ang pool na may 10 hanggang 100 static IP, na bawat isa ay pinapanatili sa katamtamang concurrency, ay nagpapanatili sa bawat address sa ilalim ng threshold habang ang kabuuang crawler ay tumatakbo sa bilis na kailangan mo.

Nakatutulong din dito ang single tenancy. Ang bawat IP ng ProxyV4 ay pagmamay-ari ng iisang kustomer sa buong panahon ng pag-upa, kaya ang rate history na nakikita ng target sa address na iyon ay para sa iyo lamang.

Pagtutugma ng pool sa target

  • Mga pampublikong katalogo at matataas na volume ng API: pribadong IPv4 sa United States o Singapore, ang pinakamababang presyo kada IP
  • Vietnamese e-commerce at mga lokal na portal: Vietnam IPv4 upang makuha ang mga lokal na pahina at presyo
  • Mga target na sumasala ng hosting ASN sa likod ng WAF: static ISP sa United States o Vietnam, na nakarehistro sa mga pambahay na ISP, na karaniwang nagdudulot ng mas kaunting Cloudflare challenge
  • Mga target na nangangailangan ng bagong IP sa bawat request: hindi pa ibinebenta ang mga rotating Vietnam proxy; nasa pahina ng rotating Vietnam ang waitlist

Mga setting ng crawler para magtagal ang static pool

Gumagamit ang bawat linya ng karaniwang mga kredensyal, kaya sa Python ang proxy ay proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"} lamang.

  • I-assign ang mga request nang round-robin sa buong listahan at magdagdag ng random jitter, humigit-kumulang 2 hanggang 5 segundo kada IP bawat target domain
  • Muling gamitin ang mga koneksyon gamit ang requests.Session() o isang pooled client upang hindi magbayad para sa TLS handshake sa bawat request
  • Sa Playwright at Puppeteer, i-block ang mga larawan, font, at media na hindi mo ipa-parse
  • Kapag nakatanggap ang isang IP ng HTTP 429 o 503, alisin muna ito sa rotation para mag-cooldown at mag-back off sa halip na subukan agad muli

Hakbang-hakbang

  1. 1

    Bumili ng pool na akma sa laki ng iyong mga target

    Pumili ng dami kada bansa, halimbawa US, Japan o UK IPv4. Awtomatikong nalalapat ang mga volume tier habang dumarami ang bilang.

  2. 2

    Gawing mga URL ang listahan

    I-paste ang mga linyang ip:port:user:pass sa proxy format converter upang makuha ang mga http://user:pass@ip:port string o JSON.

  3. 3

    Ikabit ang pool sa iyong framework

    Gamitin ang mga gabay sa pag-set up para sa Python Requests, Scrapy, Selenium o Node.js Axios.

  4. 4

    Sukatin bago ang unang buong pagpapatakbo

    Suriin ang bilis ng pagtugon gamit ang proxy speed test at alisin ang anumang linyang mabagal sa iyong target.

Mga madalas itanong

Sinusukat ba ang trapiko sa pag-scrape sa mga proxy ng ProxyV4?

Hindi. Ang pribadong IPv4 at static ISP ay may presyo kada IP para sa tagal ng upa na may walang limitasyong bandwidth.

Ilang pahina bawat araw ang kayang kunin ng isang static IP?

Depende ito sa rate limit ng target. Sa 1 hanggang 3 request bawat minuto kada domain, ang isang IP ay nakakakuha ng humigit-kumulang 1,500 hanggang 4,000 pahina bawat araw nang hindi kapansin-pansin.

Nagbebenta ba kayo ng rotating proxy para sa scraping?

Hindi pa. Nasa waitlist pa lamang ang rotating Vietnam proxies. Sa ngayon, ang isang static pool na may round-robin assignment ay sapat na para sa karamihan ng mga nakaiskedyul na crawl.

Paano ko mabilis na mako-convert ang 50 proxy sa format ng Scrapy?

I-paste ang mga ito sa proxy format converter. Ginagawa nitong mga URL string o JSON array sa browser ang mga linyang ip:port:user:pass.

Bumuo ng scraping pool na may fixed na buwanang gastos

Pribadong IPv4 sa pitong bansa at static ISP sa US at Vietnam, may presyo kada IP na may walang limitasyong trapiko.

Tingnan ang live na presyo ng US IPv4

Related articles

Mga gamit
Pagdidisenyo ng scraper gamit ang pool ng dedicated IPs
Gabay para sa data teams: sukatin ang pool ng private static IPs, i-rotate sa sariling code, pumili ng IPv4, ISP o IPv6, at mangolekta ng data nang responsable.
Pag-setup ng proxy
Python requests sa authenticated na proxy, bawat hakbang
Magpadala ng Python requests sa authenticated na proxy: buuin ang proxies dict, ikabit sa Session, i-encode ang password, mag-ikot ng listahan, suriin ang IP.
Pag-setup ng proxy
Playwright proxy authentication, isang static IP bawat context
Bigyan ang bawat Playwright context ng naka-auth na HTTP(S) proxy sa Node.js o Python, itugma ang timezone at locale sa IP, at kumpirmahin ang exit address.
Pag-setup ng proxy
Mga proxy sa Scrapy: meta['proxy'], ayos ng middleware, at pag-rotate
Gumamit ng authenticated HTTP(S) proxy sa Scrapy: i-set ang request.meta['proxy'], unahin sa HttpProxyMiddleware (750), mag-rotate ng IP, at i-pace ang crawl.
IPV4 · united states
Pool ng Pribadong IPv4 Proxy sa US para sa Scraping, Rank Tracking, at Pagsusuri ng Ad
Bumili ng US private IPv4 proxy: static American datacenter IP, 1 customer bawat IP, walang limitasyong bandwidth para sa scraping, SERP at US ad check.
IPV4 · vietnam
Pribadong IPv4 Proxy sa Vietnam: Isang Nakapirming IP bawat Account nang Maramihan
Mga private IPv4 proxy sa Vietnam: static datacenter IP, tig-iisang customer, at abot-kaya nang bultuhan. Para sa seeding, segundaryong Shopee shop, at tools.
ISP · united states
Static ISP Proxy sa US: Isang Home-Registered na IP na Hindi Nagbabago Kailanman
Mga US static ISP proxy sa IP mula sa consumer internet provider. Isang nakapirming American IP bawat account para sa Amazon sellers, ad account at Instagram.
Pag-setup ng proxy
Selenium WebDriver at authenticated proxies: kung ano ang gumagana
Selenium proxy auth sa ChromeDriver: bakit binabalewala ng --proxy-server ang user:pass, paano ito ayusin ng selenium-wire o extension, at pag-verify ng IP.