ProxyV4

Proxy na web scraping: fixný pool IP adries s neobmedzeným prenosom

Updated:

Proxy na web scraping účtované za gigabajt predražujú crawler vždy, keď stránky narastú na objeme. Preto sú pravidelné a plánované crawlery výhodnejšie s fixným poolom adries s neobmedzeným prenosom dát. ProxyV4 predáva privátne IPv4 v siedmich krajinách a statické ISP v USA a vo Vietname, každú s cenou za IP bez merania prenosu. Veľkosť poolu si zvolíte podľa toho, koľko požiadaviek za sekundu cieľové weby zvládnu, a faktúra zostáva rovnaká bez ohľadu na veľkosť stránok.

Privátne IPv4 (dátacentrum)
🇺🇸 Spojené štáty
Na sklade
Od
1,10 USD / IP / mesiac
Množstevné zľavy
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Kúpiť: Spojené štáty
Privátne IPv4 (dátacentrum)
🇻🇳 Vietnam
Na sklade
Od
1,10 USD / IP / mesiac
Množstevné zľavy
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Kúpiť: Vietnam

Cena za IP verzus cena za GB pre crawler

OtázkaStatický pool (za IP)Meraný prenos (za GB)
Čo určuje cenuPočet IP adries a dĺžka prenájmuStiahnuté bajty vrátane HTML, JS a assetov
Čo sa stane, keď stránky narastúNič; šírka pásma je neobmedzenáÚčet rastie spolu s nimi
Čo obmedzuje priepustnosťLimit požiadaviek na jednu IP cieľového webuRozpočet
Ako škálovaťPridať IP adresy; cena za IP klesá s množstvomDokúpiť ďalší prenos

Prečo dochádza k blokovaniu scraperov a čo rieši pool

Pri scrapovaní katalógov, inzerátov a verejných API väčšina blokovaní nesúvisí s tým, kto ste, ale ako rýchlo odosielate požiadavky: ak jedna adresa prekročí povolenú frekvenciu webu, dostane HTTP 429. Pool 10 až 100 statických IP adries, kde každá udržiava ohľaduplnú mieru súbehu, udrží každú adresu pod limitom, zatiaľ čo crawler ako celok beží potrebnou rýchlosťou.

Pomáha tu aj dedikované využitie (single tenancy). Každá IP adresa ProxyV4 patrí počas celého prenájmu jedinému zákazníkovi, takže história požiadaviek, ktorú cieľový server na danej adrese vidí, je výhradne vaša.

Prispôsobenie poolu cieľovému webu

  • Verejné katalógy a veľkoobjemové API: privátne IPv4 v Spojených štátoch alebo v Singapure, najnižšia cena za IP
  • Vietnamský e-commerce a lokálne portály: vietnamské IPv4 na získanie domácich stránok a miestnych cien
  • Ciele filtrujúce hostingové ASN za WAF: statické ISP v Spojených štátoch alebo vo Vietname, registrované u bežných poskytovateľov internetu (ISP), čo zvyčajne znamená menej výziev Cloudflare
  • Ciele vyžadujúce novú IP pri každej požiadavke: rotujúce vietnamské proxy zatiaľ nie sú v predaji; čakacia listina je na stránke rotujúcich proxy vo Vietname

Nastavenia crawlera pre dlhú životnosť statického poolu

Každá linka využíva štandardné prihlasovacie údaje, takže v Pythone je proxy jednoducho proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.

  • Rozdeľujte požiadavky metódou round-robin naprieč zoznamom a pridajte náhodné oneskorenie (jitter), približne 2 až 5 sekúnd na IP pre každú cieľovú doménu
  • Znovupoužívajte spojenia pomocou requests.Session() alebo klientskeho poolu, aby ste neplatili réžiu za TLS handshake pri každej požiadavke
  • V nástrojoch Playwright a Puppeteer blokujte obrázky, fonty a médiá, ktoré nespracovávate
  • Keď IP adresa dostane HTTP 429 alebo 503, vyraďte ju na čas z rotácie a pred ďalším pokusom počkajte, namiesto okamžitého opakovania

Krok za krokom

  1. 1

    Kúpte si pool dimenzovaný pre vaše ciele

    Zvoľte si počet podľa krajiny, napríklad USA, Japonsko alebo Spojené kráľovstvo IPv4. Množstevné zľavy sa uplatňujú automaticky s rastúcim počtom.

  2. 2

    Preveďte zoznam na adresy URL

    Vložte riadky vo formáte ip:port:user:pass do konvertora formátu proxy a získajte reťazce http://user:pass@ip:port alebo JSON.

  3. 3

    Zapojte pool do svojho frameworku

    Použite návody na nastavenie pre Python Requests, Scrapy, Selenium alebo Node.js Axios.

  4. 4

    Otestujte pred prvým plným spustením

    Skontrolujte odozvu pomocou testu rýchlosti proxy a vyraďte každú linku, ktorá je voči vášmu cieľu pomalá.

Často kladené otázky

Je prenos dát pri scrapovaní cez proxy ProxyV4 meraný?

Nie. Privátne IPv4 a statické ISP majú cenu stanovenú za IP na celú dobu prenájmu s neobmedzenou šírkou pásma.

Koľko stránok denne dokáže stiahnuť jedna statická IP?

Závisí to od limitu požiadaviek cieľového webu. Pri 1 až 3 požiadavkách za minútu na doménu stiahne jedna IP približne 1 500 až 4 000 stránok denne bez vzbudenia pozornosti.

Predávate rotujúce proxy na scraping?

Zatiaľ nie. Rotujúce vietnamské proxy sú dostupné iba cez čakaciu listinu. V súčasnosti rovnakú úlohu pre väčšinu plánovaných zberov dát splní statický pool s priraďovaním round-robin.

Ako rýchlo prevediem 50 proxy do formátu pre Scrapy?

Vložte ich do konvertora formátu proxy. Riadky ip:port:user:pass vám priamo v prehliadači prevedie na reťazce URL alebo pole JSON.

Vytvorte si scraping pool s fixnými mesačnými nákladmi

Privátne IPv4 v siedmich krajinách a statické ISP v USA a vo Vietname s cenou za IP a neobmedzeným prenosom.

Pozrieť aktuálne ceny US IPv4

Related articles

Prípady použitia
Návrh scrapera postaveného na poole dedikovaných IP adries
Sprievodca pre dátové tímy: navrhnite pool privátnych statických IP, rotujte ich vlastným kódom, vyberte IPv4, ISP či IPv6 a zbierajte dáta zodpovedne.
Nastavenie proxy
Python requests cez overenú proxy, krok za krokom
Posielajte Python requests cez overenú HTTP(S) proxy: vytvorte slovník proxies, pripojte ho k Session, kódujte heslá, rotujte zoznam a overte IP adresu.
Nastavenie proxy
Autentifikácia Playwright proxy: jedna statická IP na kontext
Nastavte overenú HTTP(S) proxy pre každý Playwright kontext v Node.js či Python, zlaďte časové pásmo aj jazyk s IP a overte si výstupnú adresu.
Nastavenie proxy
Scrapy proxy: meta['proxy'], poradie middleware a rotácia
Použite overené HTTP(S) proxy v Scrapy: nastavte request.meta['proxy'], zaraďte middleware pred HttpProxyMiddleware (750), rotujte IP a riaďte tempo scrapingu.
IPV4 · united states
Fond privátnych IPv4 proxy v USA pre scraping, sledovanie pozícií a kontrolu reklám
Kúpte privátne IPv4 proxy v USA: statické dátacentrové IP, jeden používateľ na IP a neobmedzený prenos. Ideálne na scraping, sledovanie SERP a kontrolu reklám.
IPV4 · vietnam
Privátne vietnamské IPv4 proxy: Jedna fixná IP na účet aj vo veľkom objeme
Privátne IPv4 proxy Vietnam: statické dátacentrové IP pre jedného klienta za výhodnú cenu. Vhodné na seeding profilov, vedľajšie Shopee obchody a nástroje.
ISP · united states
Statické ISP proxy v USA: Domáca IP adresa, ktorá sa nikdy nemení
Statické ISP proxy v USA na IP adresách bežných poskytovateľov. Jedna pevná americká IP na účet pre predajcov na Amazone, reklamné účty a Instagram.
Nastavenie proxy
Selenium WebDriver a overené proxy: čo funguje
Autentifikácia proxy v Selenium pre ChromeDriver: prečo --proxy-server ignoruje user:pass, ako pomôže selenium-wire či rozšírenie a ako overiť IP adresu.