Proxy na web scraping: fixný pool IP adries s neobmedzeným prenosom
Updated:
Proxy na web scraping účtované za gigabajt predražujú crawler vždy, keď stránky narastú na objeme. Preto sú pravidelné a plánované crawlery výhodnejšie s fixným poolom adries s neobmedzeným prenosom dát. ProxyV4 predáva privátne IPv4 v siedmich krajinách a statické ISP v USA a vo Vietname, každú s cenou za IP bez merania prenosu. Veľkosť poolu si zvolíte podľa toho, koľko požiadaviek za sekundu cieľové weby zvládnu, a faktúra zostáva rovnaká bez ohľadu na veľkosť stránok.
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
Cena za IP verzus cena za GB pre crawler
| Otázka | Statický pool (za IP) | Meraný prenos (za GB) |
|---|---|---|
| Čo určuje cenu | Počet IP adries a dĺžka prenájmu | Stiahnuté bajty vrátane HTML, JS a assetov |
| Čo sa stane, keď stránky narastú | Nič; šírka pásma je neobmedzená | Účet rastie spolu s nimi |
| Čo obmedzuje priepustnosť | Limit požiadaviek na jednu IP cieľového webu | Rozpočet |
| Ako škálovať | Pridať IP adresy; cena za IP klesá s množstvom | Dokúpiť ďalší prenos |
Prečo dochádza k blokovaniu scraperov a čo rieši pool
Pri scrapovaní katalógov, inzerátov a verejných API väčšina blokovaní nesúvisí s tým, kto ste, ale ako rýchlo odosielate požiadavky: ak jedna adresa prekročí povolenú frekvenciu webu, dostane HTTP 429. Pool 10 až 100 statických IP adries, kde každá udržiava ohľaduplnú mieru súbehu, udrží každú adresu pod limitom, zatiaľ čo crawler ako celok beží potrebnou rýchlosťou.
Pomáha tu aj dedikované využitie (single tenancy). Každá IP adresa ProxyV4 patrí počas celého prenájmu jedinému zákazníkovi, takže história požiadaviek, ktorú cieľový server na danej adrese vidí, je výhradne vaša.
Prispôsobenie poolu cieľovému webu
- Verejné katalógy a veľkoobjemové API: privátne IPv4 v Spojených štátoch alebo v Singapure, najnižšia cena za IP
- Vietnamský e-commerce a lokálne portály: vietnamské IPv4 na získanie domácich stránok a miestnych cien
- Ciele filtrujúce hostingové ASN za WAF: statické ISP v Spojených štátoch alebo vo Vietname, registrované u bežných poskytovateľov internetu (ISP), čo zvyčajne znamená menej výziev Cloudflare
- Ciele vyžadujúce novú IP pri každej požiadavke: rotujúce vietnamské proxy zatiaľ nie sú v predaji; čakacia listina je na stránke rotujúcich proxy vo Vietname
Nastavenia crawlera pre dlhú životnosť statického poolu
Každá linka využíva štandardné prihlasovacie údaje, takže v Pythone je proxy jednoducho proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Rozdeľujte požiadavky metódou round-robin naprieč zoznamom a pridajte náhodné oneskorenie (jitter), približne 2 až 5 sekúnd na IP pre každú cieľovú doménu
- Znovupoužívajte spojenia pomocou
requests.Session()alebo klientskeho poolu, aby ste neplatili réžiu za TLS handshake pri každej požiadavke - V nástrojoch Playwright a Puppeteer blokujte obrázky, fonty a médiá, ktoré nespracovávate
- Keď IP adresa dostane HTTP 429 alebo 503, vyraďte ju na čas z rotácie a pred ďalším pokusom počkajte, namiesto okamžitého opakovania
Krok za krokom
- 1
Kúpte si pool dimenzovaný pre vaše ciele
Zvoľte si počet podľa krajiny, napríklad USA, Japonsko alebo Spojené kráľovstvo IPv4. Množstevné zľavy sa uplatňujú automaticky s rastúcim počtom.
- 2
Preveďte zoznam na adresy URL
Vložte riadky vo formáte
ip:port:user:passdo konvertora formátu proxy a získajte reťazcehttp://user:pass@ip:portalebo JSON. - 3
Zapojte pool do svojho frameworku
Použite návody na nastavenie pre Python Requests, Scrapy, Selenium alebo Node.js Axios.
- 4
Otestujte pred prvým plným spustením
Skontrolujte odozvu pomocou testu rýchlosti proxy a vyraďte každú linku, ktorá je voči vášmu cieľu pomalá.
Často kladené otázky
Je prenos dát pri scrapovaní cez proxy ProxyV4 meraný?
Nie. Privátne IPv4 a statické ISP majú cenu stanovenú za IP na celú dobu prenájmu s neobmedzenou šírkou pásma.
Koľko stránok denne dokáže stiahnuť jedna statická IP?
Závisí to od limitu požiadaviek cieľového webu. Pri 1 až 3 požiadavkách za minútu na doménu stiahne jedna IP približne 1 500 až 4 000 stránok denne bez vzbudenia pozornosti.
Predávate rotujúce proxy na scraping?
Zatiaľ nie. Rotujúce vietnamské proxy sú dostupné iba cez čakaciu listinu. V súčasnosti rovnakú úlohu pre väčšinu plánovaných zberov dát splní statický pool s priraďovaním round-robin.
Ako rýchlo prevediem 50 proxy do formátu pre Scrapy?
Vložte ich do konvertora formátu proxy. Riadky ip:port:user:pass vám priamo v prehliadači prevedie na reťazce URL alebo pole JSON.
Vytvorte si scraping pool s fixnými mesačnými nákladmi
Privátne IPv4 v siedmich krajinách a statické ISP v USA a vo Vietname s cenou za IP a neobmedzeným prenosom.
Pozrieť aktuálne ceny US IPv4