Proxy pro web scraping: fixní pool IP adres s neomezeným přenosem
Updated:
U proxy pro web scraping účtovaných podle gigabajtů se crawler prodražuje pokaždé, když stránky narostou na objemu. Právě proto vycházejí pravidelné plánované crawlery levněji s fixním poolem adres a neomezeným přenosem. ProxyV4 nabízí privátní IPv4 v sedmi zemích a statické ISP v USA a Vietnamu, vždy s pevnou cenou za IP bez měření přenesených dat. Velikost poolu zvolíte podle počtu požadavků za sekundu, které cílový web toleruje, a faktura zůstává stejná bez ohledu na velikost stránek.
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
Cena za IP versus cena za GB pro crawler
| Otázka | Statický pool (za IP) | Měřený přenos (za GB) |
|---|---|---|
| Co určuje náklady | Počet IP adres a doba pronájmu | Stažené bajty včetně HTML, JS a dalších prvků |
| Co se stane, když stránky narostou | Nic, přenos dat je neomezený | Faktura roste s nimi |
| Co limituje propustnost | Rate limit na IP adresu daného cíle | Rozpočet |
| Jak škálovat | Přidat další IP; cena za IP klesá s množstvím | Dokoupit další přenos |
Proč dochází k blokování scraperů a co pool řeší
Při scrapování katalogů, inzerátů a veřejných API nesouvisí většina blokací s tím, kdo jste, ale jak rychle se ptáte: když jediná adresa překročí povolenou frekvenci požadavků webu, dostane HTTP 429. Pool 10 až 100 statických IP adres, kde každá udržuje ohleduplný souběh, udrží všechny adresy pod tímto limitem, zatímco crawler jako celek běží požadovanou rychlostí.
Pomáhá zde také dedikované využití. Každá IP adresa od ProxyV4 patří po celou dobu pronájmu jedinému zákazníkovi, takže historie požadavků, kterou cílový web na dané adrese vidí, je pouze vaše.
Výběr správného poolu podle cíle
- Veřejné katalogy a velkoobjemová API: privátní IPv4 ve Spojených státech nebo v Singapuru, nejnižší cena za IP
- Vietnamský e-commerce a místní portály: vietnamské IPv4 pro přístup k lokálním stránkám a cenám
- Cíle, které za WAF filtrují hostingové ASN: statické ISP ve Spojených státech nebo ve Vietnamu, registrované u běžných poskytovatelů internetu, což obvykle znamená méně výzev Cloudflare
- Cíle vyžadující novou IP při každém požadavku: rotující vietnamské proxy zatím nejsou v prodeji; pořadník najdete na stránce rotujících proxy ve Vietnamu
Nastavení crawleru pro dlouhodobou výdrž statického poolu
Každá linka používá standardní přihlašovací údaje, takže v Pythonu stačí proxy nastavit jako proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Rozdělujte požadavky mezi adresy v seznamu pomocí round-robin a přidejte náhodný rozptyl, zhruba 2 až 5 sekund na IP pro každou cílovou doménu
- Znovu využívejte spojení pomocí
requests.Session()nebo klienta s poolem spojení, abyste neplatili režii za TLS handshake při každém požadavku - V Playwright a Puppeteer blokujte obrázky, fonty a média, která nepotřebujete parsovat
- Když IP adresa obdrží HTTP 429 nebo 503, vyřaďte ji dočasně z rotace na zchlazení a zpomalte, místo abyste se okamžitě pokoušeli o další požadavek
Krok za krokem
- 1
Kupte si pool dimenzovaný pro vaše cíle
Vyberte množství podle zemí, například IPv4 v USA, Japonsku nebo Velké Británii. Množstevní slevy se uplatní automaticky s rostoucím počtem.
- 2
Převeďte seznam na adresy URL
Vložte řádky ve formátu
ip:port:user:passdo převodníku formátu proxy a získejte řetězcehttp://user:pass@ip:portnebo JSON. - 3
Zapojte pool do svého frameworku
Využijte návody k nastavení pro Python Requests, Scrapy, Selenium nebo Node.js Axios.
- 4
Před prvním ostrým během proveďte měření
Zkontrolujte dobu odezvy pomocí testu rychlosti proxy a vyřaďte každou linku, která má k vašemu cíli vysokou latenci.
Často kladené otázky
Měří se přenesená data při scrapování přes proxy od ProxyV4?
Ne. Privátní IPv4 a statické ISP mají fixní cenu za IP po celou dobu pronájmu s neomezeným přenosem.
Kolik stránek denně zvládne stáhnout jedna statická IP?
Záleží na rate limitu cílového webu. Při frekvenci 1 až 3 požadavky za minutu na doménu stáhne jedna IP zhruba 1 500 až 4 000 stránek denně, aniž by budila pozornost.
Prodáváte rotující proxy pro scraping?
Zatím ne. Rotující vietnamské proxy jsou dostupné pouze přes pořadník. Pro většinu plánovaných crawlů v současnosti odvede stejnou práci statický pool s round-robin rotací.
Jak rychle převést 50 proxy do formátu pro Scrapy?
Vložte je do převodníku formátu proxy. Ten přímo v prohlížeči převede řádky ip:port:user:pass na řetězce URL nebo pole JSON.
Sestavte si scraping pool s fixními měsíčními náklady
Privátní IPv4 v sedmi zemích a statické ISP v USA a Vietnamu, s cenou za IP a neomezeným přenosem.
Zkontrolovat aktuální ceny US IPv4