Návrh scraperu postaveného na poolu dedikovaných IP
Updated:
Proxy pro web scraping rozkládají vaše požadavky mezi mnoho adres, takže žádná jednotlivá IP nenese celou zátěž crawlování. Pro většinu cílů představuje pool privátních IPv4 adres nejrychlejší a nejlevnější volbu; statické ISP adresy slouží jako záloha pro weby, které blokují rozsahy datových center. Pool rotujete ve vlastním kódu, což znamená, že vždy přesně víte, která IP stáhla jakou stránku.
Proč jedna IP přestane fungovat
Weby omezují počet požadavků, které z jedné adresy mohou přijít. Crawler běžící z vaší kancelářské linky na tento limit brzy narazí a blokace může postihnout všechny ostatní v budově. Proxy pool rozděluje zátěž, udržuje vaši vlastní síť mimo logy a umožňuje stahovat verzi stránky určenou pro návštěvníky z dané země.
Typičtí uživatelé: e-commerce týmy sledující ceny a skladové zásoby konkurence, analytici vytvářející veřejné datasety, agregátory nabídek cestování, nemovitostí a práce nebo vývojáři testující vlastní weby z jiných zemí.
Statický pool versus rotující brána
Při použití statického poolu máte seznam adres k dispozici po celou dobu pronájmu. Váš plánovač úloh vybírá IP pro každý požadavek nebo relaci, loguje ji a vyřadí jakoukoli adresu, která začne být omezována. Každá IP je dedikovaná pro jednoho uživatele, takže její reputace odráží pouze váš provoz, a pevný seznam lze snadno přidat na allowlist v interních nástrojích.
Přenos dat u privátních IPv4 a statických ISP adres se neměří. Za objemné stránky, obrázky a dlouhé procházení platíte za IP, nikoli za gigabajt.
Výběr produktu podle cílového webu
| Cíl | Produkt | Důvod |
|---|---|---|
| Veřejné katalogy, API, většina webů | Privátní IPv4 | Rychlé, cenově výhodné, sedm zemí |
| Weby, které odmítají rozsahy datových center | Statické ISP, USA nebo Vietnam | Adresy registrované u běžných poskytovatelů internetu |
| Velmi rozsáhlé procházení webů podporujících IPv6 | IPv6 | Mnoho adres za nízkou cenu za IP; ověřte, že web IPv6 přijímá |
| Lokalizované stránky v Asii | Privátní IPv4 v Japonsku, Jižní Koreji, Singapuru, Hongkongu nebo Vietnamu | Získejte obsah, který vidí místní návštěvníci |
Dimenzování poolu a pravidla odesílání požadavků
- Dimenzujte pool podle cílové frekvence požadavků: větší počet adres s mírnou zátěží na jednu IP vydrží déle než několik silně vytěžovaných adres.
- Pro celou dobu přihlášení nebo nákupního košíku ponechte jednu adresu a teprve poté přepněte.
- Posílejte realistické hlavičky, přidejte náhodné prodlevy (jitter) mezi požadavky a při chybách HTTP 429 a 403 zpomalte.
- Validujte odpovědi, aby se stránky s captchou a blokacemi nikdy nedostaly do výsledného datasetu.
- Ověřujte adresy pomocí proxy checkeru (až 100 najednou, hesla se neukládají) a pomalé nebo blokované vyřaďte.
Zapojení poolu do vaší infrastruktury
Každá adresa funguje přes HTTP(S) nebo SOCKS5 se jménem a heslem a v sekci Objednávky ji obdržíte ve formátu ip:port:user:pass. Běžné knihovny tento formát přímo přijímají; podívejte se na návody k nastavení pro Python requests, Scrapy, Playwright a Puppeteer. Desktopové nástroje bez vlastního nastavení proxy lze směrovat přes Proxifier. Stránka proxy pro web scraping přináší další tipy pro konkrétní cíle.
Sbírejte data zodpovědně
Proxy mění to, odkud požadavek přichází, nikoli to, k jakému sběru máte oprávnění. Respektujte robots.txt, podmínky webu a platné zákony o ochraně osobních údajů a neshromažďujte osobní údaje, k jejichž zpracování nemáte oprávnění. Zahlcování webu paralelními požadavky, scraping za přihlašovací branou s cizími účty a hrubé zneužívání navíc porušují i naše podmínky použití.
Často kladené otázky
Mám pro scraping začít s datacentrovými, nebo ISP proxy?
S datacentrovými. Privátní IPv4 jsou rychlejší a dostupné ve více zemích. Na statické ISP přejděte pouze tehdy, pokud cíl blokuje rozsahy datových center. Rozdíly vysvětluje srovnání typů proxy.
Je nutné používat službu rotujících proxy?
Ne. Statický pool rotovaný ve vlastním kódu vám dává plnou kontrolu nad tím, která adresa zpracovává jaký požadavek.
Měří se přenesená data?
Ne. Privátní IPv4 i statické ISP mají neomezený přenos dat; platíte za každou IP po dobu pronájmu.
Lze použít SOCKS5 se Scrapy nebo Playwright?
Ano. Placené proxy podporují HTTP(S) i SOCKS5 se jménem a heslem; na stránce dané objednávky v administraci můžete přepnout na SOCKS5 (nebo obojí). Vestavěný middleware Scrapy podporuje pouze HTTP, proto u něj ponechte HTTP. Více informací najdete v článku HTTP vs. SOCKS5.
Je web scraping legální?
Záleží na tom, co sbíráte, odkud působíte a jaké jsou podmínky daného webu. Sběr veřejných, neosobních dat při respektování robots.txt je běžnou praxí; vždy si však ověřte pravidla vztahující se na váš projekt.
Vytvořte si pool pro scraping
Objednejte si tolik privátních IPv4 adres, kolik váš crawler potřebuje; cena za IP s množstvím klesá a přenos dat se neměří.
Zobrazit ceny za datacentra v USA