ProxyV4

Návrh scraperu postaveného na poolu dedikovaných IP

Updated:

Proxy pro web scraping rozkládají vaše požadavky mezi mnoho adres, takže žádná jednotlivá IP nenese celou zátěž crawlování. Pro většinu cílů představuje pool privátních IPv4 adres nejrychlejší a nejlevnější volbu; statické ISP adresy slouží jako záloha pro weby, které blokují rozsahy datových center. Pool rotujete ve vlastním kódu, což znamená, že vždy přesně víte, která IP stáhla jakou stránku.

Proč jedna IP přestane fungovat

Weby omezují počet požadavků, které z jedné adresy mohou přijít. Crawler běžící z vaší kancelářské linky na tento limit brzy narazí a blokace může postihnout všechny ostatní v budově. Proxy pool rozděluje zátěž, udržuje vaši vlastní síť mimo logy a umožňuje stahovat verzi stránky určenou pro návštěvníky z dané země.

Typičtí uživatelé: e-commerce týmy sledující ceny a skladové zásoby konkurence, analytici vytvářející veřejné datasety, agregátory nabídek cestování, nemovitostí a práce nebo vývojáři testující vlastní weby z jiných zemí.

Statický pool versus rotující brána

Při použití statického poolu máte seznam adres k dispozici po celou dobu pronájmu. Váš plánovač úloh vybírá IP pro každý požadavek nebo relaci, loguje ji a vyřadí jakoukoli adresu, která začne být omezována. Každá IP je dedikovaná pro jednoho uživatele, takže její reputace odráží pouze váš provoz, a pevný seznam lze snadno přidat na allowlist v interních nástrojích.

Přenos dat u privátních IPv4 a statických ISP adres se neměří. Za objemné stránky, obrázky a dlouhé procházení platíte za IP, nikoli za gigabajt.

Výběr produktu podle cílového webu

CílProduktDůvod
Veřejné katalogy, API, většina webůPrivátní IPv4Rychlé, cenově výhodné, sedm zemí
Weby, které odmítají rozsahy datových centerStatické ISP, USA nebo VietnamAdresy registrované u běžných poskytovatelů internetu
Velmi rozsáhlé procházení webů podporujících IPv6IPv6Mnoho adres za nízkou cenu za IP; ověřte, že web IPv6 přijímá
Lokalizované stránky v AsiiPrivátní IPv4 v Japonsku, Jižní Koreji, Singapuru, Hongkongu nebo VietnamuZískejte obsah, který vidí místní návštěvníci

Dimenzování poolu a pravidla odesílání požadavků

  • Dimenzujte pool podle cílové frekvence požadavků: větší počet adres s mírnou zátěží na jednu IP vydrží déle než několik silně vytěžovaných adres.
  • Pro celou dobu přihlášení nebo nákupního košíku ponechte jednu adresu a teprve poté přepněte.
  • Posílejte realistické hlavičky, přidejte náhodné prodlevy (jitter) mezi požadavky a při chybách HTTP 429 a 403 zpomalte.
  • Validujte odpovědi, aby se stránky s captchou a blokacemi nikdy nedostaly do výsledného datasetu.
  • Ověřujte adresy pomocí proxy checkeru (až 100 najednou, hesla se neukládají) a pomalé nebo blokované vyřaďte.

Zapojení poolu do vaší infrastruktury

Každá adresa funguje přes HTTP(S) nebo SOCKS5 se jménem a heslem a v sekci Objednávky ji obdržíte ve formátu ip:port:user:pass. Běžné knihovny tento formát přímo přijímají; podívejte se na návody k nastavení pro Python requests, Scrapy, Playwright a Puppeteer. Desktopové nástroje bez vlastního nastavení proxy lze směrovat přes Proxifier. Stránka proxy pro web scraping přináší další tipy pro konkrétní cíle.

Sbírejte data zodpovědně

Proxy mění to, odkud požadavek přichází, nikoli to, k jakému sběru máte oprávnění. Respektujte robots.txt, podmínky webu a platné zákony o ochraně osobních údajů a neshromažďujte osobní údaje, k jejichž zpracování nemáte oprávnění. Zahlcování webu paralelními požadavky, scraping za přihlašovací branou s cizími účty a hrubé zneužívání navíc porušují i naše podmínky použití.

Často kladené otázky

Mám pro scraping začít s datacentrovými, nebo ISP proxy?

S datacentrovými. Privátní IPv4 jsou rychlejší a dostupné ve více zemích. Na statické ISP přejděte pouze tehdy, pokud cíl blokuje rozsahy datových center. Rozdíly vysvětluje srovnání typů proxy.

Je nutné používat službu rotujících proxy?

Ne. Statický pool rotovaný ve vlastním kódu vám dává plnou kontrolu nad tím, která adresa zpracovává jaký požadavek.

Měří se přenesená data?

Ne. Privátní IPv4 i statické ISP mají neomezený přenos dat; platíte za každou IP po dobu pronájmu.

Lze použít SOCKS5 se Scrapy nebo Playwright?

Ano. Placené proxy podporují HTTP(S) i SOCKS5 se jménem a heslem; na stránce dané objednávky v administraci můžete přepnout na SOCKS5 (nebo obojí). Vestavěný middleware Scrapy podporuje pouze HTTP, proto u něj ponechte HTTP. Více informací najdete v článku HTTP vs. SOCKS5.

Je web scraping legální?

Záleží na tom, co sbíráte, odkud působíte a jaké jsou podmínky daného webu. Sběr veřejných, neosobních dat při respektování robots.txt je běžnou praxí; vždy si však ověřte pravidla vztahující se na váš projekt.

Vytvořte si pool pro scraping

Objednejte si tolik privátních IPv4 adres, kolik váš crawler potřebuje; cena za IP s množstvím klesá a přenos dat se neměří.

Zobrazit ceny za datacentra v USA

Related articles

Případy užití
Nastavení rank trackingu pro věrohodné lokální pozice
Sledujte pozice na Googlu očima místních uživatelů: naplánujte si IP pro každý trh, volte správné tempo dotazů a vyvarujte se zkreslených dat.
Proxy podle platforem
Proxy pro web scraping: fixní pool IP adres s neomezeným přenosem
Proxy pro web scraping pro Python, Scrapy, Playwright a Selenium: pool privátních IPv4 a statických ISP adres, neomezený přenos a fixní cena za IP.
Znalostní báze
Datacenter, ISP nebo residential: vysvětlení tří typů proxy IP
ISP vs datacenter vs residential proxy: kdo vlastní IP, kde běží, jak dlouho vydrží, jak se účtuje a co se hodí pro účty, reklamy nebo sběr dat.
Nastavení proxy
Proxy v Scrapy: meta['proxy'], pořadí middleware a rotace
Použijte v Scrapy ověřené HTTP(S) proxy: nastavte request.meta['proxy'], řaďte middleware před HttpProxyMiddleware (750), rotujte IP a řiďte tempo procházení.
Bezplatné nástroje
Hromadná kontrola proxy: stav, výstupní IP a latence
Bezplatný online proxy checker: vložte až 100 řádků ip:port:user:pass a zjistěte funkčnost, výstupní IP, latenci i význam jednotlivých chybových stavů.
ISP · vietnam
Statické vietnamské ISP proxy pro hlavní e-shopy a reklamní účty
Statické ISP proxy z Vietnamu s IP od běžných poskytovatelů. Pevná IP pro hlavní obchody Shopee, TikTok Shop, reklamní účty na Facebooku i Zalo OA.
ISP · united states
Statické americké ISP proxy: IP registrovaná pro domácnosti, která se nikdy nemění
Statické ISP proxy v USA na IP registrovaných u běžných poskytovatelů internetu. Jedna pevná americká IP na účet pro prodejce na Amazonu, reklamy i Instagram.
Proxy podle platforem
Proxy pro prodejce na TikTok Shopu, kteří spravují více obchodů
Proxy pro TikTok Shop pro prodejce s více obchody: statická ISP či privátní IPv4 pro obchod v USA, Vietnamu, UK a Singapuru. Stejná IP i při prodloužení.