ProxyV4

Proxy pro web scraping: fixní pool IP adres s neomezeným přenosem

Updated:

U proxy pro web scraping účtovaných podle gigabajtů se crawler prodražuje pokaždé, když stránky narostou na objemu. Právě proto vycházejí pravidelné plánované crawlery levněji s fixním poolem adres a neomezeným přenosem. ProxyV4 nabízí privátní IPv4 v sedmi zemích a statické ISP v USA a Vietnamu, vždy s pevnou cenou za IP bez měření přenesených dat. Velikost poolu zvolíte podle počtu požadavků za sekundu, které cílový web toleruje, a faktura zůstává stejná bez ohledu na velikost stránek.

Privátní IPv4 (datacentrové)
🇺🇸 Spojené státy
Skladem
Od
1,10 US$ / IP / měsíc
Množstevní slevy
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Koupit Spojené státy
Privátní IPv4 (datacentrové)
🇻🇳 Vietnam
Skladem
Od
1,10 US$ / IP / měsíc
Množstevní slevy
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Koupit Vietnam

Cena za IP versus cena za GB pro crawler

OtázkaStatický pool (za IP)Měřený přenos (za GB)
Co určuje nákladyPočet IP adres a doba pronájmuStažené bajty včetně HTML, JS a dalších prvků
Co se stane, když stránky narostouNic, přenos dat je neomezenýFaktura roste s nimi
Co limituje propustnostRate limit na IP adresu daného cíleRozpočet
Jak škálovatPřidat další IP; cena za IP klesá s množstvímDokoupit další přenos

Proč dochází k blokování scraperů a co pool řeší

Při scrapování katalogů, inzerátů a veřejných API nesouvisí většina blokací s tím, kdo jste, ale jak rychle se ptáte: když jediná adresa překročí povolenou frekvenci požadavků webu, dostane HTTP 429. Pool 10 až 100 statických IP adres, kde každá udržuje ohleduplný souběh, udrží všechny adresy pod tímto limitem, zatímco crawler jako celek běží požadovanou rychlostí.

Pomáhá zde také dedikované využití. Každá IP adresa od ProxyV4 patří po celou dobu pronájmu jedinému zákazníkovi, takže historie požadavků, kterou cílový web na dané adrese vidí, je pouze vaše.

Výběr správného poolu podle cíle

  • Veřejné katalogy a velkoobjemová API: privátní IPv4 ve Spojených státech nebo v Singapuru, nejnižší cena za IP
  • Vietnamský e-commerce a místní portály: vietnamské IPv4 pro přístup k lokálním stránkám a cenám
  • Cíle, které za WAF filtrují hostingové ASN: statické ISP ve Spojených státech nebo ve Vietnamu, registrované u běžných poskytovatelů internetu, což obvykle znamená méně výzev Cloudflare
  • Cíle vyžadující novou IP při každém požadavku: rotující vietnamské proxy zatím nejsou v prodeji; pořadník najdete na stránce rotujících proxy ve Vietnamu

Nastavení crawleru pro dlouhodobou výdrž statického poolu

Každá linka používá standardní přihlašovací údaje, takže v Pythonu stačí proxy nastavit jako proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.

  • Rozdělujte požadavky mezi adresy v seznamu pomocí round-robin a přidejte náhodný rozptyl, zhruba 2 až 5 sekund na IP pro každou cílovou doménu
  • Znovu využívejte spojení pomocí requests.Session() nebo klienta s poolem spojení, abyste neplatili režii za TLS handshake při každém požadavku
  • V Playwright a Puppeteer blokujte obrázky, fonty a média, která nepotřebujete parsovat
  • Když IP adresa obdrží HTTP 429 nebo 503, vyřaďte ji dočasně z rotace na zchlazení a zpomalte, místo abyste se okamžitě pokoušeli o další požadavek

Krok za krokem

  1. 1

    Kupte si pool dimenzovaný pro vaše cíle

    Vyberte množství podle zemí, například IPv4 v USA, Japonsku nebo Velké Británii. Množstevní slevy se uplatní automaticky s rostoucím počtem.

  2. 2

    Převeďte seznam na adresy URL

    Vložte řádky ve formátu ip:port:user:pass do převodníku formátu proxy a získejte řetězce http://user:pass@ip:port nebo JSON.

  3. 3

    Zapojte pool do svého frameworku

    Využijte návody k nastavení pro Python Requests, Scrapy, Selenium nebo Node.js Axios.

  4. 4

    Před prvním ostrým během proveďte měření

    Zkontrolujte dobu odezvy pomocí testu rychlosti proxy a vyřaďte každou linku, která má k vašemu cíli vysokou latenci.

Často kladené otázky

Měří se přenesená data při scrapování přes proxy od ProxyV4?

Ne. Privátní IPv4 a statické ISP mají fixní cenu za IP po celou dobu pronájmu s neomezeným přenosem.

Kolik stránek denně zvládne stáhnout jedna statická IP?

Záleží na rate limitu cílového webu. Při frekvenci 1 až 3 požadavky za minutu na doménu stáhne jedna IP zhruba 1 500 až 4 000 stránek denně, aniž by budila pozornost.

Prodáváte rotující proxy pro scraping?

Zatím ne. Rotující vietnamské proxy jsou dostupné pouze přes pořadník. Pro většinu plánovaných crawlů v současnosti odvede stejnou práci statický pool s round-robin rotací.

Jak rychle převést 50 proxy do formátu pro Scrapy?

Vložte je do převodníku formátu proxy. Ten přímo v prohlížeči převede řádky ip:port:user:pass na řetězce URL nebo pole JSON.

Sestavte si scraping pool s fixními měsíčními náklady

Privátní IPv4 v sedmi zemích a statické ISP v USA a Vietnamu, s cenou za IP a neomezeným přenosem.

Zkontrolovat aktuální ceny US IPv4

Related articles

Případy užití
Návrh scraperu postaveného na poolu dedikovaných IP
Průvodce plánováním pro datové týmy: navrhněte pool privátních statických IP, rotujte je ve svém kódu, zvolte IPv4, ISP či IPv6 a sbírejte data zodpovědně.
Nastavení proxy
Python requests přes ověřenou proxy krok za krokem
Posílejte požadavky v Pythonu přes ověřenou HTTP(S) proxy: vytvořte slovník proxies, napojte Session, zakódujte speciální hesla, střídejte seznam a ověřte IP.
Nastavení proxy
Autentizace Playwright proxy: jedna statická IP na kontext
Přiřaďte každému kontextu v Playwright vlastní autentizovanou HTTP(S) proxy v Node.js či Pythonu, slaďte časové pásmo i locale s IP a ověřte výstupní adresu.
Nastavení proxy
Proxy v Scrapy: meta['proxy'], pořadí middleware a rotace
Použijte v Scrapy ověřené HTTP(S) proxy: nastavte request.meta['proxy'], řaďte middleware před HttpProxyMiddleware (750), rotujte IP a řiďte tempo procházení.
IPV4 · united states
Pool privátních amerických IPv4 proxy pro scraping, sledování pozic a kontrolu reklam
Kupte privátní IPv4 proxy v USA: statické americké datacenter IP, jeden klient na IP, neomezená data. Ideální pro scraping, SERP i kontrolu reklam v USA.
IPV4 · vietnam
Privátní vietnamské IPv4 proxy: jedna pevná IP na účet i ve velkém objemu
Privátní IPv4 proxy Vietnam: statické datacentrové IP, pro jednoho zákazníka, výhodná cena za objem. Pro seedingové profily, vedlejší Shopee obchody a nástroje.
ISP · united states
Statické americké ISP proxy: IP registrovaná pro domácnosti, která se nikdy nemění
Statické ISP proxy v USA na IP registrovaných u běžných poskytovatelů internetu. Jedna pevná americká IP na účet pro prodejce na Amazonu, reklamy i Instagram.
Nastavení proxy
Selenium WebDriver a autentizované proxy: co funguje
Autentizace Selenium proxy v ChromeDriveru: proč --proxy-server ignoruje user:pass, jak to řeší selenium-wire či rozšíření s onAuthRequired a jak ověřit IP.