ProxyV4

Proxy v Scrapy: meta['proxy'], pořadí middleware a rotace

· Updated:

V Scrapy se proxy nastavuje pro každý požadavek pomocí request.meta['proxy'] = 'http://user:pass@ip:port' a vestavěný HttpProxyMiddleware (pořadí 750) převádí část user:pass na hlavičku Proxy-Authorization. Přidejte před něj vlastní downloader middleware s pořadím 740 a každý požadavek odeslaný vaším spiderem si může vybrat IP z vašeho ProxyV4 poolu.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Privátní IPv4 (datacentrové)
🇺🇸 Spojené státy
Skladem
Od
1,10 US$ / IP / měsíc
Množstevní slevy
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Koupit Spojené státy
Privátní IPv4 (datacentrové)
🇬🇧 Spojené království
Skladem
Od
1,10 US$ / IP / měsíc
Množstevní slevy
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Koupit Spojené království

Proč záleží na číselném pořadí middleware

Downloader middleware se při odesílání požadavků spouštějí ve vzestupném pořadí. HttpProxyMiddleware na pozici 750 načte meta['proxy'], odstraní přihlašovací údaje z URL a vytvoří autorizační hlavičku. Pokud váš vlastní middleware nastaví proxy až poté, například na 800, vestavěný middleware již proběhl, přihlašovací údaje se nikdy nepřevedou a proxy vrátí chybu 407. Registrací vašeho middleware na pozici 740 zajistíte, že se spustí jako první.

NastaveníDoporučená hodnotaÚčinek
request.meta['proxy']'http://user:pass@ip:port'Odešle daný požadavek přes zadanou ProxyV4 proxy
Pořadí vašeho middleware740Spustí se před HttpProxyMiddleware (750), takže se přihlašovací údaje zakódují
CONCURRENT_REQUESTS_PER_IP2 až 4Omezuje souběžné požadavky na jednu cílovou IP, což představuje ohleduplný limit zátěže cílového serveru
AUTOTHROTTLE_ENABLEDTrueUmožňuje Scrapy prodlužovat nebo zkracovat prodlevy podle toho, jak rychle cíl odpovídá

Návrh rotujícího middleware

  • V metodě from_crawler() načtěte seznam proxy ze settings a uložte jej do instance middleware
  • V process_request() přiřaďte request.meta['proxy'] = random.choice(self.proxies), pokud požadavek již proxy neobsahuje
  • Když přijde odpověď 429 nebo 503, zopakujte požadavek s jinou proxy z poolu namísto té, která byla právě odmítnuta
  • Kombinujte DOWNLOAD_DELAY = 1.0 s RANDOMIZE_DOWNLOAD_DELAY = True, aby se interval mezi požadavky měnil a netikal pravidelně jako metronom

Dimenzování poolu

Scrapy crawler dokáže odeslat velké množství požadavků za minutu, takže počet IP adres určuje, jak šetrně bude každá z nich využívána. U ProxyV4 neexistuje minimální objednávka, cena za IP klesá s rostoucím množstvím a přenos dat u privátních IPv4 není měřen, takže velký crawl stojí z hlediska šířky pásma stejně jako malý. Každou IP využívá pouze jeden zákazník, takže její reputace odráží výhradně vaše vlastní procházení a nikoho jiného. Informace o plánování objemu procházení a ohleduplnosti najdete v průvodci web scrapingem.

Krok za krokem

  1. 1

    Příprava URL proxy

    Převeďte řádky ve formátu ip:port:user:pass od ProxyV4 na http://user:pass@ip:port pomocí nástroje pro převod formátu proxy a uložte je do nastavení nebo do souboru.

  2. 2

    Vytvoření ProxyPoolMiddleware

    V souboru middlewares.py naimplementujte metodu process_request(self, request, spider) tak, aby nastavovala request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Registrace před vestavěným middleware

    V souboru settings.py přidejte 'myproject.middlewares.ProxyPoolMiddleware': 740 do DOWNLOADER_MIDDLEWARES a nastavte CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Ověření rotace

    Několikrát stáhněte https://proxyv4.com/api/my-ip pomocí scrapy shell nebo krátkého testovacího spidera a ověřte, že se vrácená IP adresa v rámci vašeho poolu střídá.

Často kladené otázky

Můj proxy middleware s prioritou 800 vrací chyby 407. Proč?

Při hodnotě 800 se spouští až po HttpProxyMiddleware (750), takže se část user:pass ve vaší URL adrese proxy nikdy nepřevede na hlavičku Proxy-Authorization. Posuňte svůj middleware před 750, např. na 740.

Mohu nastavit proxy pouze pro jeden požadavek?

Ano. Při vytváření Request předejte meta={'proxy': 'http://user:pass@ip:port'}; vestavěný middleware zajistí přihlášení pouze pro tento konkrétní požadavek.

Narazí procházení milionů stránek na limit přenosu dat?

U privátních IPv4 ani statických ISP proxy od ProxyV4 ne; obě varianty nabízejí neomezený přenos dat. Praktickým limitem je pouze to, jak rychle vám cíl dovolí procházet.

Zdroje

Neomezené statické IP pro procházení v Scrapy

Privátní IPv4 v 7 zemích a statické ISP v USA a Vietnamu, od jediné IP až po velký pool, s aktuálními množstevními cenami.

Zobrazit aktuální ceny pro USA

Related articles

Proxy podle platforem
Proxy pro web scraping: fixní pool IP adres s neomezeným přenosem
Proxy pro web scraping pro Python, Scrapy, Playwright a Selenium: pool privátních IPv4 a statických ISP adres, neomezený přenos a fixní cena za IP.
Nastavení proxy
Python requests přes ověřenou proxy krok za krokem
Posílejte požadavky v Pythonu přes ověřenou HTTP(S) proxy: vytvořte slovník proxies, napojte Session, zakódujte speciální hesla, střídejte seznam a ověřte IP.
Nastavení proxy
Autentizace Playwright proxy: jedna statická IP na kontext
Přiřaďte každému kontextu v Playwright vlastní autentizovanou HTTP(S) proxy v Node.js či Pythonu, slaďte časové pásmo i locale s IP a ověřte výstupní adresu.
Bezplatné nástroje
Převeďte seznam proxy do formátu, který váš nástroj očekává
Hromadně převádějte seznamy proxy v prohlížeči mezi ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON poli a importními soubory FoxyProxy.
Proxy podle platforem
Proxy pro sledování pozic v SEO: podívejte se na výsledky očima místních uživatelů
Proxy pro sledování pozic v SEO s privátní IPv4 v USA, Británii, Vietnamu, Japonsku a 4 dalších zemích. Pozice, local pack i reklamy uvidíte očima místních.
Proxy podle platforem
Amazon seller proxy, které každému účtu zajistí stálou adresu
Amazon seller proxy pro Seller Central, KDP a Merch: statická ISP v USA nebo privátní IPv4 v UK a Japonsku. Pouze pro vás, při prodloužení se nemění.
IPV4 · united states
Pool privátních amerických IPv4 proxy pro scraping, sledování pozic a kontrolu reklam
Kupte privátní IPv4 proxy v USA: statické americké datacenter IP, jeden klient na IP, neomezená data. Ideální pro scraping, SERP i kontrolu reklam v USA.
IPV4 · united kingdom
Privátní britské IPv4 proxy pro online tržiště, vyhledávání a kampaně
Privátní UK IPv4 proxy se statickou datacentrovou IP pro jednoho klienta. Určeno pro eBay UK, Amazon.co.uk, měření google.co.uk a kontrolu britských reklam.