Proxy v Scrapy: meta['proxy'], pořadí middleware a rotace
Od inženýrského týmu ProxyV4 · Updated:
V Scrapy se proxy nastavuje pro každý požadavek pomocí request.meta['proxy'] = 'http://user:pass@ip:port' a vestavěný HttpProxyMiddleware (pořadí 750) převádí část user:pass na hlavičku Proxy-Authorization. Přidejte před něj vlastní downloader middleware s pořadím 740 a každý požadavek odeslaný vaším spiderem si může vybrat IP z vašeho ProxyV4 poolu.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
Proč záleží na číselném pořadí middleware
Downloader middleware se při odesílání požadavků spouštějí ve vzestupném pořadí. HttpProxyMiddleware na pozici 750 načte meta['proxy'], odstraní přihlašovací údaje z URL a vytvoří autorizační hlavičku. Pokud váš vlastní middleware nastaví proxy až poté, například na 800, vestavěný middleware již proběhl, přihlašovací údaje se nikdy nepřevedou a proxy vrátí chybu 407. Registrací vašeho middleware na pozici 740 zajistíte, že se spustí jako první.
| Nastavení | Doporučená hodnota | Účinek |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Odešle daný požadavek přes zadanou ProxyV4 proxy |
| Pořadí vašeho middleware | 740 | Spustí se před HttpProxyMiddleware (750), takže se přihlašovací údaje zakódují |
CONCURRENT_REQUESTS_PER_IP | 2 až 4 | Omezuje souběžné požadavky na jednu cílovou IP, což představuje ohleduplný limit zátěže cílového serveru |
AUTOTHROTTLE_ENABLED | True | Umožňuje Scrapy prodlužovat nebo zkracovat prodlevy podle toho, jak rychle cíl odpovídá |
Návrh rotujícího middleware
- V metodě
from_crawler()načtěte seznam proxy ze settings a uložte jej do instance middleware - V
process_request()přiřaďterequest.meta['proxy'] = random.choice(self.proxies), pokud požadavek již proxy neobsahuje - Když přijde odpověď
429nebo503, zopakujte požadavek s jinou proxy z poolu namísto té, která byla právě odmítnuta - Kombinujte
DOWNLOAD_DELAY = 1.0sRANDOMIZE_DOWNLOAD_DELAY = True, aby se interval mezi požadavky měnil a netikal pravidelně jako metronom
Dimenzování poolu
Scrapy crawler dokáže odeslat velké množství požadavků za minutu, takže počet IP adres určuje, jak šetrně bude každá z nich využívána. U ProxyV4 neexistuje minimální objednávka, cena za IP klesá s rostoucím množstvím a přenos dat u privátních IPv4 není měřen, takže velký crawl stojí z hlediska šířky pásma stejně jako malý. Každou IP využívá pouze jeden zákazník, takže její reputace odráží výhradně vaše vlastní procházení a nikoho jiného. Informace o plánování objemu procházení a ohleduplnosti najdete v průvodci web scrapingem.
Krok za krokem
- 1
Příprava URL proxy
Převeďte řádky ve formátu
ip:port:user:passod ProxyV4 nahttp://user:pass@ip:portpomocí nástroje pro převod formátu proxy a uložte je do nastavení nebo do souboru. - 2
Vytvoření ProxyPoolMiddleware
V souboru
middlewares.pynaimplementujte metoduprocess_request(self, request, spider)tak, aby nastavovalarequest.meta['proxy'] = random.choice(self.proxies). - 3
Registrace před vestavěným middleware
V souboru
settings.pypřidejte'myproject.middlewares.ProxyPoolMiddleware': 740doDOWNLOADER_MIDDLEWARESa nastavteCONCURRENT_REQUESTS_PER_IP = 2. - 4
Ověření rotace
Několikrát stáhněte
https://proxyv4.com/api/my-ippomocíscrapy shellnebo krátkého testovacího spidera a ověřte, že se vrácená IP adresa v rámci vašeho poolu střídá.
Často kladené otázky
Můj proxy middleware s prioritou 800 vrací chyby 407. Proč?
Při hodnotě 800 se spouští až po HttpProxyMiddleware (750), takže se část user:pass ve vaší URL adrese proxy nikdy nepřevede na hlavičku Proxy-Authorization. Posuňte svůj middleware před 750, např. na 740.
Mohu nastavit proxy pouze pro jeden požadavek?
Ano. Při vytváření Request předejte meta={'proxy': 'http://user:pass@ip:port'}; vestavěný middleware zajistí přihlášení pouze pro tento konkrétní požadavek.
Narazí procházení milionů stránek na limit přenosu dat?
U privátních IPv4 ani statických ISP proxy od ProxyV4 ne; obě varianty nabízejí neomezený přenos dat. Praktickým limitem je pouze to, jak rychle vám cíl dovolí procházet.
Zdroje
Neomezené statické IP pro procházení v Scrapy
Privátní IPv4 v 7 zemích a statické ISP v USA a Vietnamu, od jediné IP až po velký pool, s aktuálními množstevními cenami.
Zobrazit aktuální ceny pro USA