Scrapy proxy: meta['proxy'], poradie middleware a rotácia
Od inžinierskeho tímu ProxyV4 · Updated:
V Scrapy sa proxy nastavuje pre každú požiadavku cez request.meta['proxy'] = 'http://user:pass@ip:port' a vstavaný HttpProxyMiddleware (poradie 750) prevedie časť user:pass na hlavičku Proxy-Authorization. Pridajte jednoduchý downloader middleware s poradím 740, ktorý beží pred ním, a každá požiadavka vytvorená vaším spiderom si môže vybrať IP z vášho ProxyV4 poolu.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
Prečo na čísle middleware záleží
Downloader middleware komponenty sa pri odosielaní požiadaviek spúšťajú vo vzostupnom poradí. HttpProxyMiddleware na pozícii 750 prečíta meta['proxy'], odstráni prihlasovacie údaje z URL a zapíše autentifikačnú hlavičku. Ak váš vlastný middleware nastaví proxy až potom, napríklad na pozícii 800, vstavaný už prebehol, prihlasovacie údaje sa nikdy neskonvertujú a proxy vráti chybu 407. Zaregistrovaním vášho na pozíciu 740 ho zaradíte ako prvý.
| Nastavenie | Odporúčaná hodnota | Účinok |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Odošle danú požiadavku cez zadanú ProxyV4 proxy |
| Poradie vášho middleware | 740 | Spustí sa pred HttpProxyMiddleware (750), takže sa prihlásenie zakóduje |
CONCURRENT_REQUESTS_PER_IP | 2 až 4 | Obmedzuje paralelné požiadavky na cieľovú IP – ohľaduplný limit záťaže cieľového servera |
AUTOTHROTTLE_ENABLED | True | Umožňuje Scrapy predlžovať alebo skracovať oneskorenia podľa toho, ako rýchlo cieľ odpovedá |
Prehľad rotačného middleware
- V
from_crawler()načítajte zoznam proxy z nastavení a uložte ho v inštancii middleware - V
process_request()priraďterequest.meta['proxy'] = random.choice(self.proxies), pokiaľ už požiadavka proxy neobsahuje - Keď sa vráti odpoveď
429alebo503, zopakujte požiadavku s inou proxy z poolu namiesto tej, ktorá bola práve odmietnutá - Skombinujte
DOWNLOAD_DELAY = 1.0sRANDOMIZE_DOWNLOAD_DELAY = True, aby sa interval medzi požiadavkami menil a netikal presne ako metronóm
Dimenzovanie poolu
Scraping v Scrapy dokáže odoslať obrovské množstvo požiadaviek za minútu, takže počet IP určuje, ako šetrne sa každá z nich využíva. Pri ProxyV4 neexistuje minimálna objednávka a cena za IP klesá s rastúcim množstvom. Prenos dát pri privátnych IPv4 sa navyše nemeria, takže veľký crawl stojí na prenesených dátach rovnako ako malý. Každú IP používa výhradne jeden zákazník, jej reputácia teda odráža iba váš vlastný crawl a nikoho iného. Plánovanie objemu a ohľaduplnosti scrapingu nájdete v sprievodcovi web scrapingom.
Krok za krokom
- 1
Pripravte proxy URL
Preveďte svoje riadky ProxyV4 v tvare
ip:port:user:passnahttp://user:pass@ip:portpomocou prevodníka formátu proxy a uložte ich do nastavení alebo súboru. - 2
Vytvorte ProxyPoolMiddleware
V
middlewares.pyimplementujteprocess_request(self, request, spider)tak, aby nastavovalrequest.meta['proxy'] = random.choice(self.proxies). - 3
Zaregistrujte ho pred vstavaným
V
settings.pypridajte'myproject.middlewares.ProxyPoolMiddleware': 740doDOWNLOADER_MIDDLEWARESa nastavteCONCURRENT_REQUESTS_PER_IP = 2. - 4
Overte rotáciu
Stiahnite niekoľkokrát
https://proxyv4.com/api/my-ippomocouscrapy shellalebo krátkeho testovacieho spidera a skontrolujte, či sa zobrazená IP mení naprieč vaším poolom.
Často kladené otázky
Môj proxy middleware s prioritou 800 vracia chyby 407. Prečo?
Na pozícii 800 beží až po HttpProxyMiddleware (750), takže časť user:pass vo vašej proxy URL sa nikdy neprevedie na hlavičku Proxy-Authorization. Presuňte svoj middleware pred 750, napr. na 740.
Môžem nastaviť proxy len pre jednu požiadavku?
Áno. Pri vytváraní Request zadajte meta={'proxy': 'http://user:pass@ip:port'}; vstavaný middleware sa postará o prihlásenie iba pre túto konkrétnu požiadavku.
Narazí crawl miliónov stránok na dátový limit?
Pri privátnych IPv4 ani statických ISP proxy od ProxyV4 nie – obe ponúkajú neobmedzený prenos dát. Praktickým limitom je len to, akou rýchlosťou vám cieľový web dovolí sťahovať.
Zdroje
Neobmedzené statické IP pre scraping v Scrapy
Privátne IPv4 v 7 krajinách a statické ISP v USA a vo Vietname, od jedinej IP až po rozsiahly pool s dynamickými množstevnými zľavami.
Pozrieť aktuálne ceny v USA