Scrapy-proxyk: meta['proxy'], middleware-sorrend és rotáció
A ProxyV4 mérnökcsapatától · Updated:
A Scrapyben a proxyt kérésenként a request.meta['proxy'] = 'http://user:pass@ip:port' beállítással adhatja meg, a beépített HttpProxyMiddleware (sorrend: 750) pedig a user:pass részt Proxy-Authorization fejléccé alakítja. Ha beiktat elé egy egyszerű downloader middleware-t a 740-es prioritással, a spider által indított minden kérés választhat egy IP-t a ProxyV4 készletéből.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
Miért számít a middleware sorszáma
A downloader middleware-ek kimenő irányban növekvő számsorrendben futnak le. A 750-es sorszámú HttpProxyMiddleware beolvassa a meta['proxy'] értékét, eltávolítja a hitelesítési adatokat az URL-ből, és előállítja az auth fejlécet. Ha a saját middleware-e ezt követően – például 800-as értéknél – állítja be a proxyt, a beépített összetevő már lefutott, a hitelesítési adatok átalakítása nem történik meg, és a proxy 407-es hibát ad. Ha a sajátját a 740-es számmal regisztrálja, az kerül előre.
| Beállítás | Javasolt érték | Hatás |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Az adott kérést a megadott ProxyV4 proxyn keresztül küldi el |
| A saját middleware sorrendje | 740 | A HttpProxyMiddleware (750) előtt fut le, így a bejelentkezési adatok kódolása megtörténik |
CONCURRENT_REQUESTS_PER_IP | 2 és 4 között | Korlátozza az egy cél-IP-re jutó párhuzamos kérések számát, kímélve a célkiszolgálót |
AUTOTHROTTLE_ENABLED | True | Lehetővé teszi, hogy a Scrapy a céloldal válaszidejéhez igazítva növelje vagy csökkentse a késleltetést |
Egy rotációs middleware vázlata
- Olvassa be a proxylistát a beállításokból a
from_crawler()metódusban, és tárolja a middleware példányán - A
process_request()metódusban rendelje hozzá arequest.meta['proxy'] = random.choice(self.proxies)értéket, hacsak a kérés már nem tartalmaz proxyt - Ha a válasz
429vagy503kóddal érkezik vissza, próbálja újra a készlet egy másik proxyjával a visszautasított helyett - Kombinálja a
DOWNLOAD_DELAY = 1.0beállítást aRANDOMIZE_DOWNLOAD_DELAY = Trueopcióval, hogy a kérések közötti időköz változó legyen, és ne metronómként ketyegjen
A készlet méretezése
Egy Scrapy crawl percenként rendkívül sok kérést indíthat, így az IP-k száma határozza meg, mekkora terhelés jut egy-egy címre. A(z) ProxyV4 esetében nincs minimális rendelési limit, a darabár a mennyiség növekedésével csökken, a privát IPv4 adatforgalom pedig korlátlan, így a sávszélesség szempontjából egy nagyobb adatgyűjtés sem kerül többe egy kisebbnél. Minden IP-t kizárólag egyetlen ügyfél használ, így a hírneve csakis az Ön lekéréseit tükrözi, senki másét. A lekérdezési volumen és az udvarias terhelés megtervezéséhez tekintse meg a web scraping útmutatót.
Lépésről lépésre
- 1
Készítse elő a proxy URL-eket
Alakítsa át a ProxyV4
ip:port:user:passsoraithttp://user:pass@ip:portformátumra a proxyformátum-átalakítóval, majd mentse őket a beállításokba vagy egy fájlba. - 2
Írja meg a ProxyPoolMiddleware osztályt
A
middlewares.pyfájlban valósítsa meg aprocess_request(self, request, spider)metódust úgy, hogy beállítsa arequest.meta['proxy'] = random.choice(self.proxies)értéket. - 3
Regisztrálja a beépített összetevő elé
A
settings.pyfájlban adja hozzá a'myproject.middlewares.ProxyPoolMiddleware': 740értéket aDOWNLOADER_MIDDLEWARESszótárhoz, és állítsa be aCONCURRENT_REQUESTS_PER_IP = 2értéket. - 4
Ellenőrizze a rotációt
Kérje le a
https://proxyv4.com/api/my-ipcímet néhányszor ascrapy shellvagy egy rövid teszt-spider segítségével, és ellenőrizze, hogy a visszakapott IP-cím változik-e a készletéből.
Gyakran ismételt kérdések
A 800-as prioritású proxy middleware 407-es hibát ad. Miért?
A 800-as értéknél a HttpProxyMiddleware (750) után fut le, így a proxy URL-ben lévő user:pass soha nem alakul át Proxy-Authorization fejléccé. Állítsa a middleware sorszámát 750 alá, például 740-re.
Beállíthatom a proxyt csak egyetlen kéréshez?
Igen. Adja át a meta={'proxy': 'http://user:pass@ip:port'} paramétert a Request létrehozásakor; a beépített middleware kizárólag ennél a kérésnél intézi a bejelentkezést.
Több millió oldal crawlolása eléri az adatforgalmi korlátot?
A(z) ProxyV4 privát IPv4 vagy statikus ISP proxyjain nem; mindkettő korlátlan sávszélességet biztosít. A gyakorlati korlátot az jelenti, hogy a céloldal milyen gyors adatgyűjtést engedélyez.
Források
Korlátlan forgalmú statikus IP-k Scrapy-adatgyűjtéshez
Privát IPv4 7 országban, valamint statikus ISP az Egyesült Államokban és Vietnámban, az egyetlen IP-től a nagyméretű készletig, dinamikus mennyiségi árazással.
Élő USA-árak megtekintése