Scrapy proxyji: meta['proxy'], vrstni red middleware in rotacija
Avtor: inženirska ekipa ProxyV4 · Updated:
V Scrapyju se proxy nastavi za vsak zahtevek z request.meta['proxy'] = 'http://user:pass@ip:port', vgrajeni HttpProxyMiddleware (vrstni red 750) pa del user:pass pretvori v glavo Proxy-Authorization. Dodajte majhen downloader middleware, ki se izvede pred njim, pri 740, in vsak zahtevek vašega pajka lahko izbere IP iz vašega nabora pri ProxyV4.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 $
- 3+ IP-jev1,70 $
- 10+ IP-jev1,60 $
- 25+ IP-jev1,50 $
- 50+ IP-jev1,40 $
- 100+ IP-jev1,30 $
- 200+ IP-jev1,20 $
- 500+ IP-jev1,10 $
- 1 IP1,85 $
- 3+ IP-jev1,70 $
- 10+ IP-jev1,60 $
- 25+ IP-jev1,50 $
- 50+ IP-jev1,40 $
- 100+ IP-jev1,30 $
- 200+ IP-jev1,20 $
- 500+ IP-jev1,10 $
Zakaj je številka middleware pomembna
Downloader middleware se ob odhodnih zahtevkih izvajajo v naraščajočem vrstnem redu. HttpProxyMiddleware pri 750 prebere meta['proxy'], odstrani prijavne podatke iz URL-ja in zapiše avtentikacijsko glavo. Če vaš lastni middleware nastavi proxy kasneje, na primer pri 800, se je vgrajeni že izvedel, prijavni podatki se nikoli ne pretvorijo in proxy vrne 407. Z registracijo svojega pri 740 ga postavite na prvo mesto.
| Nastavitev | Predlagana vrednost | Učinek |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Pošlje ta zahtevek prek navedenega proxyja ProxyV4 |
| Vrstni red vašega middleware | 740 | Izvede se pred HttpProxyMiddleware (750), zato se prijava zakodira |
CONCURRENT_REQUESTS_PER_IP | 2 do 4 | Omeji vzporedne zahtevke na ciljni IP, kar je vljudna omejitev obremenitve posameznega strežnika |
AUTOTHROTTLE_ENABLED | True | Omogoča, da Scrapy podaljša ali skrajša zakasnitve glede na hitrost odziva cilja |
Zasnova middleware za rotacijo
- Preberite seznam proxyjev iz nastavitev v
from_crawler()in ga shranite v instanco middleware - V
process_request()dodeliterequest.meta['proxy'] = random.choice(self.proxies), razen če zahtevek proxy že vsebuje - Ko prejmete odgovor
429ali503, zahtevek ponovite z drugim proxyjem iz nabora namesto s tistim, ki je bil pravkar zavrnjen - Združite
DOWNLOAD_DELAY = 1.0zRANDOMIZE_DOWNLOAD_DELAY = True, da se presledek med zahtevki spreminja, namesto da utripa kot metronom
Določanje velikosti nabora
Pajkanje s Scrapy lahko pošlje veliko zahtevkov na minuto, zato število IP-jev določa, kako zmerno je posamezen IP obremenjen. Pri ProxyV4 ni minimalnega naročila, cena na IP z večanjem količine pada, promet zasebnih IPv4 pa se ne meri, zato velik zajem glede pasovne širine stane enako kot majhen. Vsak IP uporablja le ena stranka, zato njegov ugled odraža le vaše lastno plazenje in nikogar drugega. Za načrtovanje obsega zajema in vljudnosti si oglejte vodnik za spletno strganje.
Korak za korakom
- 1
Pripravite URL-je proxyjev
Pretvorite svoje vrstice ProxyV4
ip:port:user:passvhttp://user:pass@ip:ports pretvornikom formata proxyjev in jih shranite v nastavitve ali datoteko. - 2
Napišite ProxyPoolMiddleware
V
middlewares.pyimplementirajteprocess_request(self, request, spider), tako da nastavirequest.meta['proxy'] = random.choice(self.proxies). - 3
Registrirajte ga pred vgrajenim
V
settings.pydodajte'myproject.middlewares.ProxyPoolMiddleware': 740vDOWNLOADER_MIDDLEWARESin nastaviteCONCURRENT_REQUESTS_PER_IP = 2. - 4
Potrdite rotacijo
Nekajkrat prenesite
https://proxyv4.com/api/my-ipz ukazomscrapy shellali kratkim testnim pajkom ter preverite, ali se javljeni IP spreminja znotraj vašega nabora.
Pogosta vprašanja
Moj proxy middleware s prioriteto 800 javlja napake 407. Zakaj?
Pri 800 se izvede za HttpProxyMiddleware (750), zato se user:pass v vašem URL-ju proxyja nikoli ne pretvori v glavo Proxy-Authorization. Premaknite svoj middleware pod 750, npr. na 740.
Ali lahko proxy nastavim le za en zahtevek?
Da. Posredujte meta={'proxy': 'http://user:pass@ip:port'} ob ustvarjanju Request; vgrajeni middleware poskrbi za prijavo samo za ta zahtevek.
Ali bo plazenje po milijonih strani doseglo omejitev pasovne širine?
Ne pri zasebnih IPv4 ali statičnih ISP proxyjih ponudnika ProxyV4; oba imata neomejeno pasovno širino. Praktična omejitev je le hitrost, s katero vam cilj dovoljuje plazenje.
Viri
Neomejeni statični IP-ji za plazenje s Scrapy
Zasebni IPv4 v 7 državah ter statični ISP v ZDA in Vietnamu, od enega samega IP-ja do obsežnega nabora, s sprotnim količinskim popustom.
Preverite trenutne cene za ZDA