Scrapy-proxies: meta['proxy'], middleware-volgorde en rotasie
Deur die ProxyV4-ingenieurspan · Updated:
In Scrapy word 'n instaanbediener per versoek ingestel via request.meta['proxy'] = 'http://user:pass@ip:port', en die ingeboude HttpProxyMiddleware (orde 750) skakel die user:pass-deel om in 'n Proxy-Authorization-opskrif. Voeg 'n klein downloader-middleware by wat voor dit loop, teen 740, en elke versoek wat jou spider lewer, kan 'n IP uit jou ProxyV4-poel kies.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IPUSD 1,85
- 3+ IP'sUSD 1,70
- 10+ IP'sUSD 1,60
- 25+ IP'sUSD 1,50
- 50+ IP'sUSD 1,40
- 100+ IP'sUSD 1,30
- 200+ IP'sUSD 1,20
- 500+ IP'sUSD 1,10
- 1 IPUSD 1,85
- 3+ IP'sUSD 1,70
- 10+ IP'sUSD 1,60
- 25+ IP'sUSD 1,50
- 50+ IP'sUSD 1,40
- 100+ IP'sUSD 1,30
- 200+ IP'sUSD 1,20
- 500+ IP'sUSD 1,10
Waarom die middleware-nommer saak maak
Downloader-middlewares loop in stygende volgorde op pad uit. HttpProxyMiddleware teen 750 lees meta['proxy'], verwyder die aanmeldbesonderhede van die URL en skryf die verifikasie-opskrif. As jou eie middleware die instaanbediener eers daarna instel, byvoorbeeld teen 800, het die ingeboude een reeds geloop, die besonderhede word nooit omgeskakel nie, en die instaanbediener antwoord met 407. Deur joune teen 740 te registreer, word dit eerste geplaas.
| Instelling | Voorgestelde waarde | Uitwerking |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Stuur daardie versoek deur die gegewe ProxyV4-instaanbediener |
| Jou middleware-volgorde | 740 | Loop voor HttpProxyMiddleware (750), sodat die aanmelding geënkodeer word |
CONCURRENT_REQUESTS_PER_IP | 2 tot 4 | Beperk parallelle versoeke per bestemming-IP, 'n hoflike perk op hoe swaar elke bediener belas word |
AUTOTHROTTLE_ENABLED | True | Laat Scrapy vertragings verleng of verkort na gelang van hoe vinnig die teiken reageer |
'n Rotasie-middleware in hooftrekke
- Lees die instaanbedienerlys vanaf instellings in
from_crawler()en hou dit op die middleware-instansie - In
process_request(), kenrequest.meta['proxy'] = random.choice(self.proxies)toe tensy die versoek reeds een het - Wanneer 'n antwoord as
429of503terugkom, probeer dit weer met 'n ander instaanbediener uit die poel in plaas van die een wat pas geweier is - Kombineer
DOWNLOAD_DELAY = 1.0metRANDOMIZE_DOWNLOAD_DELAY = Truesodat die gaping tussen versoeke wissel eerder as om soos 'n metronoom te tik
Bepaling van die poelgrootte
'n Scrapy-kruiptog kan baie versoeke per minuut uitstuur, so die aantal IP's bepaal hoe versigtig elkeen gebruik word. Met ProxyV4 is daar geen minimum bestelling nie en die prys per IP daal namate die hoeveelheid toeneem, en private IPv4-verkeer word nie gemeet nie, so 'n groot kruiptog kos dieselfde as 'n kleintjie wat bandwydte betref. Elke IP word deur net een kliënt gebruik, so die reputasie daarvan weerspieël jou eie kruiptog en niemand anders s'n nie. Vir die beplanning van kruipvolume en hoflikheid, sien die webkruipgids.
Stap vir stap
- 1
Berei die instaanbediener-URL's voor
Skakel jou ProxyV4
ip:port:user:pass-reëls om nahttp://user:pass@ip:portmet die instaanformaatomskakelaar en stoor dit in instellings of 'n lêer. - 2
Skryf ProxyPoolMiddleware
In
middlewares.py, implementeerprocess_request(self, request, spider)sodat ditrequest.meta['proxy'] = random.choice(self.proxies)stel. - 3
Registreer dit voor die ingeboude een
In
settings.py, voeg'myproject.middlewares.ProxyPoolMiddleware': 740byDOWNLOADER_MIDDLEWARESen stelCONCURRENT_REQUESTS_PER_IP = 2. - 4
Bevestig rotasie
Haal
https://proxyv4.com/api/my-ip'n paar keer op metscrapy shellof 'n kort toets-spider en kyk of die gerapporteerde IP oor jou poel heen verander.
Gereelde vrae
My instaan-middleware teen prioriteit 800 kry 407-foute. Waarom?
Teen 800 loop dit na HttpProxyMiddleware (750), so die user:pass in jou instaan-URL word nooit omgeskakel in 'n Proxy-Authorization-opskrif nie. Skuif jou middleware onder 750, bv. 740.
Kan ek die instaanbediener vir net een versoek stel?
Ja. Gee meta={'proxy': 'http://user:pass@ip:port'} mee wanneer jy die Request skep; die ingeboude middleware hanteer die aanmelding slegs vir daardie versoek.
Sal 'n kruiptog van miljoene bladsye 'n bandwydtebeperking tref?
Nie op ProxyV4 private IPv4- of statiese ISP-instaanbedieners nie; albei het onbeperkte bandwydte. Die praktiese beperking is hoe vinnig die teiken jou toelaat om te kruip.
Bronne
Ongemeet statiese IP's vir Scrapy-kruiptogte
Private IPv4 in 7 lande plus statiese ISP in die VSA en Viëtnam, van 'n enkele IP tot 'n groot poel, met intydse volumepryse.
Kyk na regstreekse VSA-pryse