Proxy për Scrapy: meta['proxy'], renditja e middleware dhe rrotullimi
Nga ekipi inxhinierik i ProxyV4 · Updated:
Në Scrapy, një proxy vendoset për çdo kërkesë përmes request.meta['proxy'] = 'http://user:pass@ip:port', dhe HttpProxyMiddleware i integruar (rendi 750) e shndërron pjesën user:pass në një header Proxy-Authorization. Shtoni një downloader middleware të vogël që ekzekutohet para tij, në 740, dhe çdo kërkesë që gjeneron spider-i juaj mund të marrë një IP nga grupi juaj ProxyV4.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
Pse ka rëndësi numri i middleware-it
Downloader middlewares ekzekutohen në rend rritës gjatë daljes. HttpProxyMiddleware në 750 lexon meta['proxy'], heq kredencialet nga URL-ja dhe shkruan header-in e autentikimit. Nëse middleware-i juaj e vendos proxy-n më pas, për shembull në 800, ai i integruari tashmë është ekzekutuar, kredencialet nuk konvertohen kurrë dhe proxy përgjigjet me 407. Regjistrimi i middleware-it tuaj në 740 e vendos atë të parin.
| Cilësimi | Vlera e sugjeruar | Efekti |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Dërgon atë kërkesë përmes proxy-t të dhënë ProxyV4 |
| Rendi i middleware-it tuaj | 740 | Ekzekutohet para HttpProxyMiddleware (750), kështu që hyrja kodohet |
CONCURRENT_REQUESTS_PER_IP | 2 deri në 4 | Kufizon kërkesat paralele për çdo IP destinacioni, një kufi i matur për ngarkesën e secilit server |
AUTOTHROTTLE_ENABLED | True | Lejon që Scrapy të zgjasë ose të shkurtojë vonesat bazuar në shpejtësinë e përgjigjes së objektivit |
Përmbledhje e një middleware rrotullimi
- Lexoni listën e proxy-ve nga cilësimet në
from_crawler()dhe ruajeni atë në instancën e middleware-it - Në
process_request(), caktonirequest.meta['proxy'] = random.choice(self.proxies)përveç rastit kur kërkesa tashmë përmban një të tillë - Kur një përgjigje kthehet me
429ose503, riprovoni me një proxy tjetër nga grupi në vend të atij që sapo u refuzua - Kombinoni
DOWNLOAD_DELAY = 1.0meRANDOMIZE_DOWNLOAD_DELAY = Truenë mënyrë që diferenca midis kërkesave të ndryshojë dhe të mos ecë si metronom
Përmasat e grupit të IP-ve
Një crawl me Scrapy mund të dërgojë shumë kërkesa në minutë, kështu që numri i IP-ve përcakton se sa me kujdes përdoret secila prej tyre. Me ProxyV4 nuk ka porosi minimale dhe çmimi për IP ulet me rritjen e sasisë, si dhe trafiku privat IPv4 nuk matet, prandaj një crawl i madh kushton njëlloj si një i vogël për sa i përket gjerësisë së brezit. Çdo IP përdoret vetëm nga një klient, kështu që reputacioni i saj pasqyron vetëm crawl-in tuaj dhe të askujt tjetër. Për planifikimin e vëllimit dhe kujdesit gjatë mbledhjes së të dhënave, shihni udhëzuesin e web scraping.
Hap pas hapi
- 1
Përgatitni URL-të e proxy-ve
Konvertoni rreshtat tuaj
ip:port:user:passtë ProxyV4 nëhttp://user:pass@ip:portme konvertuesin e formatit të proxy-ve dhe ruajini në cilësime ose në një skedar. - 2
Krijoni ProxyPoolMiddleware
Në
middlewares.py, zbatoniprocess_request(self, request, spider)që të vendosërequest.meta['proxy'] = random.choice(self.proxies). - 3
Regjistrojeni para atij të integruar
Në
settings.py, shtoni'myproject.middlewares.ProxyPoolMiddleware': 740teDOWNLOADER_MIDDLEWARESdhe vendosniCONCURRENT_REQUESTS_PER_IP = 2. - 4
Konfirmoni rrotullimin
Merrni
https://proxyv4.com/api/my-ipdisa herë mescrapy shellose me një spider të shkurtër testues dhe kontrolloni që IP-ja e raportuar të ndryshojë në të gjithë grupin tuaj.
Pyetjet e shpeshta
Middleware-i im i proxy-t me prioritet 800 merr gabime 407. Pse?
Në 800 ai ekzekutohet pas HttpProxyMiddleware (750), prandaj user:pass në URL-në tuaj të proxy-t nuk shndërrohet kurrë në një header Proxy-Authorization. Zhvendoseni middleware-in tuaj nën 750, p.sh. 740.
A mund ta vendos proxy-n vetëm për një kërkesë?
Po. Kaloni meta={'proxy': 'http://user:pass@ip:port'} kur krijoni Request; middleware-i i integruar menaxhon hyrjen vetëm për atë kërkesë.
A do të arrijë një crawl me miliona faqe një kufi të gjerësisë së brezit?
Jo me proxy privatë IPv4 ose ISP statikë të ProxyV4; të dy kanë gjerësi brezi të pakufizuar. Kufiri praktik është thjesht se sa shpejt ju lejon objektivi të bëni crawl.
Burimet
IP statike pa matje trafiku për crawl me Scrapy
IPv4 private në 7 shtete plus ISP statike në SHBA dhe Vietnam, nga një IP e vetme deri në një grup të madh, me çmime të drejtpërdrejta sipas vëllimit.
Shikoni çmimet aktuale për SHBA