Scrapy-proxyer: meta['proxy'], middleware-rækkefølge og rotation
Af ProxyV4s ingeniørteam · Updated:
I Scrapy indstilles en proxy pr. anmodning via request.meta['proxy'] = 'http://user:pass@ip:port', og den indbyggede HttpProxyMiddleware (rækkefølge 750) omdanner user:pass-delen til en Proxy-Authorization-header. Tilføj en lille downloader-middleware, der kører før denne, på 740, og hver anmodning din spider genererer, kan vælge en IP fra din ProxyV4-pulje.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 US$
- 3+ IP'er1,70 US$
- 10+ IP'er1,60 US$
- 25+ IP'er1,50 US$
- 50+ IP'er1,40 US$
- 100+ IP'er1,30 US$
- 200+ IP'er1,20 US$
- 500+ IP'er1,10 US$
- 1 IP1,85 US$
- 3+ IP'er1,70 US$
- 10+ IP'er1,60 US$
- 25+ IP'er1,50 US$
- 50+ IP'er1,40 US$
- 100+ IP'er1,30 US$
- 200+ IP'er1,20 US$
- 500+ IP'er1,10 US$
Hvorfor middleware-tallet betyder noget
Downloader-middlewares kører i stigende rækkefølge på vej ud. HttpProxyMiddleware på 750 læser meta['proxy'], fjerner loginoplysningerne fra URL'en og skriver auth-headeren. Hvis din egen middleware indstiller proxyen bagefter, for eksempel på 800, har den indbyggede allerede kørt, loginoplysningerne konverteres aldrig, og proxyen svarer 407. Ved at registrere din på 740 placeres den først.
| Indstilling | Foreslået værdi | Effekt |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Sender den pågældende anmodning gennem den angivne ProxyV4-proxy |
| Din middleware-rækkefølge | 740 | Kører før HttpProxyMiddleware (750), så loginet kodes |
CONCURRENT_REQUESTS_PER_IP | 2 til 4 | Begrænser parallelle anmodninger pr. destinations-IP, en høflig grænse for, hvor hårdt hver server belastes |
AUTOTHROTTLE_ENABLED | True | Lader Scrapy forlænge eller forkorte forsinkelser baseret på, hvor hurtigt målet svarer |
Oversigt over en rotations-middleware
- Læs proxylisten fra indstillingerne i
from_crawler(), og gem den på middleware-instansen - I
process_request()tildelesrequest.meta['proxy'] = random.choice(self.proxies), medmindre anmodningen allerede indeholder en - Når et svar returneres som
429eller503, prøves det igen med en anden proxy fra puljen i stedet for den, der lige blev afvist - Kombiner
DOWNLOAD_DELAY = 1.0medRANDOMIZE_DOWNLOAD_DELAY = True, så intervallet mellem anmodninger varierer i stedet for at tikke som en metronom
Dimensionering af puljen
Et Scrapy-crawl kan sende mange anmodninger i minuttet, så antallet af IP'er bestemmer, hvor skånsomt hver enkelt bruges. Med ProxyV4 er der ingen minimumsbestilling, og prisen pr. IP falder, når mængden stiger, og privat IPv4-trafik måles ikke, så et stort crawl koster det samme som et lille i båndbredde. Hver IP bruges kun af én kunde, så dens omdømme afspejler dit eget crawl og ingen andres. Se web scraping-guiden for planlægning af crawl-volumen og høflighed.
Trin for trin
- 1
Forbered proxy-URL'erne
Konverter dine ProxyV4-linjer i formatet
ip:port:user:passtilhttp://user:pass@ip:portmed proxy-formatkonverteren, og gem dem i settings eller i en fil. - 2
Skriv ProxyPoolMiddleware
I
middlewares.pyimplementeresprocess_request(self, request, spider), så den sætterrequest.meta['proxy'] = random.choice(self.proxies). - 3
Registrer den før den indbyggede
I
settings.pytilføjes'myproject.middlewares.ProxyPoolMiddleware': 740tilDOWNLOADER_MIDDLEWARES, og sætCONCURRENT_REQUESTS_PER_IP = 2. - 4
Bekræft rotation
Hent
https://proxyv4.com/api/my-ipet par gange medscrapy shelleller en kort test-spider, og kontrollér, at den rapporterede IP ændrer sig på tværs af din pulje.
Ofte stillede spørgsmål
Min proxy-middleware med prioritet 800 får 407-fejl. Hvorfor?
På 800 kører den efter HttpProxyMiddleware (750), så user:pass i din proxy-URL bliver aldrig omdannet til en Proxy-Authorization-header. Flyt din middleware til under 750, f.eks. 740.
Kan jeg indstille proxyen for blot en enkelt anmodning?
Ja. Send meta={'proxy': 'http://user:pass@ip:port'}, når du opretter Request; den indbyggede middleware håndterer kun loginet for den pågældende anmodning.
Vil et crawl af millioner af sider ramme en båndbreddegrænse?
Ikke på private IPv4- eller statiske ISP-proxyer fra ProxyV4; begge har ubegrænset båndbredde. Den praktiske grænse er, hvor hurtigt målet tillader dig at crawle.
Kilder
Ubegrænsede statiske IP'er til Scrapy-crawls
Privat IPv4 i 7 lande samt statisk ISP i USA og Vietnam, fra en enkelt IP til en stor pulje, med live mængdepriser.
Tjek aktuelle priser i USA