Scrapy-proxyer: meta['proxy'], middleware-rekkefølge og rotasjon
Av ingeniørteamet hos ProxyV4 · Updated:
I Scrapy angis en proxy per forespørsel via request.meta['proxy'] = 'http://user:pass@ip:port', og den innebygde HttpProxyMiddleware (rekkefølge 750) gjør user:pass-delen om til en Proxy-Authorization-header. Legg til en liten downloader-middleware som kjører før denne, på 740, så kan hver forespørsel spideren din genererer hente en IP fra ProxyV4-poolen din.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 USD
- 3+ IP-er1,70 USD
- 10+ IP-er1,60 USD
- 25+ IP-er1,50 USD
- 50+ IP-er1,40 USD
- 100+ IP-er1,30 USD
- 200+ IP-er1,20 USD
- 500+ IP-er1,10 USD
- 1 IP1,85 USD
- 3+ IP-er1,70 USD
- 10+ IP-er1,60 USD
- 25+ IP-er1,50 USD
- 50+ IP-er1,40 USD
- 100+ IP-er1,30 USD
- 200+ IP-er1,20 USD
- 500+ IP-er1,10 USD
Hvorfor middleware-nummeret har betydning
Downloader-middlewares kjører i stigende rekkefølge på vei ut. HttpProxyMiddleware på 750 leser meta['proxy'], fjerner påloggingsinformasjonen fra URL-en og skriver autentiseringsheaderen. Hvis din egen middleware setter proxyen etterpå, for eksempel på 800, har den innebygde allerede kjørt, påloggingsinformasjonen blir aldri konvertert, og proxyen svarer 407. Ved å registrere din på 740 blir den kjørt først.
| Innstilling | Foreslått verdi | Effekt |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Sender den aktuelle forespørselen gjennom den oppgitte ProxyV4-proxyen |
| Din middleware-rekkefølge | 740 | Kjører før HttpProxyMiddleware (750), slik at påloggingen blir kodet |
CONCURRENT_REQUESTS_PER_IP | 2 til 4 | Begrenser samtidige forespørsler per destinasjons-IP, en høflig grense for hvor hardt hver tjener belastes |
AUTOTHROTTLE_ENABLED | True | Lar Scrapy forlenge eller forkorte forsinkelser basert på hvor raskt målet svarer |
Oversikt over en rotasjons-middleware
- Les proxylisten fra innstillingene i
from_crawler()og behold den på middleware-instansen - I
process_request(), tildelrequest.meta['proxy'] = random.choice(self.proxies)med mindre forespørselen allerede har en - Når et svar kommer tilbake med
429eller503, prøv på nytt med en annen proxy fra poolen i stedet for den som akkurat ble avvist - Kombiner
DOWNLOAD_DELAY = 1.0medRANDOMIZE_DOWNLOAD_DELAY = Trueslik at oppholdet mellom forespørsler varierer i stedet for å tikke jevnt som et metronom
Dimensjonering av poolen
Et Scrapy-crawl kan sende mange forespørsler i minuttet, så antall IP-er avgjør hvor skånsomt hver enkelt brukes. Med ProxyV4 er det ingen minimumsbestilling, og prisen per IP synker når antallet øker, og privat IPv4-trafikk måles ikke, så en stor crawl koster det samme som en liten på båndbredde. Hver IP brukes kun av én kunde, så omdømmet gjenspeiler utelukkende din egen crawling og ingen andres. Se veiledningen for web scraping for planlegging av crawl-volum og hensynsfullhet.
Trinn for trinn
- 1
Klargjør proxy-URL-ene
Konverter ProxyV4-linjene dine fra
ip:port:user:passtilhttp://user:pass@ip:portmed konverteringsverktøyet for proxyformater, og lagre dem i innstillingene eller i en fil. - 2
Skriv ProxyPoolMiddleware
I
middlewares.py, implementerprocess_request(self, request, spider)slik at den setterrequest.meta['proxy'] = random.choice(self.proxies). - 3
Registrer den før den innebygde
I
settings.py, legg til'myproject.middlewares.ProxyPoolMiddleware': 740iDOWNLOADER_MIDDLEWARESog angiCONCURRENT_REQUESTS_PER_IP = 2. - 4
Bekreft rotasjon
Hent
https://proxyv4.com/api/my-ipnoen ganger medscrapy shelleller en kort test-spider, og sjekk at den rapporterte IP-en endrer seg på tvers av poolen din.
Ofte stilte spørsmål
Proxy-middlewaren min med prioritet 800 får 407-feil. Hvorfor?
På 800 kjører den etter HttpProxyMiddleware (750), så user:pass i proxy-URL-en din blir aldri gjort om til en Proxy-Authorization-header. Flytt middlewaren din under 750, f.eks. 740.
Kan jeg angi proxy for kun én forespørsel?
Ja. Send med meta={'proxy': 'http://user:pass@ip:port'} når du oppretter Request; den innebygde middlewaren håndterer påloggingen kun for den forespørselen.
Vil en crawl av millioner av sider nå en båndbreddegrense?
Ikke med ProxyV4 private IPv4- eller statiske ISP-proxyer; begge har ubegrenset båndbredde. Den praktiske grensen er hvor raskt målet lar deg crawle.
Kilder
Ubegrensede statiske IP-er for Scrapy-crawling
Privat IPv4 i 7 land pluss statisk ISP i USA og Vietnam, fra én enkelt IP til en stor pool, med oppdaterte volumpriser.
Se oppdaterte priser for USA