Scrapy-proxier: meta['proxy'], middleware-ordning och rotation
Av ProxyV4s ingenjörsteam · Updated:
I Scrapy ställs en proxy in per förfrågan via request.meta['proxy'] = 'http://user:pass@ip:port', och den inbyggda HttpProxyMiddleware (ordning 750) omvandlar user:pass-delen till en Proxy-Authorization-header. Lägg till en enkel downloader-middleware som körs före den, vid 740, så kan varje förfrågan din spider genererar välja en IP från din ProxyV4-pool.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 US$
- 3+ IP:n1,70 US$
- 10+ IP:n1,60 US$
- 25+ IP:n1,50 US$
- 50+ IP:n1,40 US$
- 100+ IP:n1,30 US$
- 200+ IP:n1,20 US$
- 500+ IP:n1,10 US$
- 1 IP1,85 US$
- 3+ IP:n1,70 US$
- 10+ IP:n1,60 US$
- 25+ IP:n1,50 US$
- 50+ IP:n1,40 US$
- 100+ IP:n1,30 US$
- 200+ IP:n1,20 US$
- 500+ IP:n1,10 US$
Varför middleware-numret spelar roll
Downloader-middlewares körs i stigande ordning på vägen ut. HttpProxyMiddleware vid 750 läser meta['proxy'], tar bort inloggningsuppgifterna från URL:en och skriver auth-headern. Om din egen middleware anger proxyn efteråt, exempelvis vid 800, har den inbyggda redan körts, inloggningsuppgifterna konverteras aldrig och proxyn svarar med 407. Genom att registrera din vid 740 körs den först.
| Inställning | Föreslaget värde | Effekt |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Skickar förfrågan via angiven ProxyV4-proxy |
| Din middleware-ordning | 740 | Körs före HttpProxyMiddleware (750), så att inloggningen kodas |
CONCURRENT_REQUESTS_PER_IP | 2 till 4 | Begränsar parallella förfrågningar per destinations-IP, en artig gräns för hur hårt varje server belastas |
AUTOTHROTTLE_ENABLED | True | Låter Scrapy förlänga eller förkorta fördröjningar baserat på hur snabbt målet svarar |
Översikt över en rotations-middleware
- Läs proxylistan från inställningarna i
from_crawler()och spara den på middleware-instansen - I
process_request(), tilldelarequest.meta['proxy'] = random.choice(self.proxies)om förfrågan inte redan har en - När ett svar returnerar
429eller503, försök igen med en annan proxy från poolen istället för den som just nekades - Kombinera
DOWNLOAD_DELAY = 1.0medRANDOMIZE_DOWNLOAD_DELAY = Trueså att intervallet mellan förfrågningar varierar istället för att ticka som en metronom
Dimensionera poolen
En Scrapy-crawl kan skicka många förfrågningar per minut, så antalet IP-adresser avgör hur skonsamt varje adress används. Hos ProxyV4 finns ingen minsta beställning och priset per IP sjunker när volymen ökar, och privat IPv4-trafik är inte volymbegränsad, så en stor crawl kostar detsamma som en liten i bandbredd. Varje IP används endast av en kund, så dess rykte speglar enbart din egen crawl och ingen annans. För planering av crawl-volym och hänsyn, se vår guide för webbskrapning.
Steg för steg
- 1
Förbered proxy-URL:erna
Konvertera dina ProxyV4
ip:port:user:pass-rader tillhttp://user:pass@ip:portmed vår proxyformat-konverterare och spara dem i inställningarna eller i en fil. - 2
Skriv ProxyPoolMiddleware
I
middlewares.py, implementeraprocess_request(self, request, spider)så att den sätterrequest.meta['proxy'] = random.choice(self.proxies). - 3
Registrera den före den inbyggda
I
settings.py, lägg till'myproject.middlewares.ProxyPoolMiddleware': 740iDOWNLOADER_MIDDLEWARESoch ställ inCONCURRENT_REQUESTS_PER_IP = 2. - 4
Bekräfta rotationen
Hämta
https://proxyv4.com/api/my-ipnågra gånger medscrapy shelleller en kort test-spider och kontrollera att den rapporterade IP-adressen växlar genom din pool.
Vanliga frågor
Min proxy-middleware med prioritet 800 får 407-fel. Varför?
Vid 800 körs den efter HttpProxyMiddleware (750), vilket innebär att user:pass i din proxy-URL aldrig omvandlas till en Proxy-Authorization-header. Flytta din middleware till ett värde under 750, t.ex. 740.
Kan jag ställa in proxyn för bara en förfrågan?
Ja. Skicka med meta={'proxy': 'http://user:pass@ip:port'} när du skapar din Request, så hanterar den inbyggda middlewaren inloggningen för enbart den förfrågan.
Når en crawl på miljontals sidor en bandbreddsgräns?
Inte med ProxyV4 privata IPv4- eller statiska ISP-proxier; båda har obegränsad bandbredd. Den praktiska gränsen är hur snabbt målet tillåter dig att crawla.
Källor
Obegränsade statiska IP-adresser för Scrapy-crawls
Privat IPv4 i 7 länder plus statisk ISP i USA och Vietnam, från en enskild IP till en stor pool, med volympriser i realtid.
Se aktuella USA-priser