Scrapy-proxy's: meta['proxy'], middleware-volgorde en rotatie
Door het engineeringteam van ProxyV4 · Updated:
In Scrapy stel je per request een proxy in via request.meta['proxy'] = 'http://user:pass@ip:port'. De ingebouwde HttpProxyMiddleware (volgorde 750) zet het user:pass-deel om in een Proxy-Authorization-header. Voeg een kleine downloader-middleware toe die daarvóór draait op 740, zodat elk request van je spider een IP uit je ProxyV4-pool kan kiezen.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IPUS$ 1,85
- 3+ IP'sUS$ 1,70
- 10+ IP'sUS$ 1,60
- 25+ IP'sUS$ 1,50
- 50+ IP'sUS$ 1,40
- 100+ IP'sUS$ 1,30
- 200+ IP'sUS$ 1,20
- 500+ IP'sUS$ 1,10
- 1 IPUS$ 1,85
- 3+ IP'sUS$ 1,70
- 10+ IP'sUS$ 1,60
- 25+ IP'sUS$ 1,50
- 50+ IP'sUS$ 1,40
- 100+ IP'sUS$ 1,30
- 200+ IP'sUS$ 1,20
- 500+ IP'sUS$ 1,10
Waarom het middleware-nummer belangrijk is
Downloader-middlewares worden bij uitgaande requests in oplopende volgorde uitgevoerd. HttpProxyMiddleware op 750 leest meta['proxy'], verwijdert de inloggegevens uit de URL en schrijft de auth-header. Als je eigen middleware de proxy pas daarna instelt, bijvoorbeeld op 800, is de ingebouwde middleware al uitgevoerd, worden de inloggegevens nooit omgezet en reageert de proxy met 407. Door die van jou op 740 te registreren, wordt deze als eerste uitgevoerd.
| Instelling | Aanbevolen waarde | Effect |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Stuurt dat request via de opgegeven ProxyV4-proxy |
| Volgorde van je middleware | 740 | Draait vóór HttpProxyMiddleware (750), zodat de login wordt gecodeerd |
CONCURRENT_REQUESTS_PER_IP | 2 tot 4 | Beperkt parallelle requests per doel-IP: een nette limiet voor hoe zwaar elke server wordt belast |
AUTOTHROTTLE_ENABLED | True | Laat Scrapy vertragingen verlengen of verkorten op basis van hoe snel het doel reageert |
Een rotatie-middleware in hoofdlijnen
- Lees de proxylijst uit de instellingen in
from_crawler()en bewaar deze op de middleware-instantie - Wijs in
process_request()request.meta['proxy'] = random.choice(self.proxies)toe, tenzij het request er al een heeft - Wanneer een respons terugkomt met
429of503, probeer deze dan opnieuw met een andere proxy uit de pool in plaats van degene die net is geweigerd - Combineer
DOWNLOAD_DELAY = 1.0metRANDOMIZE_DOWNLOAD_DELAY = True, zodat het interval tussen requests varieert in plaats van tikt als een metronoom
De omvang van de pool bepalen
Een Scrapy-crawl kan veel requests per minuut versturen, dus het aantal IP's bepaalt hoe voorzichtig elk IP wordt belast. Bij ProxyV4 is er geen minimale bestelgrootte en daalt de prijs per IP naarmate het aantal toeneemt. Bovendien is privaat IPv4-verkeer ongelimiteerd, waardoor een grote crawl qua bandbreedte evenveel kost als een kleine. Elk IP wordt door slechts één klant gebruikt, waardoor de reputatie uitsluitend jouw eigen crawl weerspiegelt en die van niemand anders. Zie de handleiding voor webscraping voor het plannen van crawlvolume en beleefdheid.
Stap voor stap
- 1
Bereid de proxy-URL's voor
Zet je ProxyV4-regels in
ip:port:user:passom naarhttp://user:pass@ip:portmet de proxy-formaatconverter en sla ze op in de instellingen of een bestand. - 2
Schrijf ProxyPoolMiddleware
Implementeer in
middlewares.pyde functieprocess_request(self, request, spider)zodat dezerequest.meta['proxy'] = random.choice(self.proxies)instelt. - 3
Registreer deze vóór de ingebouwde middleware
Voeg in
settings.py'myproject.middlewares.ProxyPoolMiddleware': 740toe aanDOWNLOADER_MIDDLEWARESen stelCONCURRENT_REQUESTS_PER_IP = 2in. - 4
Controleer de rotatie
Haal
https://proxyv4.com/api/my-ipeen paar keer op metscrapy shellof een korte test-spider en controleer of het gerapporteerde IP wisselt binnen je pool.
Veelgestelde vragen
Mijn proxy-middleware op prioriteit 800 krijgt 407-fouten. Waarom?
Op 800 draait deze na HttpProxyMiddleware (750), waardoor het user:pass-deel in je proxy-URL nooit wordt omgezet in een Proxy-Authorization-header. Verplaats je middleware naar een waarde onder 750, bijvoorbeeld 740.
Kan ik de proxy voor slechts één request instellen?
Ja. Geef meta={'proxy': 'http://user:pass@ip:port'} mee wanneer je het Request aanmaakt; de ingebouwde middleware verwerkt de login dan alleen voor dat request.
Bereikt een crawl van miljoenen pagina's een bandbreedtelimiet?
Niet bij private IPv4- of statische ISP-proxy's van ProxyV4; beide bieden onbeperkte bandbreedte. De praktische limiet hangt af van hoe snel het doelwit je laat crawlen.
Bronnen
Ongelimiteerde statische IP's voor Scrapy-crawls
Private IPv4 in 7 landen plus statische ISP in de VS en Vietnam, van een enkel IP tot een grote pool, met realtime volumekortingen.
Bekijk actuele prijzen voor de VS