ProxyV4

Scrapy-proxy's: meta['proxy'], middleware-volgorde en rotatie

· Updated:

In Scrapy stel je per request een proxy in via request.meta['proxy'] = 'http://user:pass@ip:port'. De ingebouwde HttpProxyMiddleware (volgorde 750) zet het user:pass-deel om in een Proxy-Authorization-header. Voeg een kleine downloader-middleware toe die daarvóór draait op 740, zodat elk request van je spider een IP uit je ProxyV4-pool kan kiezen.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Private IPv4 (datacenter)
🇺🇸 Verenigde Staten
Op voorraad
Vanaf
US$ 1,10 / IP / maand
Staffelkortingen
  • 1 IPUS$ 1,85
  • 3+ IP'sUS$ 1,70
  • 10+ IP'sUS$ 1,60
  • 25+ IP'sUS$ 1,50
  • 50+ IP'sUS$ 1,40
  • 100+ IP'sUS$ 1,30
  • 200+ IP'sUS$ 1,20
  • 500+ IP'sUS$ 1,10
Koop Verenigde Staten
Private IPv4 (datacenter)
🇬🇧 Verenigd Koninkrijk
Op voorraad
Vanaf
US$ 1,10 / IP / maand
Staffelkortingen
  • 1 IPUS$ 1,85
  • 3+ IP'sUS$ 1,70
  • 10+ IP'sUS$ 1,60
  • 25+ IP'sUS$ 1,50
  • 50+ IP'sUS$ 1,40
  • 100+ IP'sUS$ 1,30
  • 200+ IP'sUS$ 1,20
  • 500+ IP'sUS$ 1,10
Koop Verenigd Koninkrijk

Waarom het middleware-nummer belangrijk is

Downloader-middlewares worden bij uitgaande requests in oplopende volgorde uitgevoerd. HttpProxyMiddleware op 750 leest meta['proxy'], verwijdert de inloggegevens uit de URL en schrijft de auth-header. Als je eigen middleware de proxy pas daarna instelt, bijvoorbeeld op 800, is de ingebouwde middleware al uitgevoerd, worden de inloggegevens nooit omgezet en reageert de proxy met 407. Door die van jou op 740 te registreren, wordt deze als eerste uitgevoerd.

InstellingAanbevolen waardeEffect
request.meta['proxy']'http://user:pass@ip:port'Stuurt dat request via de opgegeven ProxyV4-proxy
Volgorde van je middleware740Draait vóór HttpProxyMiddleware (750), zodat de login wordt gecodeerd
CONCURRENT_REQUESTS_PER_IP2 tot 4Beperkt parallelle requests per doel-IP: een nette limiet voor hoe zwaar elke server wordt belast
AUTOTHROTTLE_ENABLEDTrueLaat Scrapy vertragingen verlengen of verkorten op basis van hoe snel het doel reageert

Een rotatie-middleware in hoofdlijnen

  • Lees de proxylijst uit de instellingen in from_crawler() en bewaar deze op de middleware-instantie
  • Wijs in process_request() request.meta['proxy'] = random.choice(self.proxies) toe, tenzij het request er al een heeft
  • Wanneer een respons terugkomt met 429 of 503, probeer deze dan opnieuw met een andere proxy uit de pool in plaats van degene die net is geweigerd
  • Combineer DOWNLOAD_DELAY = 1.0 met RANDOMIZE_DOWNLOAD_DELAY = True, zodat het interval tussen requests varieert in plaats van tikt als een metronoom

De omvang van de pool bepalen

Een Scrapy-crawl kan veel requests per minuut versturen, dus het aantal IP's bepaalt hoe voorzichtig elk IP wordt belast. Bij ProxyV4 is er geen minimale bestelgrootte en daalt de prijs per IP naarmate het aantal toeneemt. Bovendien is privaat IPv4-verkeer ongelimiteerd, waardoor een grote crawl qua bandbreedte evenveel kost als een kleine. Elk IP wordt door slechts één klant gebruikt, waardoor de reputatie uitsluitend jouw eigen crawl weerspiegelt en die van niemand anders. Zie de handleiding voor webscraping voor het plannen van crawlvolume en beleefdheid.

Stap voor stap

  1. 1

    Bereid de proxy-URL's voor

    Zet je ProxyV4-regels in ip:port:user:pass om naar http://user:pass@ip:port met de proxy-formaatconverter en sla ze op in de instellingen of een bestand.

  2. 2

    Schrijf ProxyPoolMiddleware

    Implementeer in middlewares.py de functie process_request(self, request, spider) zodat deze request.meta['proxy'] = random.choice(self.proxies) instelt.

  3. 3

    Registreer deze vóór de ingebouwde middleware

    Voeg in settings.py 'myproject.middlewares.ProxyPoolMiddleware': 740 toe aan DOWNLOADER_MIDDLEWARES en stel CONCURRENT_REQUESTS_PER_IP = 2 in.

  4. 4

    Controleer de rotatie

    Haal https://proxyv4.com/api/my-ip een paar keer op met scrapy shell of een korte test-spider en controleer of het gerapporteerde IP wisselt binnen je pool.

Veelgestelde vragen

Mijn proxy-middleware op prioriteit 800 krijgt 407-fouten. Waarom?

Op 800 draait deze na HttpProxyMiddleware (750), waardoor het user:pass-deel in je proxy-URL nooit wordt omgezet in een Proxy-Authorization-header. Verplaats je middleware naar een waarde onder 750, bijvoorbeeld 740.

Kan ik de proxy voor slechts één request instellen?

Ja. Geef meta={'proxy': 'http://user:pass@ip:port'} mee wanneer je het Request aanmaakt; de ingebouwde middleware verwerkt de login dan alleen voor dat request.

Bereikt een crawl van miljoenen pagina's een bandbreedtelimiet?

Niet bij private IPv4- of statische ISP-proxy's van ProxyV4; beide bieden onbeperkte bandbreedte. De praktische limiet hangt af van hoe snel het doelwit je laat crawlen.

Bronnen

Ongelimiteerde statische IP's voor Scrapy-crawls

Private IPv4 in 7 landen plus statische ISP in de VS en Vietnam, van een enkel IP tot een grote pool, met realtime volumekortingen.

Bekijk actuele prijzen voor de VS

Related articles

Proxy's per platform
Proxy's voor webscraping: een vaste pool van IP's met onbeperkt dataverkeer
Webscraping-proxy's voor Python, Scrapy, Playwright en Selenium: een pool van private IPv4 en statische ISP-adressen, onbeperkte bandbreedte, vaste IP-prijs.
Proxy instellen
Python-requests via een geauthenticeerde proxy, stap voor stap
Stuur Python-requests via een HTTP(S)-proxy met authenticatie: bouw de proxies-dict, gebruik een Session, codeer wachtwoorden, roteer en controleer het IP.
Proxy instellen
Playwright-proxyauthenticatie, één statisch IP per context
Geef elke Playwright-context een eigen geauthenticeerde HTTP(S)-proxy in Node.js of Python, stem tijdzone en locale af op het IP en verifieer het exit-adres.
Gratis tools
Zet een proxylijst om naar het formaat dat uw tool verwacht
Zet proxylijsten in bulk om in uw browser tussen ip:port:user:pass, user:pass@ip:port, http://-URL's, SOCKS5-URI's, JSON-arrays en FoxyProxy-bestanden.
Proxy's per platform
Proxy's voor SEO rank tracking: zie de resultatenpagina die een lokale zoeker ziet
SEO rank tracking proxy's met privé-IPv4 in de VS, VK, Vietnam, Japan en 4 andere markten, zodat rankings, local packs en ads tonen wat lokale zoekers zien.
Proxy's per platform
Amazon seller proxies die elk account een permanent adres geven
Amazon seller proxies voor Seller Central, KDP en Merch: US statische ISP of UK/Japan private IPv4 per account, exclusief verhuurd en behouden bij verlenging.
IPV4 · united states
Amerikaanse privé IPv4-proxypool voor scraping, rank tracking en advertentiecontroles
Koop Amerikaanse privé IPv4-proxy's: statische datacenter-IP's, één klant per IP, onbeperkte bandbreedte. Voor scraping, SERP-tracking en ad-checks in de VS.
IPV4 · united kingdom
Britse privé IPv4-proxy voor marktplaatsen, zoekmachines en campagnes
UK private IPv4-proxy met een statisch Brits datacenter-IP voor één klant: voor eBay UK en Amazon.co.uk-research, google.co.uk-tracking en Britse ad-checks.