ProxyV4

Scrapy-Proxys: meta['proxy'], Middleware-Reihenfolge und Rotation

· Updated:

In Scrapy wird ein Proxy pro Request über request.meta['proxy'] = 'http://user:pass@ip:port' gesetzt, und die integrierte HttpProxyMiddleware (Reihenfolge 750) wandelt den Teil user:pass in einen Proxy-Authorization-Header um. Fügen Sie eine kleine Downloader-Middleware hinzu, die davor bei 740 läuft, und jeder von Ihrem Spider erzeugte Request kann eine IP aus Ihrem ProxyV4-Pool wählen.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Private IPv4 (Rechenzentrum)
🇺🇸 Vereinigte Staaten
Auf Lager
Ab
1,10 $ / IP / Monat
Mengenrabatte
  • 1 IP1,85 $
  • 3+ IPs1,70 $
  • 10+ IPs1,60 $
  • 25+ IPs1,50 $
  • 50+ IPs1,40 $
  • 100+ IPs1,30 $
  • 200+ IPs1,20 $
  • 500+ IPs1,10 $
Vereinigte Staaten kaufen
Private IPv4 (Rechenzentrum)
🇬🇧 Vereinigtes Königreich
Auf Lager
Ab
1,10 $ / IP / Monat
Mengenrabatte
  • 1 IP1,85 $
  • 3+ IPs1,70 $
  • 10+ IPs1,60 $
  • 25+ IPs1,50 $
  • 50+ IPs1,40 $
  • 100+ IPs1,30 $
  • 200+ IPs1,20 $
  • 500+ IPs1,10 $
Vereinigtes Königreich kaufen

Warum die Middleware-Nummer wichtig ist

Downloader-Middlewares laufen auf dem Hinweg in aufsteigender Reihenfolge ab. Die HttpProxyMiddleware bei 750 liest meta['proxy'], entfernt die Zugangsdaten aus der URL und schreibt den Auth-Header. Wenn Ihre eigene Middleware den Proxy danach setzt, zum Beispiel bei 800, ist die integrierte Middleware bereits gelaufen, die Zugangsdaten werden nie umgewandelt und der Proxy antwortet mit 407. Wenn Sie Ihre eigene bei 740 registrieren, wird sie zuerst ausgeführt.

EinstellungEmpfohlener WertWirkung
request.meta['proxy']'http://user:pass@ip:port'Sendet diesen Request über den angegebenen ProxyV4-Proxy
Reihenfolge Ihrer Middleware740Läuft vor der HttpProxyMiddleware (750), sodass die Logindaten kodiert werden
CONCURRENT_REQUESTS_PER_IP2 bis 4Begrenzt parallele Requests pro Ziel-IP – ein faires Limit dafür, wie stark jeder Server beansprucht wird
AUTOTHROTTLE_ENABLEDTrueErmöglicht es Scrapy, Verzögerungen dynamisch anzupassen, je nachdem, wie schnell das Ziel antwortet

Eine Rotations-Middleware im Überblick

  • Lesen Sie die Proxy-Liste in from_crawler() aus den Einstellungen ein und speichern Sie sie auf der Middleware-Instanz
  • Weisen Sie in process_request() request.meta['proxy'] = random.choice(self.proxies) zu, sofern der Request nicht bereits einen enthält
  • Wenn eine Antwort 429 oder 503 zurückgibt, wiederholen Sie sie mit einem anderen Proxy aus dem Pool statt mit dem gerade abgewiesenen
  • Kombinieren Sie DOWNLOAD_DELAY = 1.0 mit RANDOMIZE_DOWNLOAD_DELAY = True, damit der Abstand zwischen den Requests variiert, anstatt wie ein Metronom zu ticken

Die Pool-Größe richtig wählen

Ein Scrapy-Crawl kann viele Requests pro Minute erzeugen, daher bestimmt die Anzahl der IPs, wie schonend jede einzelne genutzt wird. Bei ProxyV4 gibt es keine Mindestbestellmenge und der Preis pro IP sinkt mit steigender Menge. Zudem wird privater IPv4-Traffic nicht nach Verbrauch abgerechnet, sodass ein großer Crawl bandbreitenseitig dasselbe kostet wie ein kleiner. Jede IP wird exklusiv von einem Kunden genutzt, sodass ihre Reputation nur Ihren eigenen Crawl widerspiegelt und den von niemand anderem. Hinweise zur Planung von Crawling-Volumen und schonendem Scraping finden Sie im Web-Scraping-Leitfaden.

Schritt für Schritt

  1. 1

    Proxy-URLs vorbereiten

    Wandeln Sie Ihre ProxyV4-Zeilen im Format ip:port:user:pass mit dem Proxy-Format-Konverter in http://user:pass@ip:port um und speichern Sie diese in den Einstellungen oder in einer Datei.

  2. 2

    ProxyPoolMiddleware schreiben

    Implementieren Sie in middlewares.py die Methode process_request(self, request, spider), sodass sie request.meta['proxy'] = random.choice(self.proxies) setzt.

  3. 3

    Vor der integrierten Middleware registrieren

    Fügen Sie in settings.py 'myproject.middlewares.ProxyPoolMiddleware': 740 zu DOWNLOADER_MIDDLEWARES hinzu und setzen Sie CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Rotation überprüfen

    Rufen Sie https://proxyv4.com/api/my-ip mehrmals mit scrapy shell oder einem kurzen Test-Spider ab und prüfen Sie, ob die gemeldete IP durch Ihren Pool wechselt.

Häufig gestellte Fragen

Meine Proxy-Middleware mit Priorität 800 liefert 407-Fehler. Warum?

Bei 800 läuft sie nach der HttpProxyMiddleware (750), sodass der Teil user:pass in Ihrer Proxy-URL nie in einen Proxy-Authorization-Header umgewandelt wird. Verschieben Sie Ihre Middleware auf einen Wert unter 750, z. B. 740.

Kann ich den Proxy nur für einen einzelnen Request setzen?

Ja. Übergeben Sie beim Erstellen des Request einfach meta={'proxy': 'http://user:pass@ip:port'}; die integrierte Middleware übernimmt den Login nur für diesen Request.

Erreicht ein Crawl von Millionen Seiten ein Bandbreitenlimit?

Nicht bei privaten IPv4- oder statischen ISP-Proxys von ProxyV4; beide bieten unbegrenzte Bandbreite. Das praktische Limit liegt darin, wie schnell die Zielseite Sie crawlen lässt.

Quellen

Unbegrenzte statische IPs für Scrapy-Crawls

Private IPv4 in 7 Ländern plus statische ISP in den USA und Vietnam, von einer einzelnen IP bis zum großen Pool, mit dynamischen Staffelpreisen.

Aktuelle US-Preise prüfen

Related articles

Proxys nach Plattform
Proxies für Web-Scraping: Ein fester IP-Pool mit unbegrenztem Traffic
Web-Scraping-Proxies für Python, Scrapy, Playwright und Selenium: Pool aus privaten IPv4- und statischen ISP-Adressen, unbegrenzte Bandbreite, feste IP-Preise.
Proxy-Einrichtung
Python-Requests über einen authentifizierten Proxy, Schritt für Schritt
Python-Requests über authentifizierte HTTP(S)-Proxys: proxies-Dict bauen, an Session binden, Passwörter encodieren, Liste rotieren und Exit-IP prüfen.
Proxy-Einrichtung
Playwright-Proxy-Authentifizierung: eine statische IP pro Kontext
Geben Sie jedem Playwright-Kontext in Node.js oder Python authentifizierte HTTP(S)-Proxys, passen Sie Locale und Zeitzone an und prüfen Sie die Exit-Adresse.
Kostenlose Tools
Proxy-Listen in das Format umwandeln, das Ihr Tool erwartet
Proxy-Listen im Browser konvertieren: zwischen ip:port:user:pass, user:pass@ip:port, http://-URLs, SOCKS5-URIs, JSON-Arrays und FoxyProxy-Dateien im Batch.
Proxys nach Plattform
Proxys für SEO-Rank-Tracking: Die Ergebnisseite genau wie lokale Suchende sehen
SEO-Rank-Tracking-Proxys mit privater IPv4 in den USA, UK, Vietnam, Japan und vier weiteren Märkten – Rankings, Local Packs und Ads genau wie vor Ort.
Proxys nach Plattform
Amazon-Seller-Proxies, die jedem Account eine feste Adresse geben
Amazon-Seller-Proxies für Seller Central, KDP und Merch: statische US-ISP oder private UK/Japan-IPv4 pro Konto, exklusiv gemietet und bei Verlängerung behalten.
IPV4 · united states
Privater IPv4-Proxy-Pool für die USA für Scraping, Rank-Tracking und Anzeigenprüfung
US Private IPv4-Proxys kaufen: statische US-Datacenter-IPs, ein Kunde pro IP, unbegrenzte Bandbreite. Ideal für Scraping, SERP-Tracking und US-Ad-Checks.
IPV4 · united kingdom
Privater IPv4-Proxy für Großbritannien für Marktplätze, Suche und Kampagnen
Privater UK-IPv4-Proxy mit statischer britischer Datacenter-IP an einen Kunden vermietet: für eBay UK, Amazon.co.uk, google.co.uk-Tracking und UK-Ad-Checks.