Scrapy-Proxys: meta['proxy'], Middleware-Reihenfolge und Rotation
Vom ProxyV4-Entwicklungsteam · Updated:
In Scrapy wird ein Proxy pro Request über request.meta['proxy'] = 'http://user:pass@ip:port' gesetzt, und die integrierte HttpProxyMiddleware (Reihenfolge 750) wandelt den Teil user:pass in einen Proxy-Authorization-Header um. Fügen Sie eine kleine Downloader-Middleware hinzu, die davor bei 740 läuft, und jeder von Ihrem Spider erzeugte Request kann eine IP aus Ihrem ProxyV4-Pool wählen.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 $
- 3+ IPs1,70 $
- 10+ IPs1,60 $
- 25+ IPs1,50 $
- 50+ IPs1,40 $
- 100+ IPs1,30 $
- 200+ IPs1,20 $
- 500+ IPs1,10 $
- 1 IP1,85 $
- 3+ IPs1,70 $
- 10+ IPs1,60 $
- 25+ IPs1,50 $
- 50+ IPs1,40 $
- 100+ IPs1,30 $
- 200+ IPs1,20 $
- 500+ IPs1,10 $
Warum die Middleware-Nummer wichtig ist
Downloader-Middlewares laufen auf dem Hinweg in aufsteigender Reihenfolge ab. Die HttpProxyMiddleware bei 750 liest meta['proxy'], entfernt die Zugangsdaten aus der URL und schreibt den Auth-Header. Wenn Ihre eigene Middleware den Proxy danach setzt, zum Beispiel bei 800, ist die integrierte Middleware bereits gelaufen, die Zugangsdaten werden nie umgewandelt und der Proxy antwortet mit 407. Wenn Sie Ihre eigene bei 740 registrieren, wird sie zuerst ausgeführt.
| Einstellung | Empfohlener Wert | Wirkung |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Sendet diesen Request über den angegebenen ProxyV4-Proxy |
| Reihenfolge Ihrer Middleware | 740 | Läuft vor der HttpProxyMiddleware (750), sodass die Logindaten kodiert werden |
CONCURRENT_REQUESTS_PER_IP | 2 bis 4 | Begrenzt parallele Requests pro Ziel-IP – ein faires Limit dafür, wie stark jeder Server beansprucht wird |
AUTOTHROTTLE_ENABLED | True | Ermöglicht es Scrapy, Verzögerungen dynamisch anzupassen, je nachdem, wie schnell das Ziel antwortet |
Eine Rotations-Middleware im Überblick
- Lesen Sie die Proxy-Liste in
from_crawler()aus den Einstellungen ein und speichern Sie sie auf der Middleware-Instanz - Weisen Sie in
process_request()request.meta['proxy'] = random.choice(self.proxies)zu, sofern der Request nicht bereits einen enthält - Wenn eine Antwort
429oder503zurückgibt, wiederholen Sie sie mit einem anderen Proxy aus dem Pool statt mit dem gerade abgewiesenen - Kombinieren Sie
DOWNLOAD_DELAY = 1.0mitRANDOMIZE_DOWNLOAD_DELAY = True, damit der Abstand zwischen den Requests variiert, anstatt wie ein Metronom zu ticken
Die Pool-Größe richtig wählen
Ein Scrapy-Crawl kann viele Requests pro Minute erzeugen, daher bestimmt die Anzahl der IPs, wie schonend jede einzelne genutzt wird. Bei ProxyV4 gibt es keine Mindestbestellmenge und der Preis pro IP sinkt mit steigender Menge. Zudem wird privater IPv4-Traffic nicht nach Verbrauch abgerechnet, sodass ein großer Crawl bandbreitenseitig dasselbe kostet wie ein kleiner. Jede IP wird exklusiv von einem Kunden genutzt, sodass ihre Reputation nur Ihren eigenen Crawl widerspiegelt und den von niemand anderem. Hinweise zur Planung von Crawling-Volumen und schonendem Scraping finden Sie im Web-Scraping-Leitfaden.
Schritt für Schritt
- 1
Proxy-URLs vorbereiten
Wandeln Sie Ihre ProxyV4-Zeilen im Format
ip:port:user:passmit dem Proxy-Format-Konverter inhttp://user:pass@ip:portum und speichern Sie diese in den Einstellungen oder in einer Datei. - 2
ProxyPoolMiddleware schreiben
Implementieren Sie in
middlewares.pydie Methodeprocess_request(self, request, spider), sodass sierequest.meta['proxy'] = random.choice(self.proxies)setzt. - 3
Vor der integrierten Middleware registrieren
Fügen Sie in
settings.py'myproject.middlewares.ProxyPoolMiddleware': 740zuDOWNLOADER_MIDDLEWAREShinzu und setzen SieCONCURRENT_REQUESTS_PER_IP = 2. - 4
Rotation überprüfen
Rufen Sie
https://proxyv4.com/api/my-ipmehrmals mitscrapy shelloder einem kurzen Test-Spider ab und prüfen Sie, ob die gemeldete IP durch Ihren Pool wechselt.
Häufig gestellte Fragen
Meine Proxy-Middleware mit Priorität 800 liefert 407-Fehler. Warum?
Bei 800 läuft sie nach der HttpProxyMiddleware (750), sodass der Teil user:pass in Ihrer Proxy-URL nie in einen Proxy-Authorization-Header umgewandelt wird. Verschieben Sie Ihre Middleware auf einen Wert unter 750, z. B. 740.
Kann ich den Proxy nur für einen einzelnen Request setzen?
Ja. Übergeben Sie beim Erstellen des Request einfach meta={'proxy': 'http://user:pass@ip:port'}; die integrierte Middleware übernimmt den Login nur für diesen Request.
Erreicht ein Crawl von Millionen Seiten ein Bandbreitenlimit?
Nicht bei privaten IPv4- oder statischen ISP-Proxys von ProxyV4; beide bieten unbegrenzte Bandbreite. Das praktische Limit liegt darin, wie schnell die Zielseite Sie crawlen lässt.
Quellen
Unbegrenzte statische IPs für Scrapy-Crawls
Private IPv4 in 7 Ländern plus statische ISP in den USA und Vietnam, von einer einzelnen IP bis zum großen Pool, mit dynamischen Staffelpreisen.
Aktuelle US-Preise prüfen