Einen Scraper mit einem Pool dedizierter IPs aufbauen
Updated:
Web-Scraping-Proxys verteilen Ihre Anfragen auf viele Adressen, sodass keine einzelne IP die gesamte Last des Crawls trägt. Für die meisten Ziele ist ein Pool privater IPv4-Adressen die schnellste und günstigste Option; statische ISP-Adressen dienen als Fallback für Websites, die Datacenter-Bereiche blockieren. Sie rotieren den Pool in Ihrem eigenen Code – so wissen Sie immer genau, welche IP welche Seite abgerufen hat.
Warum eine einzelne IP blockiert wird
Websites begrenzen die Anzahl der Anfragen, die eine Adresse senden darf. Ein Crawler über den eigenen Büroanschluss erreicht dieses Limit schnell – und die Sperre betrifft dann alle im Gebäude. Ein Proxy-Pool verteilt die Last, hält das eigene Netzwerk aus den Server-Logs heraus und ermöglicht es, genau die Seitenversion abzurufen, die Nutzer im jeweiligen Zielland sehen.
Typische Anwendungsbereiche: E-Commerce-Teams, die Preise und Bestände der Konkurrenz überwachen, Analysten, die öffentliche Datensätze aufbauen, Aggregatoren für Reisen, Immobilien und Stellenangebote sowie Entwickler, die eigene Websites aus verschiedenen Ländern testen.
Statischer Pool im Vergleich zum rotierenden Gateway
Bei einem statischen Pool gehört die Adressliste für den gebuchten Mietzeitraum exklusiv Ihnen. Ihr Scheduler wählt pro Anfrage oder Session eine IP aus, protokolliert sie und nimmt Adressen vorübergehend aus dem Pool, sobald ein Rate-Limit greift. Jede IP ist Single-Tenant – ihre Reputation hängt also ausschließlich von Ihrem eigenen Traffic ab. Zudem lässt sich die feste Liste in internen Tools problemlos auf die Whitelist setzen.
Die Bandbreite für private IPv4 und statische ISP-Proxys ist ungedeckelt. Für große Seiten, Bilder und umfangreiche Crawls zahlen Sie pro IP, nicht pro Gigabyte.
Das passende Produkt für das jeweilige Ziel
| Ziel | Produkt | Grund |
|---|---|---|
| Öffentliche Kataloge, APIs, die meisten Websites | Private IPv4 | Schnell, kostengünstig, sieben Länder |
| Websites, die Datacenter-Bereiche blockieren | Static ISP, USA oder Vietnam | Auf Endkunden-Provider (Consumer-ISPs) registrierte Adressen |
| Sehr große Crawls auf IPv6-fähigen Websites | IPv6 | Viele Adressen zu einem niedrigen Preis pro IP; vorab prüfen, ob die Website IPv6 unterstützt |
| Lokalisierte Seiten in Asien | Private IPv4 in Japan, Südkorea, Singapur, Hongkong oder Vietnam | Sehen, was lokale Besucher sehen |
Pool-Dimensionierung und Request-Disziplin
- Dimensionieren Sie den Pool anhand der angestrebten Request-Rate: Mehr Adressen mit moderater Frequenz pro IP halten deutlich länger durch als wenige, stark ausgelastete Adressen.
- Halten Sie dieselbe Adresse für die Dauer einer Login- oder Warenkorb-Session fest und wechseln Sie erst danach.
- Senden Sie realistische Header, bauen Sie Jitter zwischen den Anfragen ein und reduzieren Sie die Rate bei HTTP 429 und 403.
- Validieren Sie Antworten, damit Captcha- und Block-Seiten gar nicht erst im Datensatz landen.
- Prüfen Sie Adressen mit dem Proxy-Checker (bis zu 100 gleichzeitig, Passwörter werden nicht gespeichert) und sortieren Sie langsame oder gesperrte Adressen aus.
Den Pool in Ihren Stack einbinden
Jede Adresse funktioniert über HTTP(S) oder SOCKS5 mit Benutzername und Passwort und wird unter Bestellungen im Format ip:port:user:pass bereitgestellt. Gängige Bibliotheken unterstützen dies direkt; Anleitungen finden Sie auf den Setup-Seiten für Python requests, Scrapy, Playwright und Puppeteer. Desktop-Tools ohne eigene Proxy-Einstellungen lassen sich über Proxifier anbinden. Die Seite zu Web-Scraping-Proxys bietet zusätzliche zielspezifische Hinweise.
Verantwortungsvoll Daten erfassen
Ein Proxy ändert nur den Ursprung einer Anfrage, nicht Ihre Berechtigung, Daten zu erfassen. Beachten Sie die robots.txt, die Nutzungsbedingungen der jeweiligen Website sowie das für Sie geltende Datenschutzrecht, und erfassen Sie keine personenbezogenen Daten, zu deren Verarbeitung Sie nicht berechtigt sind. Das Überlasten von Websites durch parallele Anfragen, das Scraping geschützter Login-Bereiche mit fremden Konten und missbräuchliche Nutzung verstoßen zudem gegen unsere Nutzungsbedingungen.
Häufig gestellte Fragen
Sollte ich beim Scraping mit Datacenter- oder ISP-Proxys starten?
Mit Datacenter. Private IPv4-Proxys sind schneller und in mehr Ländern verfügbar. Wechseln Sie bei einem Ziel nur dann zu statischen ISP-Proxys, wenn dieses Datacenter-Bereiche blockiert. Der Vergleich der Proxy-Typen erläutert die Unterschiede im Detail.
Wird ein Dienst für rotierende Proxys benötigt?
Nein. Ein statischer Pool, den Sie in Ihrem eigenen Code rotieren, gibt Ihnen die volle Kontrolle darüber, welche Adresse welche Anfrage verarbeitet.
Wird der Traffic abgerechnet?
Nein. Private IPv4 und statische ISP-Proxys bieten unbegrenzte Bandbreite; Sie zahlen pro IP für den gewählten Mietzeitraum.
Kann ich SOCKS5 mit Scrapy oder Playwright nutzen?
Ja. Kostenpflichtige Proxys unterstützen HTTP(S) und SOCKS5 mit Benutzername und Passwort; stellen Sie die Bestellung auf der entsprechenden Seite im Dashboard auf SOCKS5 (oder beides) um. Die integrierte Middleware von Scrapy unterstützt nur HTTP – belassen Sie es dort also bei HTTP. Siehe HTTP vs SOCKS5.
Ist Web Scraping legal?
Das hängt davon ab, welche Daten Sie erfassen, wo Sie agieren und welche Bedingungen die Website vorgibt. Das Erfassen öffentlicher, nicht personenbezogener Daten unter Beachtung der robots.txt ist gängige Praxis; prüfen Sie die rechtlichen Rahmenbedingungen für Ihr jeweiliges Projekt.
Scraping-Pool einrichten
Bestellen Sie so viele private IPv4-Adressen, wie Ihr Crawl benötigt; der Preis pro IP sinkt mit steigender Menge und die Bandbreite ist unbegrenzt.
Preise für US-Datacenter ansehen