ProxyV4

Einen Scraper mit einem Pool dedizierter IPs aufbauen

Updated:

Web-Scraping-Proxys verteilen Ihre Anfragen auf viele Adressen, sodass keine einzelne IP die gesamte Last des Crawls trägt. Für die meisten Ziele ist ein Pool privater IPv4-Adressen die schnellste und günstigste Option; statische ISP-Adressen dienen als Fallback für Websites, die Datacenter-Bereiche blockieren. Sie rotieren den Pool in Ihrem eigenen Code – so wissen Sie immer genau, welche IP welche Seite abgerufen hat.

Warum eine einzelne IP blockiert wird

Websites begrenzen die Anzahl der Anfragen, die eine Adresse senden darf. Ein Crawler über den eigenen Büroanschluss erreicht dieses Limit schnell – und die Sperre betrifft dann alle im Gebäude. Ein Proxy-Pool verteilt die Last, hält das eigene Netzwerk aus den Server-Logs heraus und ermöglicht es, genau die Seitenversion abzurufen, die Nutzer im jeweiligen Zielland sehen.

Typische Anwendungsbereiche: E-Commerce-Teams, die Preise und Bestände der Konkurrenz überwachen, Analysten, die öffentliche Datensätze aufbauen, Aggregatoren für Reisen, Immobilien und Stellenangebote sowie Entwickler, die eigene Websites aus verschiedenen Ländern testen.

Statischer Pool im Vergleich zum rotierenden Gateway

Bei einem statischen Pool gehört die Adressliste für den gebuchten Mietzeitraum exklusiv Ihnen. Ihr Scheduler wählt pro Anfrage oder Session eine IP aus, protokolliert sie und nimmt Adressen vorübergehend aus dem Pool, sobald ein Rate-Limit greift. Jede IP ist Single-Tenant – ihre Reputation hängt also ausschließlich von Ihrem eigenen Traffic ab. Zudem lässt sich die feste Liste in internen Tools problemlos auf die Whitelist setzen.

Die Bandbreite für private IPv4 und statische ISP-Proxys ist ungedeckelt. Für große Seiten, Bilder und umfangreiche Crawls zahlen Sie pro IP, nicht pro Gigabyte.

Das passende Produkt für das jeweilige Ziel

ZielProduktGrund
Öffentliche Kataloge, APIs, die meisten WebsitesPrivate IPv4Schnell, kostengünstig, sieben Länder
Websites, die Datacenter-Bereiche blockierenStatic ISP, USA oder VietnamAuf Endkunden-Provider (Consumer-ISPs) registrierte Adressen
Sehr große Crawls auf IPv6-fähigen WebsitesIPv6Viele Adressen zu einem niedrigen Preis pro IP; vorab prüfen, ob die Website IPv6 unterstützt
Lokalisierte Seiten in AsienPrivate IPv4 in Japan, Südkorea, Singapur, Hongkong oder VietnamSehen, was lokale Besucher sehen

Pool-Dimensionierung und Request-Disziplin

  • Dimensionieren Sie den Pool anhand der angestrebten Request-Rate: Mehr Adressen mit moderater Frequenz pro IP halten deutlich länger durch als wenige, stark ausgelastete Adressen.
  • Halten Sie dieselbe Adresse für die Dauer einer Login- oder Warenkorb-Session fest und wechseln Sie erst danach.
  • Senden Sie realistische Header, bauen Sie Jitter zwischen den Anfragen ein und reduzieren Sie die Rate bei HTTP 429 und 403.
  • Validieren Sie Antworten, damit Captcha- und Block-Seiten gar nicht erst im Datensatz landen.
  • Prüfen Sie Adressen mit dem Proxy-Checker (bis zu 100 gleichzeitig, Passwörter werden nicht gespeichert) und sortieren Sie langsame oder gesperrte Adressen aus.

Den Pool in Ihren Stack einbinden

Jede Adresse funktioniert über HTTP(S) oder SOCKS5 mit Benutzername und Passwort und wird unter Bestellungen im Format ip:port:user:pass bereitgestellt. Gängige Bibliotheken unterstützen dies direkt; Anleitungen finden Sie auf den Setup-Seiten für Python requests, Scrapy, Playwright und Puppeteer. Desktop-Tools ohne eigene Proxy-Einstellungen lassen sich über Proxifier anbinden. Die Seite zu Web-Scraping-Proxys bietet zusätzliche zielspezifische Hinweise.

Verantwortungsvoll Daten erfassen

Ein Proxy ändert nur den Ursprung einer Anfrage, nicht Ihre Berechtigung, Daten zu erfassen. Beachten Sie die robots.txt, die Nutzungsbedingungen der jeweiligen Website sowie das für Sie geltende Datenschutzrecht, und erfassen Sie keine personenbezogenen Daten, zu deren Verarbeitung Sie nicht berechtigt sind. Das Überlasten von Websites durch parallele Anfragen, das Scraping geschützter Login-Bereiche mit fremden Konten und missbräuchliche Nutzung verstoßen zudem gegen unsere Nutzungsbedingungen.

Häufig gestellte Fragen

Sollte ich beim Scraping mit Datacenter- oder ISP-Proxys starten?

Mit Datacenter. Private IPv4-Proxys sind schneller und in mehr Ländern verfügbar. Wechseln Sie bei einem Ziel nur dann zu statischen ISP-Proxys, wenn dieses Datacenter-Bereiche blockiert. Der Vergleich der Proxy-Typen erläutert die Unterschiede im Detail.

Wird ein Dienst für rotierende Proxys benötigt?

Nein. Ein statischer Pool, den Sie in Ihrem eigenen Code rotieren, gibt Ihnen die volle Kontrolle darüber, welche Adresse welche Anfrage verarbeitet.

Wird der Traffic abgerechnet?

Nein. Private IPv4 und statische ISP-Proxys bieten unbegrenzte Bandbreite; Sie zahlen pro IP für den gewählten Mietzeitraum.

Kann ich SOCKS5 mit Scrapy oder Playwright nutzen?

Ja. Kostenpflichtige Proxys unterstützen HTTP(S) und SOCKS5 mit Benutzername und Passwort; stellen Sie die Bestellung auf der entsprechenden Seite im Dashboard auf SOCKS5 (oder beides) um. Die integrierte Middleware von Scrapy unterstützt nur HTTP – belassen Sie es dort also bei HTTP. Siehe HTTP vs SOCKS5.

Ist Web Scraping legal?

Das hängt davon ab, welche Daten Sie erfassen, wo Sie agieren und welche Bedingungen die Website vorgibt. Das Erfassen öffentlicher, nicht personenbezogener Daten unter Beachtung der robots.txt ist gängige Praxis; prüfen Sie die rechtlichen Rahmenbedingungen für Ihr jeweiliges Projekt.

Scraping-Pool einrichten

Bestellen Sie so viele private IPv4-Adressen, wie Ihr Crawl benötigt; der Preis pro IP sinkt mit steigender Menge und die Bandbreite ist unbegrenzt.

Preise für US-Datacenter ansehen

Related articles

Anwendungsbereiche
Ein Rank-Tracking-Setup für verlässliche lokale Positionen
Google-Rankings wie lokale Nutzer prüfen: Planen Sie eine IP pro Markt, steuern Sie Anfragen gezielt und vermeiden Sie Fehler, die Rankingdaten verfälschen.
Proxys nach Plattform
Proxies für Web-Scraping: Ein fester IP-Pool mit unbegrenztem Traffic
Web-Scraping-Proxies für Python, Scrapy, Playwright und Selenium: Pool aus privaten IPv4- und statischen ISP-Adressen, unbegrenzte Bandbreite, feste IP-Preise.
Wissensdatenbank
Datacenter, ISP oder Residential: Drei Arten von Proxy-IPs erklärt
ISP vs. Datacenter vs. Residential-Proxys: Wem jede IP gehört, wo sie läuft, Lebensdauer, Abrechnung und was für Accounts, Ads oder Datenerfassung passt.
Proxy-Einrichtung
Scrapy-Proxys: meta['proxy'], Middleware-Reihenfolge und Rotation
Authentifizierte HTTP(S)-Proxys in Scrapy: request.meta['proxy'] setzen, Middleware vor HttpProxyMiddleware (750) einreihen, IPs rotieren und Crawl takten.
Kostenlose Tools
Proxys im Bulk prüfen: Status, Exit-IP und Latenz
Kostenloser Online-Proxy-Checker: Fügen Sie bis zu 100 Zeilen im Format ip:port:user:pass ein und prüfen Sie Status, Exit-IP, Latenz sowie Fehlermeldungen.
ISP · vietnam
Statischer ISP-Proxy für Vietnam für Hauptshops und Werbekonten
Statische Vietnam ISP-Proxies mit IPs lokaler Endkunden-Provider. Feste IP für Haupt-Shopee-Shops, TikTok Shop, Facebook-Werbekonten und Zalo OA.
ISP · united states
Statischer ISP-Proxy für die USA: Eine als Privatanschluss registrierte IP, die sich nie ändert
Statische US-ISP-Proxys auf IPs privater Internetanbieter. Eine feste US-IP pro Account für Amazon-Seller, Werbekonten und wichtige Instagram-Profile.
Proxys nach Plattform
Proxys für TikTok-Shop-Seller, die mehrere Stores betreiben
TikTok-Shop-Proxys für Multi-Store-Seller: Statische ISP oder private IPv4 pro Shop in den USA, Vietnam, UK oder Singapur – dieselbe IP bei Verlängerung.