Proxies für Web-Scraping: Ein fester IP-Pool mit unbegrenztem Traffic
Updated:
Web-Scraping-Proxies mit Gigabyte-Abrechnung verteuern einen Crawler jedes Mal, wenn Webseiten umfangreicher werden. Deshalb arbeiten kontinuierliche, zeitgesteuerte Crawler mit einem festen Adresspool und unbegrenztem Traffic günstiger. ProxyV4 bietet private IPv4-Adressen in sieben Ländern und statische ISP-Proxies in den USA und Vietnam – jeweils bepreist pro IP ohne Traffic-Messung. Sie dimensionieren den Pool basierend darauf, wie viele Anfragen pro Sekunde die Zielseiten tolerieren, und die Kosten bleiben gleich, ganz gleich wie datenintensiv die Seiten sind.
- 1 IP1,85 $
- 3+ IPs1,70 $
- 10+ IPs1,60 $
- 25+ IPs1,50 $
- 50+ IPs1,40 $
- 100+ IPs1,30 $
- 200+ IPs1,20 $
- 500+ IPs1,10 $
- 1 IP1,85 $
- 3+ IPs1,70 $
- 10+ IPs1,60 $
- 25+ IPs1,50 $
- 50+ IPs1,40 $
- 100+ IPs1,30 $
- 200+ IPs1,20 $
- 500+ IPs1,10 $
Abrechnung pro IP im Vergleich zu Abrechnung pro GB für Crawler
| Frage | Statischer Pool (pro IP) | Abrechnung nach Traffic (pro GB) |
|---|---|---|
| Wodurch entstehen die Kosten | Anzahl der IPs und Mietdauer | Heruntergeladene Bytes, einschließlich HTML, JS und Assets |
| Was passiert, wenn Seiten umfangreicher werden | Nichts; die Bandbreite ist unbegrenzt | Die Rechnung steigt proportional mit |
| Was begrenzt den Durchsatz | Das Rate-Limit pro IP der jeweiligen Zielseite | Das Budget |
| Wie skaliert man | Weitere IPs hinzufügen; der Preis pro IP sinkt mit steigender Menge | Mehr Traffic kaufen |
Warum Scraper blockiert werden und was ein IP-Pool ändert
Beim Scraping von Katalogen, Verzeichnissen und öffentlichen APIs hängen die meisten Blockaden nicht davon ab, wer Sie sind, sondern wie schnell Sie anfragen: Überschreitet eine einzelne Adresse das Anfragelimit einer Website, erhält sie HTTP 429. Ein Pool von 10 bis 100 statischen IPs, jeweils mit moderater Parallelität betrieben, hält jede Adresse unter dem Schwellenwert, während der Crawler insgesamt mit der gewünschten Geschwindigkeit läuft.
Auch die exklusive Nutzung (Single Tenancy) zahlt sich hier aus. Jede IP von ProxyV4 gehört für die gesamte Mietdauer einem einzigen Kunden, sodass die Anfragehistorie, die eine Zielseite auf dieser Adresse sieht, ausschließlich von Ihnen stammt.
Den passenden Pool für die Zielseite wählen
- Öffentliche Kataloge und APIs mit hohem Volumen: private IPv4 in den Vereinigten Staaten oder in Singapur für die geringsten Kosten pro IP
- Vietnamesischer E-Commerce und lokale Portale: Vietnam IPv4, um einheimische Seiten und lokale Preise abzurufen
- Zielseiten, die Hosting-ASNs hinter einer WAF filtern: statische ISP in den Vereinigten Staaten oder in Vietnam, die auf Endkunden-ISPs registriert sind, was in der Regel weniger Cloudflare-Challenges bedeutet
- Zielseiten, die bei jeder Anfrage eine neue IP erfordern: Rotierende Vietnam-Proxies sind noch nicht im Verkauf; auf der Seite für rotierende Proxies in Vietnam finden Sie die Warteliste
Crawler-Einstellungen, mit denen ein statischer Pool langfristig funktioniert
Jede Leitung verwendet Standard-Zugangsdaten, daher lautet die Proxy-Konfiguration in Python einfach proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Anfragen per Round-Robin auf die Liste verteilen und zufälligen Jitter hinzufügen, etwa 2 bis 5 Sekunden pro IP und Zieldomäne
- Verbindungen mit
requests.Session()oder einem gepoolten Client wiederverwenden, um nicht bei jeder Anfrage für einen TLS-Handshake zu zahlen - In Playwright und Puppeteer Bilder, Schriftarten und Medien blockieren, die Sie nicht parsen
- Wenn eine IP HTTP 429 oder 503 erhält, nehmen Sie sie für eine Abkühlphase aus der Rotation und pausieren Sie, anstatt sofort einen neuen Versuch zu starten
Schritt für Schritt
- 1
- 2
Die Liste in URLs umwandeln
Fügen Sie die
ip:port:user:pass-Zeilen in den Proxy-Format-Konverter ein, umhttp://user:pass@ip:port-Zeichenfolgen oder JSON zu erhalten. - 3
Den Pool in Ihr Framework einbinden
Nutzen Sie die Einrichtungsanleitungen für Python Requests, Scrapy, Selenium oder Node.js Axios.
- 4
Vor dem ersten vollständigen Durchlauf messen
Prüfen Sie die Antwortzeiten mit dem Proxy-Geschwindigkeitstest und sortieren Sie alle Leitungen aus, die zu Ihrer Zielseite langsam sind.
Häufig gestellte Fragen
Wird der Scraping-Traffic bei ProxyV4-Proxies gemessen?
Nein. Private IPv4 und statische ISP werden für die Mietdauer pro IP abgerechnet – bei unbegrenzter Bandbreite.
Wie viele Seiten kann eine statische IP pro Tag abrufen?
Das hängt vom Rate-Limit der Zielseite ab. Bei 1 bis 3 Anfragen pro Minute pro Domain ruft eine IP täglich etwa 1.500 bis 4.000 Seiten ab, ohne aufzufallen.
Verkaufen Sie rotierende Proxies für das Scraping?
Noch nicht. Rotierende Vietnam-Proxies sind derzeit nur über eine Warteliste verfügbar. Vorerst erfüllt ein statischer Pool mit Round-Robin-Zuweisung bei den meisten geplanten Crawls denselben Zweck.
Wie konvertiere ich 50 Proxies schnell in das Scrapy-Format?
Fügen Sie sie in den Proxy-Format-Konverter ein. Er wandelt ip:port:user:pass-Zeilen direkt im Browser in URL-Zeichenfolgen oder ein JSON-Array um.
Einen Scraping-Pool mit festen monatlichen Kosten aufbauen
Private IPv4 in sieben Ländern und statische ISP in den USA und Vietnam, abgerechnet pro IP mit unbegrenztem Traffic.
Live-Preise für US-IPv4 prüfen