Proxy's voor webscraping: een vaste pool van IP's met onbeperkt dataverkeer
Updated:
Webscraping-proxy's die per gigabyte worden afgerekend, maken een crawler duurder zodra een pagina zwaarder wordt. Daarom zijn stabiele, geplande crawlers voordeliger met een vaste pool van adressen met onbeperkt dataverkeer. ProxyV4 levert private IPv4 in zeven landen en statische ISP in de VS en Vietnam, elk geprijsd per IP zonder datalimiet. U stemt de poolgrootte af op het aantal verzoeken per seconde dat de doelsites toestaan, en de factuur blijft gelijk, ongeacht hoe zwaar de pagina's zijn.
- 1 IPUS$ 1,85
- 3+ IP'sUS$ 1,70
- 10+ IP'sUS$ 1,60
- 25+ IP'sUS$ 1,50
- 50+ IP'sUS$ 1,40
- 100+ IP'sUS$ 1,30
- 200+ IP'sUS$ 1,20
- 500+ IP'sUS$ 1,10
- 1 IPUS$ 1,85
- 3+ IP'sUS$ 1,70
- 10+ IP'sUS$ 1,60
- 25+ IP'sUS$ 1,50
- 50+ IP'sUS$ 1,40
- 100+ IP'sUS$ 1,30
- 200+ IP'sUS$ 1,20
- 500+ IP'sUS$ 1,10
Prijzen per IP versus prijzen per GB voor een crawler
| Vraag | Statische pool (per IP) | Gemeten dataverkeer (per GB) |
|---|---|---|
| Wat bepaalt de kosten | Aantal IP's en huurperiode | Gedownloade bytes, inclusief HTML, JS en assets |
| Wat er gebeurt als pagina's zwaarder worden | Niets; bandbreedte is onbeperkt | De factuur stijgt mee |
| Wat de doorvoer beperkt | De rate-limit per IP van elk doelwit | Budget |
| Hoe u kunt schalen | Voeg IP's toe; de prijs per IP daalt bij grotere aantallen | Koop meer dataverkeer |
Waarom scrapers worden geblokkeerd en wat een pool verandert
Bij het scrapen van catalogi, overzichten en openbare API's gaan de meeste blokkades niet over wie u bent, maar over hoe snel u verzoeken verstuurt: een adres dat de verzoeksnelheid van een site overschrijdt, krijgt HTTP 429. Een pool van 10 tot 100 statische IP's, elk ingesteld op een bescheiden gelijktijdigheid, houdt elk adres onder de drempelwaarde terwijl de crawler als geheel op de gewenste snelheid draait.
Single-tenancy helpt hier ook. Elk ProxyV4-IP is gedurende de hele huurperiode exclusief voor één klant, waardoor de verzoekgeschiedenis die een doelsite op dat adres ziet, uitsluitend van u is.
De pool afstemmen op het doelwit
- Openbare catalogi en API's met een hoog volume: private IPv4 in de Verenigde Staten of Singapore, de laagste kosten per IP
- Vietnamese e-commerce en lokale portals: Vietnam IPv4 voor binnenlandse pagina's en lokale prijzen
- Doelen die hosting-ASN's achter een WAF filteren: statische ISP in de Verenigde Staten of Vietnam, geregistreerd bij consumenten-ISP's, wat doorgaans leidt tot minder Cloudflare-challenges
- Doelen die voor elk verzoek een nieuw IP nodig hebben: roterende Vietnam-proxy's zijn nog niet te koop; op de roterende Vietnam-pagina vindt u de wachtlijst
Crawler-instellingen waarmee een statische pool lang meegaat
Elke lijn gebruikt standaard inloggegevens, dus in Python is de proxy simpelweg proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Wijs verzoeken round-robin toe over de lijst en voeg willekeurige jitter toe, ongeveer 2 tot 5 seconden per IP per doeldomein
- Hergebruik verbindingen met
requests.Session()of een pooled client, zodat u niet bij elk verzoek voor een TLS-handshake betaalt - Blokkeer in Playwright en Puppeteer afbeeldingen, lettertypen en media die u niet verwerkt
- Wanneer een IP een HTTP 429 of 503 krijgt, haal het dan uit de rotatie voor een afkoelperiode en vertraag in plaats van direct opnieuw te proberen
Stap voor stap
- 1
- 2
Zet de lijst om naar URL's
Plak de
ip:port:user:pass-regels in de proxy format converter omhttp://user:pass@ip:port-tekenreeksen of JSON te verkrijgen. - 3
Koppel de pool aan uw framework
Gebruik de configuratiepagina's voor Python Requests, Scrapy, Selenium of Node.js Axios.
- 4
Meet vóór de eerste volledige run
Controleer responstijden met de proxy speed test en verwijder elke lijn die traag is naar uw doelwit.
Veelgestelde vragen
Wordt dataverkeer voor scrapen op ProxyV4-proxy's gemeten?
Nee. Private IPv4 en statische ISP worden geprijsd per IP voor de huurperiode met onbeperkte bandbreedte.
Hoeveel pagina's per dag kan één statisch IP ophalen?
Dat hangt af van de rate-limit van het doelwit. Bij 1 tot 3 verzoeken per minuut per domein haalt één IP ongeveer 1.500 tot 4.000 pagina's per dag op zonder op te vallen.
Verkoopt u roterende proxy's voor scraping?
Nog niet. Roterende Vietnam-proxy's zijn alleen via een wachtlijst beschikbaar. Voorlopig doet een statische pool met round-robin-toewijzing hetzelfde voor de meeste geplande crawls.
Hoe zet ik 50 proxy's snel om naar Scrapy-formaat?
Plak ze in de proxy format converter. Deze zet ip:port:user:pass-regels direct in de browser om naar URL-tekenreeksen of een JSON-array.
Bouw een scraping-pool met vaste maandelijkse kosten
Private IPv4 in zeven landen en statische ISP in de VS en Vietnam, geprijsd per IP met onbeperkt dataverkeer.
Bekijk actuele US IPv4-prijzen