ProxyV4

Een scraper ontwerpen rondom een pool van dedicated IP's

Updated:

Webscraping-proxy's verdelen je verzoeken over meerdere adressen, zodat geen enkel IP-adres de volledige crawl draagt. Voor de meeste doelen is een pool van private IPv4-adressen de snelste en voordeligste optie; statische ISP-adressen zijn het alternatief voor websites die datacentreeksen blokkeren. Je roteert de pool in je eigen code, waardoor je altijd weet welk IP welke pagina heeft opgehaald.

Waarom één IP-adres stopt met werken

Websites stellen een limiet aan het aantal verzoeken dat een adres mag versturen. Een crawler die draait vanaf je kantoorverbinding bereikt die limiet snel, waarna de blokkade iedereen in het gebouw kan treffen. Een proxy-pool verdeelt de belasting, houdt je eigen netwerk uit de logbestanden en stelt je in staat om de paginaversie op te halen die bezoekers in een specifiek land zien.

Typische gebruikers: e-commerceteams die prijzen en voorraden van concurrenten volgen, analisten die openbare datasets opbouwen, aggregators voor reizen, vastgoed en vacatures, en ontwikkelaars die hun eigen websites testen vanuit andere landen.

Statische pool versus roterende gateway

Bij een statische pool is de lijst met adressen gedurende de huurperiode exclusief van jou. Je scheduler kiest een IP per verzoek of per sessie, logt dit en haalt adressen tijdelijk uit roulatie zodra ze worden vertraagd. Elk IP-adres is single-tenant, waardoor de reputatie uitsluitend jouw verkeer weerspiegelt, en de vaste lijst eenvoudig aan een allowlist in interne tools kan worden toegevoegd.

De bandbreedte op private IPv4 en statische ISP wordt niet per verbruik gemeten. Voor grote pagina's, afbeeldingen en lange crawls betaal je per IP, niet per gigabyte.

Het juiste product koppelen aan je doel

DoelwitProductReden
Openbare catalogi, API's, de meeste websitesPrivate IPv4Snel, kostenefficiënt, zeven landen
Websites die datacentreeksen weigerenStatic ISP, VS of VietnamAdressen geregistreerd bij consumenten-ISP's
Zeer grote crawls van IPv6-geschikte websitesIPv6Veel adressen tegen een lage prijs per IP; controleer of de site IPv6 accepteert
Gelokaliseerde pagina's in AziëPrivate IPv4 in Japan, Zuid-Korea, Singapore, Hongkong of VietnamHaal op wat lokale bezoekers zien

Pool-omvang en verzoekdiscipline

  • Stem de omvang van de pool af op je gewenste verzoeksnelheid: meer adressen met een rustig tempo per IP gaan langer mee dan enkele zwaar belaste adressen.
  • Wijs één vast adres toe voor de duur van een ingelogde sessie of winkelwagensessie en wissel daarna.
  • Verstuur realistische headers, voeg jitter toe tussen verzoeken en neem gas terug bij HTTP 429 en 403.
  • Valideer responses zodat captcha-pagina's en blokkadeschermen nooit in de dataset terechtkomen.
  • Controleer adressen met de proxy checker (tot 100 tegelijk, wachtwoorden worden niet opgeslagen) en verwijder trage of geblokkeerde IP's.

De pool integreren in je stack

Elk adres werkt via HTTP(S) of SOCKS5 met gebruikersnaam en wachtwoord, geleverd als ip:port:user:pass onder Bestellingen. Populaire libraries accepteren dit direct; bekijk de installatiepagina's voor Python requests, Scrapy, Playwright en Puppeteer. Desktoptools zonder proxy-instellingen kunnen worden gerouteerd via Proxifier. De webscraping-proxypagina biedt doelspecifieke toelichtingen.

Verantwoord data verzamelen

Een proxy verandert waar een verzoek vandaan komt, niet wat je gerechtigd bent te verzamelen. Respecteer robots.txt, de voorwaarden van de website en de toepasselijke wetgeving inzake gegevensbescherming, en verzamel geen persoonsgegevens die je niet mag verwerken. Het overspoelen van een site met parallelle verzoeken, scrapen achter logins met accounts die niet van jou zijn en ernstig misbruik zijn eveneens in strijd met onze voorwaarden.

Veelgestelde vragen

Moet ik beginnen met datacenter- of ISP-proxy's voor scraping?

Datacenter. Private IPv4 is sneller en beschikbaar in meer landen. Schakel voor een doelwit alleen over op statische ISP als deze datacentreeksen blokkeert. De vergelijking van proxytypen legt de afweging uit.

Is een roterende proxydienst vereist?

Nee. Een statische pool die je via je eigen code roteert, geeft je volledige controle over welk adres welk verzoek afhandelt.

Wordt dataverkeer per verbruik gemeten?

Nee. Private IPv4 en statische ISP bieden onbeperkte bandbreedte; je betaalt per IP voor de huurperiode.

Kan ik SOCKS5 gebruiken met Scrapy of Playwright?

Ja. Betaalde proxy's ondersteunen HTTP(S) en SOCKS5 met gebruikersnaam en wachtwoord; pas de bestelling aan naar SOCKS5 (of beide) op de bijbehorende pagina in het dashboard. De ingebouwde middleware van Scrapy ondersteunt alleen HTTP, dus behoud daar HTTP. Zie HTTP vs SOCKS5.

Is webscraping legaal?

Dat hangt af van wat je verzamelt, waar je actief bent en de voorwaarden van de website. Het verzamelen van openbare, niet-persoonlijke gegevens met inachtneming van robots.txt is gangbare praktijk; controleer de regels voor je eigen project.

Start een scraping-pool

Bestel zoveel private IPv4-adressen als je crawl nodig heeft; de prijs per IP daalt bij grotere aantallen en de bandbreedte is onbeperkt.

Bekijk Amerikaanse datacenterprijzen

Related articles

Toepassingen
Bouw een rank-tracking-setup die betrouwbare lokale posities toont
Bekijk Google-posities zoals lokale zoekers ze zien: plan één IP per markt, doseer je zoekopdrachten en voorkom fouten die je rankdata vertekenen.
Proxy's per platform
Proxy's voor webscraping: een vaste pool van IP's met onbeperkt dataverkeer
Webscraping-proxy's voor Python, Scrapy, Playwright en Selenium: een pool van private IPv4 en statische ISP-adressen, onbeperkte bandbreedte, vaste IP-prijs.
Kennisbank
Datacenter, ISP of residential: drie soorten proxy-IP's uitgelegd
ISP vs. datacenter vs. residential: eigenaar, locatie, levensduur, facturatie en welk type het best past bij jouw accounts, advertenties of datacollectie.
Proxy instellen
Scrapy-proxy's: meta['proxy'], middleware-volgorde en rotatie
Gebruik geauthenticeerde HTTP(S)-proxy's in Scrapy: stel request.meta['proxy'] in, zet middleware voor HttpProxyMiddleware (750), roteer IP's en doseer crawls.
Gratis tools
Controleer proxy's in bulk: status, exit-IP en latentie
Gratis online proxy checker: plak tot 100 ip:port:user:pass-regels en zie welke proxy's werken, hun exit-IP en latentie, plus wat elke foutmelding betekent.
ISP · vietnam
Vietnamese statische ISP-proxy voor hoofdwinkels en advertentieaccounts
Statische Vietnam ISP-proxy's op IP's van Vietnamese consumentenproviders. Een vast IP voor Shopee-hoofdshops, TikTok Shop, Facebook-ad-accounts en Zalo OA.
ISP · united states
Amerikaanse statische ISP-proxy: een thuis geregistreerd IP dat nooit verandert
Statische VS ISP-proxy's op IP's van consumentenproviders. Eén vast Amerikaans IP per account voor Amazon-verkopers, advertentieaccounts en Instagram.
Proxy's per platform
Proxy's voor TikTok Shop-verkopers met meerdere winkels
TikTok Shop-proxy's voor multi-store verkopers: statische ISP of privé-IPv4 per winkel in de VS, Vietnam, het VK of Singapore, met behoud van hetzelfde IP.