ProxyV4

Designa en scraper kring en pool av dedikerade IP-adresser

Updated:

Webbscraping-proxyer fördelar dina förfrågningar över flera adresser så att ingen enskild IP bär hela crawlen. För de flesta målsidor är en pool av privata IPv4-adresser det snabbaste och billigaste alternativet; statiska ISP-adresser fungerar som reserv för webbplatser som blockerar datacenterintervall. Du roterar poolen i din egen kod, vilket innebär att du alltid vet vilken IP som hämtade vilken sida.

Varför en enskild IP slutar fungera

Webbplatser begränsar hur många förfrågningar en adress får skicka. En crawler som körs från kontorets lina når snabbt gränsen, och blockeringen kan drabba alla andra i byggnaden. En proxypool fördelar belastningen, håller ditt eget nätverk borta från loggarna och låter dig hämta den version av en sida som besökare i ett specifikt land ser.

Typiska användare: e-handelsteam som bevakar konkurrenters priser och lager, analytiker som bygger offentliga dataset, samlingssajter för resor, fastigheter och platsannonser samt utvecklare som testar sina egna webbplatser från andra länder.

Statisk pool kontra roterande gateway

Med en statisk pool disponerar du adresslistan under hela hyresperioden. Din schemaläggare väljer en IP per förfrågan eller session, loggar den och fasar ut adresser som börjar strypas. Varje IP är single-tenant, så dess rykte påverkas enbart av din egen trafik, och den fasta listan är enkel att vitlista i interna verktyg.

Bandbredden för privat IPv4 och statisk ISP mäts inte. Stora sidor, bilder och långa crawls betalas per IP, inte per gigabyte.

Matcha produkten med målet

MålProduktAnledning
Offentliga kataloger, API:er, de flesta webbplatserPrivat IPv4Snabb, kostnadseffektiv, sju länder
Webbplatser som blockerar datacenterintervallStatisk ISP, USA eller VietnamAdresser registrerade på konsument-ISP:er
Mycket omfattande crawls på IPv6-klara webbplatserIPv6Många adresser till lågt pris per IP; kontrollera att sajten accepterar IPv6
Lokaliserade sidor i AsienPrivat IPv4 i Japan, Sydkorea, Singapore, Hongkong eller VietnamHämta det lokala besökare ser

Poolstorlek och förfrågningsdisciplin

  • Dimensionera poolen utifrån önskad förfrågningshastighet: fler adresser med en lugn takt per IP håller längre än få adresser som pressas hårt.
  • Lås en adress under hela den inloggade sessionen eller varukorgssessionen, och byt sedan.
  • Skicka realistiska headers, lägg till slumpmässig fördröjning mellan förfrågningar och backa vid HTTP 429 och 403.
  • Validera svar så att captcha- och blockeringssidor aldrig hamnar i datamängden.
  • Kontrollera adresser med proxytestaren (upp till 100 åt gången, lösenord sparas inte) och sortera bort långsamma eller blockerade adresser.

Integrera poolen i din teknikstack

Varje adress fungerar över HTTP(S) eller SOCKS5 med användarnamn och lösenord, levererat som ip:port:user:pass under Beställningar. Vanliga bibliotek accepterar detta direkt; se installationsguiderna för Python requests, Scrapy, Playwright och Puppeteer. Skrivbordsverktyg utan proxyinställningar kan dirigeras via Proxifier. Sidan om proxyer för web scraping innehåller målspecifika tips.

Samla in data ansvarsfullt

En proxy ändrar varifrån en förfrågan kommer, inte vad du har rätt att samla in. Respektera robots.txt, webbplatsens villkor och gällande dataskyddslagstiftning, och samla inte in personuppgifter du inte har rätt att behandla. Att överbelasta en webbplats med parallella förfrågningar, scrapa bakom inloggningar med konton du inte äger samt grovt missbruk bryter även mot våra villkor.

Vanliga frågor

Bör jag börja med datacenter- eller ISP-proxyer för scraping?

Datacenter. Privat IPv4 är snabbare och finns i fler länder. Byt målsida till statisk ISP endast om den blockerar datacenterintervall. Jämförelsen av proxytyper förklarar skillnaderna.

Krävs en roterande proxytjänst?

Nej. En statisk pool som roteras i din egen kod ger dig full kontroll över vilken adress som hanterar vilken förfrågan.

Mäts datatrafiken?

Nej. Privat IPv4 och statisk ISP har obegränsad bandbredd; du betalar per IP under hyresperioden.

Kan jag använda SOCKS5 med Scrapy eller Playwright?

Ja. Betalda proxyer stöder HTTP(S) och SOCKS5 med användarnamn och lösenord; växla beställningen till SOCKS5 (eller båda) på dess sida i kontrollpanelen. Scrapys inbyggda middleware hanterar enbart HTTP, så behåll HTTP där. Se HTTP kontra SOCKS5.

Är web scraping lagligt?

Det beror på vad du samlar in, var du verkar och webbplatsens villkor. Att samla in offentliga, icke-personliga data och samtidigt respektera robots.txt är vanlig praxis; kontrollera reglerna för ditt eget projekt.

Skapa en scraping-pool

Beställ så många privata IPv4-adresser som din crawl kräver; priset per IP sjunker med volymen och bandbredden mäts inte.

Se priser för USA-datacenter

Related articles

Användningsområden
Skapa en rank tracking-lösning som visar verkliga lokala positioner
Se Google-rankingar som lokala sökare gör: planera en IP per marknad, fördela förfrågningarna och undvik konfigurationsfel som snedvrider sökdata.
Proxies per plattform
Proxies för web scraping: en fast IP-pool med obegränsad trafik
Web scraping-proxies för Python, Scrapy, Playwright och Selenium: en pool av privata IPv4- och statiska ISP-adresser, obegränsad bandbredd, fast pris per IP.
Kunskapsbas
Datacenter, ISP eller residential: tre typer av proxy-IP förklarade
ISP vs datacenter vs residential proxy: vem som äger IP-adressen, var den körs, livslängd, debitering och vad som passar konton, annonser eller datainsamling.
Proxykonfiguration
Scrapy-proxier: meta['proxy'], middleware-ordning och rotation
Använd autentiserade HTTP(S)-proxier i Scrapy: sätt request.meta['proxy'], placera din middleware före HttpProxyMiddleware (750), rotera IP:er och styr takten.
Gratis verktyg
Testa proxys i bulk: status, exit-IP och latens
Gratis proxytestare online: klistra in upp till 100 ip:port:user:pass-rader och se vilka proxys som fungerar, deras exit-IP och latens samt vad felen betyder.
ISP · vietnam
Statisk ISP-proxy i Vietnam för huvudbutiker och annonskonton
Statiska ISP-proxyer i Vietnam på IP-adresser från konsumentleverantörer. Fast IP för dina Shopee-butiker, TikTok Shop, Facebook-annonskonton samt Zalo OA.
ISP · united states
Statisk ISP-proxy i USA: En hemregistrerad IP som aldrig ändras
Statiska ISP-proxies i USA registrerade hos vanliga internetleverantörer. En fast amerikansk IP per konto för Amazon-säljare, annonskonton och Instagram.
Proxies per plattform
Proxies för TikTok Shop-säljare som driver fler än en butik
TikTok Shop-proxies för flera butiker: statisk ISP eller privat IPv4 per butik i USA, Vietnam, UK eller Singapore. Samma IP behålls vid förnyelser.