Proxies för web scraping: en fast IP-pool med obegränsad trafik
Updated:
Web scraping-proxies som debiteras per gigabyte gör en crawler dyrare varje gång en sida blir tyngre. Därför blir stabila, schemalagda crawlers billigare med en fast pool av adresser och obegränsad trafik. ProxyV4 säljer privat IPv4 i sju länder och statisk ISP i USA och Vietnam, alltid prissatt per IP utan trafikmätning. Du dimensionerar poolen efter hur många förfrågningar per sekund målen tål, och fakturan förblir densamma oavsett vad sidorna väger.
- 1 IP1,85 US$
- 3+ IP:n1,70 US$
- 10+ IP:n1,60 US$
- 25+ IP:n1,50 US$
- 50+ IP:n1,40 US$
- 100+ IP:n1,30 US$
- 200+ IP:n1,20 US$
- 500+ IP:n1,10 US$
- 1 IP1,85 US$
- 3+ IP:n1,70 US$
- 10+ IP:n1,60 US$
- 25+ IP:n1,50 US$
- 50+ IP:n1,40 US$
- 100+ IP:n1,30 US$
- 200+ IP:n1,20 US$
- 500+ IP:n1,10 US$
Prissättning per IP kontra per GB för en crawler
| Fråga | Statisk pool (per IP) | Mätt trafik (per GB) |
|---|---|---|
| Vad som driver kostnaden | Antal IP-adresser och hyresperiod | Nedladdade bytes, inklusive HTML, JS och resurser |
| Vad som händer när sidor blir tyngre | Ingenting; bandbredden är obegränsad | Fakturan växer i takt med dem |
| Vad som begränsar genomströmningen | Varje måls hastighetsbegränsning per IP | Budget |
| Hur man skalar upp | Lägg till IP-adresser; priset per IP sjunker vid större volymer | Köp mer trafik |
Varför scrapers blockeras, och vad en pool förändrar
Vid scraping av kataloger, produktlistor och öppna API:er handlar de flesta blockeringar inte om vem du är utan hur snabbt du frågar: en adress som överskrider en webbplats förfrågningsgräns får HTTP 429. En pool med 10 till 100 statiska IP-adresser, där varje adress hålls på en rimlig samtidighet, ser till att alla adresser ligger under tröskelvärdet medan crawlersystemet som helhet körs i den hastighet du behöver.
Dedikerad tilldelning hjälper också här. Varje ProxyV4-IP tillhör en enda kund under hela hyresperioden, så förfrågningshistoriken som målet ser på adressen är enbart din egen.
Matcha poolen mot målet
- Offentliga kataloger och storskaliga API:er: privat IPv4 i USA eller Singapore, lägsta kostnaden per IP
- Vietnamesisk e-handel och lokala portaler: Vietnam IPv4 för att nå inhemska sidor och lokala priser
- Mål som filtrerar hosting-ASN bakom en WAF: statisk ISP i USA eller Vietnam, registrerade på konsument-ISP:er, vilket brukar innebära färre Cloudflare-utmaningar
- Mål som behöver en ny IP vid varje förfrågan: roterande Vietnam-proxies säljs inte ännu; på sidan för roterande Vietnam finns väntelistan
Crawler-inställningar som får en statisk pool att hålla
Varje lina använder standarduppgifter, så i Python konfigureras proxyn helt enkelt som proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Fördela förfrågningar med round-robin över listan och lägg till slumpmässig fördröjning, ungefär 2 till 5 sekunder per IP och måldomän
- Återanvänd anslutningar med
requests.Session()eller en delad poolklient så att du inte betalar för en TLS-handskakning vid varje förfrågan - I Playwright och Puppeteer, blockera bilder, typsnitt och media som du inte parsar
- När en IP får HTTP 429 eller 503, ta den ur rotation för en nedkylningsperiod och backa undan i stället för att försöka igen omedelbart
Steg för steg
- 1
Köp en pool anpassad efter dina mål
Välj antal per land, till exempel IPv4 för USA, Japan eller Storbritannien. Volymrabatter tillämpas automatiskt i takt med att antalet ökar.
- 2
Omvandla listan till URL:er
Klistra in dina
ip:port:user:pass-rader i proxyformatkonverteraren för att fåhttp://user:pass@ip:port-strängar eller JSON. - 3
Koppla in poolen i ditt ramverk
Använd installationsguiderna för Python Requests, Scrapy, Selenium eller Node.js Axios.
- 4
Mät före den första fullständiga körningen
Kontrollera svarstider med hastighetstestet för proxies och ta bort eventuella linor som svarar långsamt mot ditt mål.
Vanliga frågor
Mäts trafiken vid scraping på proxies från ProxyV4?
Nej. Privat IPv4 och statisk ISP prissätts per IP under hyresperioden med obegränsad bandbredd.
Hur många sidor per dag kan en statisk IP hämta?
Det beror på målets hastighetsbegränsning. Vid 1 till 3 förfrågningar per minut och domän hämtar en IP ungefär 1 500 till 4 000 sidor om dagen utan att väcka uppmärksamhet.
Säljer ni roterande proxies för scraping?
Inte än. Roterande Vietnam-proxies är endast tillgängliga via väntelista. Just nu fyller en statisk pool med round-robin-fördelning samma funktion för de flesta schemalagda körningar.
Hur konverterar jag snabbt 50 proxies till Scrapy-format?
Klistra in dem i proxyformatkonverteraren. Den omvandlar ip:port:user:pass-rader till URL-strängar eller en JSON-array direkt i webbläsaren.
Bygg en scraping-pool med fast månadskostnad
Privat IPv4 i sju länder och statisk ISP i USA och Vietnam, prissatt per IP med obegränsad trafik.
Se dagsaktuella priser för USA-IPv4