Proxyer for web scraping: en fast pool med IP-er og ubegrenset trafikk
Updated:
Web scraping-proxyer som faktureres per gigabyte, gjør en crawler dyrere hver gang en side blir tyngre. Derfor er jevne, planlagte crawlere rimeligere med en fast pool av adresser og ubegrenset trafikk. ProxyV4 selger privat IPv4 i syv land og statisk ISP i USA og Vietnam, hver priset per IP uten trafikkmåling. Du dimensjonerer poolen etter hvor mange forespørsler per sekund målene tåler, og regningen forblir den samme uansett hvor mye sidene veier.
- 1 IP1,85 USD
- 3+ IP-er1,70 USD
- 10+ IP-er1,60 USD
- 25+ IP-er1,50 USD
- 50+ IP-er1,40 USD
- 100+ IP-er1,30 USD
- 200+ IP-er1,20 USD
- 500+ IP-er1,10 USD
- 1 IP1,85 USD
- 3+ IP-er1,70 USD
- 10+ IP-er1,60 USD
- 25+ IP-er1,50 USD
- 50+ IP-er1,40 USD
- 100+ IP-er1,30 USD
- 200+ IP-er1,20 USD
- 500+ IP-er1,10 USD
Prising per IP kontra prising per GB for en crawler
| Spørsmål | Statisk pool (per IP) | Målt trafikk (per GB) |
|---|---|---|
| Hva som driver kostnaden | Antall IP-er og leieperiode | Nedlastede byte, inkludert HTML, JS og ressurser |
| Hva som skjer når sidene blir tyngre | Ingenting; båndbredden er ubegrenset | Regningen øker i takt med dem |
| Hva som begrenser gjennomstrømmingen | Hvert måls hastighetsgrense per IP | Budsjett |
| Hvordan skalere | Legg til IP-er; prisen per IP synker med volum | Kjøp mer trafikk |
Hvorfor scrapere blir blokkert, og hva en pool endrer
Ved scraping av kataloger, oppføringer og offentlige API-er handler de fleste blokkeringer ikke om hvem du er, men om hvor raskt du sender forespørsler: en adresse som overskrider et nettsteds forespørselsrate, får HTTP 429. En pool på 10 til 100 statiske IP-er, der hver holdes på et høflig samtidighetsnivå, holder hver adresse under terskelen mens crawleren som helhet kjører i hastigheten du trenger.
Dedikert tildeling hjelper også her. Hver ProxyV4-IP tilhører én kunde under hele leieperioden, så ratehistorikken et mål ser på den adressen, tilhører utelukkende deg.
Tilpass poolen til målet
- Offentlige kataloger og API-er med høyt volum: privat IPv4 i USA eller Singapore, den laveste kostnaden per IP
- Vietnamesisk e-handel og lokale portaler: Vietnam IPv4 for å få innenlandske sider og lokale priser
- Mål som filtrerer hosting-ASN-er bak en WAF: statisk ISP i USA eller Vietnam, registrert på vanlige internettleverandører, noe som vanligvis betyr færre Cloudflare-utfordringer
- Mål som krever en ny IP for hver forespørsel: roterende Vietnam-proxyer er ikke i salg ennå; siden for roterende Vietnam har ventelisten
Crawler-innstillinger som får en statisk pool til å vare
Hver linje bruker standard påloggingsopplysninger, så i Python er proxyen bare proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Fordel forespørsler med round-robin over listen og legg til tilfeldig tidsforsinkelse (jitter), omtrent 2 til 5 sekunder per IP per måldomene
- Gjenbruk tilkoblinger med
requests.Session()eller en klient med tilkoblingsutvalg, slik at du slipper å betale for et TLS-håndtrykk ved hver forespørsel - I Playwright og Puppeteer blokkerer du bilder, skrifttyper og medier du ikke analyserer
- Når en IP får HTTP 429 eller 503, tar du den ut av rotasjon for en nedkjølingsperiode og trapper ned i stedet for å prøve igjen umiddelbart
Trinn for trinn
- 1
Kjøp en pool dimensjonert for dine mål
Velg antall per land, for eksempel USA, Japan eller Storbritannia IPv4. Volumnivåer tas i bruk automatisk etter hvert som antallet øker.
- 2
Gjør listen om til URL-er
Lim inn
ip:port:user:pass-linjene i proxyformat-konvertereren for å fåhttp://user:pass@ip:port-strenger eller JSON. - 3
Koble poolen til rammeverket ditt
Bruk oppsettsidene for Python Requests, Scrapy, Selenium eller Node.js Axios.
- 4
Mål før den første fullstendige kjøringen
Sjekk responstider med proxy-hastighetstesten og fjern eventuelle linjer som er trege mot målet ditt.
Ofte stilte spørsmål
Blir scraping-trafikk på ProxyV4-proxyer målt?
Nei. Privat IPv4 og statisk ISP prises per IP for leieperioden med ubegrenset båndbredde.
Hvor mange sider om dagen kan én statisk IP hente?
Det avhenger av målets hastighetsgrense. Ved 1 til 3 forespørsler per minutt per domene henter én IP omtrent 1,500 til 4,000 sider om dagen uten å skille seg ut.
Selger dere roterende proxyer for scraping?
Ikke ennå. Roterende Vietnam-proxyer er kun tilgjengelige via venteliste. Foreløpig gjør en statisk pool med round-robin-fordeling samme jobb for de fleste planlagte crawl-kjøringer.
Hvordan konverterer jeg 50 proxyer til Scrapy-format raskt?
Lim dem inn i proxyformat-konvertereren. Den gjør ip:port:user:pass-linjer om til URL-strenger eller en JSON-matrise i nettleseren.
Bygg en scraping-pool med en fast månedlig kostnad
Privat IPv4 i syv land og statisk ISP i USA og Vietnam, priset per IP med ubegrenset trafikk.
Sjekk oppdaterte priser for USA IPv4