ProxyV4

Proxyer for web scraping: en fast pool med IP-er og ubegrenset trafikk

Updated:

Web scraping-proxyer som faktureres per gigabyte, gjør en crawler dyrere hver gang en side blir tyngre. Derfor er jevne, planlagte crawlere rimeligere med en fast pool av adresser og ubegrenset trafikk. ProxyV4 selger privat IPv4 i syv land og statisk ISP i USA og Vietnam, hver priset per IP uten trafikkmåling. Du dimensjonerer poolen etter hvor mange forespørsler per sekund målene tåler, og regningen forblir den samme uansett hvor mye sidene veier.

Privat IPv4 (datasenter)
🇺🇸 USA
På lager
Fra
1,10 USD / IP / måned
Kvantumsrabatter
  • 1 IP1,85 USD
  • 3+ IP-er1,70 USD
  • 10+ IP-er1,60 USD
  • 25+ IP-er1,50 USD
  • 50+ IP-er1,40 USD
  • 100+ IP-er1,30 USD
  • 200+ IP-er1,20 USD
  • 500+ IP-er1,10 USD
Kjøp USA
Privat IPv4 (datasenter)
🇻🇳 Vietnam
På lager
Fra
1,10 USD / IP / måned
Kvantumsrabatter
  • 1 IP1,85 USD
  • 3+ IP-er1,70 USD
  • 10+ IP-er1,60 USD
  • 25+ IP-er1,50 USD
  • 50+ IP-er1,40 USD
  • 100+ IP-er1,30 USD
  • 200+ IP-er1,20 USD
  • 500+ IP-er1,10 USD
Kjøp Vietnam

Prising per IP kontra prising per GB for en crawler

SpørsmålStatisk pool (per IP)Målt trafikk (per GB)
Hva som driver kostnadenAntall IP-er og leieperiodeNedlastede byte, inkludert HTML, JS og ressurser
Hva som skjer når sidene blir tyngreIngenting; båndbredden er ubegrensetRegningen øker i takt med dem
Hva som begrenser gjennomstrømmingenHvert måls hastighetsgrense per IPBudsjett
Hvordan skalereLegg til IP-er; prisen per IP synker med volumKjøp mer trafikk

Hvorfor scrapere blir blokkert, og hva en pool endrer

Ved scraping av kataloger, oppføringer og offentlige API-er handler de fleste blokkeringer ikke om hvem du er, men om hvor raskt du sender forespørsler: en adresse som overskrider et nettsteds forespørselsrate, får HTTP 429. En pool på 10 til 100 statiske IP-er, der hver holdes på et høflig samtidighetsnivå, holder hver adresse under terskelen mens crawleren som helhet kjører i hastigheten du trenger.

Dedikert tildeling hjelper også her. Hver ProxyV4-IP tilhører én kunde under hele leieperioden, så ratehistorikken et mål ser på den adressen, tilhører utelukkende deg.

Tilpass poolen til målet

  • Offentlige kataloger og API-er med høyt volum: privat IPv4 i USA eller Singapore, den laveste kostnaden per IP
  • Vietnamesisk e-handel og lokale portaler: Vietnam IPv4 for å få innenlandske sider og lokale priser
  • Mål som filtrerer hosting-ASN-er bak en WAF: statisk ISP i USA eller Vietnam, registrert på vanlige internettleverandører, noe som vanligvis betyr færre Cloudflare-utfordringer
  • Mål som krever en ny IP for hver forespørsel: roterende Vietnam-proxyer er ikke i salg ennå; siden for roterende Vietnam har ventelisten

Crawler-innstillinger som får en statisk pool til å vare

Hver linje bruker standard påloggingsopplysninger, så i Python er proxyen bare proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.

  • Fordel forespørsler med round-robin over listen og legg til tilfeldig tidsforsinkelse (jitter), omtrent 2 til 5 sekunder per IP per måldomene
  • Gjenbruk tilkoblinger med requests.Session() eller en klient med tilkoblingsutvalg, slik at du slipper å betale for et TLS-håndtrykk ved hver forespørsel
  • I Playwright og Puppeteer blokkerer du bilder, skrifttyper og medier du ikke analyserer
  • Når en IP får HTTP 429 eller 503, tar du den ut av rotasjon for en nedkjølingsperiode og trapper ned i stedet for å prøve igjen umiddelbart

Trinn for trinn

  1. 1

    Kjøp en pool dimensjonert for dine mål

    Velg antall per land, for eksempel USA, Japan eller Storbritannia IPv4. Volumnivåer tas i bruk automatisk etter hvert som antallet øker.

  2. 2

    Gjør listen om til URL-er

    Lim inn ip:port:user:pass-linjene i proxyformat-konvertereren for å få http://user:pass@ip:port-strenger eller JSON.

  3. 3

    Koble poolen til rammeverket ditt

    Bruk oppsettsidene for Python Requests, Scrapy, Selenium eller Node.js Axios.

  4. 4

    Mål før den første fullstendige kjøringen

    Sjekk responstider med proxy-hastighetstesten og fjern eventuelle linjer som er trege mot målet ditt.

Ofte stilte spørsmål

Blir scraping-trafikk på ProxyV4-proxyer målt?

Nei. Privat IPv4 og statisk ISP prises per IP for leieperioden med ubegrenset båndbredde.

Hvor mange sider om dagen kan én statisk IP hente?

Det avhenger av målets hastighetsgrense. Ved 1 til 3 forespørsler per minutt per domene henter én IP omtrent 1,500 til 4,000 sider om dagen uten å skille seg ut.

Selger dere roterende proxyer for scraping?

Ikke ennå. Roterende Vietnam-proxyer er kun tilgjengelige via venteliste. Foreløpig gjør en statisk pool med round-robin-fordeling samme jobb for de fleste planlagte crawl-kjøringer.

Hvordan konverterer jeg 50 proxyer til Scrapy-format raskt?

Lim dem inn i proxyformat-konvertereren. Den gjør ip:port:user:pass-linjer om til URL-strenger eller en JSON-matrise i nettleseren.

Bygg en scraping-pool med en fast månedlig kostnad

Privat IPv4 i syv land og statisk ISP i USA og Vietnam, priset per IP med ubegrenset trafikk.

Sjekk oppdaterte priser for USA IPv4

Related articles

Bruksområder
Design en skraper rundt en pool med dedikerte IP-er
Planleggingsguide for datateam: dimensjoner en pool med private, statiske IP-er, roter dem i egen kode, velg IPv4, ISP eller IPv6, og hent inn data ansvarlig.
Proxy-oppsett
Python requests via en autentisert proxy, trinn for trinn
Send Python-forespørsler via en autentisert HTTP(S)-proxy: bygg proxies-dict, koble til en Session, kod spesielle passord, roter en liste og sjekk IP-en.
Proxy-oppsett
Playwright-proxyautentisering, én statisk IP per kontekst
Gi hver Playwright-kontekst en egen autentisert HTTP(S)-proxy i Node.js eller Python, tilpass tidssone og locale til IP-en, og bekreft utgangsadressen.
Proxy-oppsett
Scrapy-proxyer: meta['proxy'], middleware-rekkefølge og rotasjon
Bruk autentiserte HTTP(S)-proxyer i Scrapy: angi request.meta['proxy'], plasser middleware før HttpProxyMiddleware (750), roter IP-er og styr crawletempoet.
IPV4 · united states
Privat IPv4-proxypool i USA for skraping, rangeringsovervåking og annonsesjekk
Kjøp private US IPv4-proxyer: statiske datasenter-IP-er fra USA, én kunde per IP, ubegrenset båndbredde. Laget for skraping, SERP-sporing og US-annonsesjekk.
IPV4 · vietnam
Privat IPv4-proxy i Vietnam: Én fast IP per konto i stort volum
Private IPv4-proxyer for Vietnam: statiske vietnamesiske datasenter-IP-er, én kunde per IP, volumpriser. For seeding, sekundære Shopee-butikker og verktøy.
ISP · united states
Statisk ISP-proxy i USA: En hjemmeregistrert IP som aldri endres
Statiske USA-ISP-proxyer på IP-er registrert hos forbruker-ISP-er. Én fast amerikansk IP per konto for Amazon-selgere, annonsekontoer og Instagram.
Proxy-oppsett
Selenium WebDriver og autentiserte proxyer: dette fungerer
Selenium proxy-autentisering for ChromeDriver: hvorfor --proxy-server ignorerer user:pass, hvordan fikse det, og hvordan verifisere IP-adressen.