ProxyV4

Proxyer til web scraping: en fast pulje af IP'er med ubegrænset trafik

Updated:

Web scraping-proxyer afregnet pr. gigabyte gør en crawler dyrere, hver gang en side bliver tungere. Derfor er faste, planlagte crawlere billigere med en fast pulje af adresser med ubegrænset trafik. ProxyV4 sælger privat IPv4 i syv lande og statisk ISP i USA og Vietnam, altid afregnet pr. IP uden forbrugsgrænser. Du dimensionerer puljen ud fra, hvor mange forespørgsler pr. sekund målene tillader, og regningen forbliver den samme, uanset hvor tunge siderne er.

Privat IPv4 (datacenter)
🇺🇸 USA
På lager
Fra
1,10 US$ / IP / måned
Mængderabatter
  • 1 IP1,85 US$
  • 3+ IP'er1,70 US$
  • 10+ IP'er1,60 US$
  • 25+ IP'er1,50 US$
  • 50+ IP'er1,40 US$
  • 100+ IP'er1,30 US$
  • 200+ IP'er1,20 US$
  • 500+ IP'er1,10 US$
Køb USA
Privat IPv4 (datacenter)
🇻🇳 Vietnam
På lager
Fra
1,10 US$ / IP / måned
Mængderabatter
  • 1 IP1,85 US$
  • 3+ IP'er1,70 US$
  • 10+ IP'er1,60 US$
  • 25+ IP'er1,50 US$
  • 50+ IP'er1,40 US$
  • 100+ IP'er1,30 US$
  • 200+ IP'er1,20 US$
  • 500+ IP'er1,10 US$
Køb Vietnam

Pris pr. IP i forhold til pris pr. GB for en crawler

SpørgsmålStatisk pulje (pr. IP)Forbrugsafregnet trafik (pr. GB)
Hvad driver omkostningerneAntal IP'er og lejeperiodeDownloadede bytes, inklusive HTML, JS og ressourcer
Hvad sker der, når sider bliver tungereIntet; båndbredden er ubegrænsetRegningen vokser i takt med dem
Hvad begrænser throughputHvert måls grænse for forespørgsler pr. IPBudgettet
Hvordan man skalererTilføj IP'er; prisen pr. IP falder med mængdenKøb mere trafik

Hvorfor scrapere bliver blokeret, og hvad en pulje ændrer

Ved scraping af kataloger, produktoversigter og offentlige API'er handler de fleste blokeringer ikke om, hvem du er, men om hvor hurtigt du spørger: en adresse, der overskrider et websites grænse for forespørgsler, modtager HTTP 429. En pulje på 10 til 100 statiske IP'er, der hver holdes på en moderat samtidig belastning, holder hver adresse under grænsen, mens crawleren som helhed kører med den hastighed, du har brug for.

Dedikeret brug hjælper også her. Hver ProxyV4-IP tilhører én kunde i hele lejeperioden, så den historik over forespørgsler, et mål ser på den pågældende adresse, er udelukkende din.

Tilpasning af puljen til målet

  • Offentlige kataloger og API'er med høj volumen: privat IPv4 i USA eller Singapore, den laveste pris pr. IP
  • Vietnamesisk e-handel og lokale portaler: Vietnam IPv4 for at få indenlandske sider og lokale priser
  • Mål, der filtrerer hosting-ASN'er bag en WAF: statisk ISP i USA eller Vietnam, registreret hos forbruger-ISP'er, hvilket typisk betyder færre Cloudflare-udfordringer
  • Mål, der kræver en ny IP ved hver forespørgsel: roterende Vietnam-proxyer er endnu ikke sat til salg; ventelisten findes på siden for roterende Vietnam-proxyer

Crawler-indstillinger, der får en statisk pulje til at holde

Hver linje bruger standardoplysninger, så i Python er proxyen blot proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.

  • Fordel forespørgsler efter round-robin-princippet over listen, og tilføj tilfældig forsinkelse (jitter), ca. 2 til 5 sekunder pr. IP pr. måldomæne
  • Genbrug forbindelser med requests.Session() eller en klient med forbindelsespulje, så du ikke betaler for et TLS-handshake ved hver forespørgsel
  • I Playwright og Puppeteer bør du blokere billeder, skrifttyper og medier, du ikke parser
  • Når en IP modtager HTTP 429 eller 503, tages den ud af rotationen til en afkølingsperiode og trækkes tilbage i stedet for straks at prøve igen

Trin for trin

  1. 1

    Køb en pulje tilpasset dine mål

    Vælg antal pr. land, for eksempel IPv4 i USA, Japan eller Storbritannien. Mængderabatter anvendes automatisk, efterhånden som antallet stiger.

  2. 2

    Omdan listen til URL'er

    Indsæt ip:port:user:pass-linjerne i proxy-formatkonverteren for at få http://user:pass@ip:port-strenge eller JSON.

  3. 3

    Forbind puljen til dit framework

    Brug opsætningsvejledningerne til Python Requests, Scrapy, Selenium eller Node.js Axios.

  4. 4

    Mål før den første fulde kørsel

    Tjek svartider med proxy-hastighedstesten, og fjern linjer, der er langsomme i forhold til dit mål.

Ofte stillede spørgsmål

Bliver scraping-trafik på ProxyV4-proxyer forbrugsafregnet?

Nej. Privat IPv4 og statisk ISP afregnes pr. IP for lejeperioden med ubegrænset båndbredde.

Hvor mange sider om dagen kan én statisk IP hente?

Det afhænger af målets grænse for forespørgsler. Ved 1 til 3 forespørgsler i minuttet pr. domæne henter én IP omtrent 1.500 til 4.000 sider om dagen uden at vække opsigt.

Sælger I roterende proxyer til scraping?

Ikke endnu. Roterende Vietnam-proxyer er kun tilgængelige via venteliste. Indtil videre udfører en statisk pulje med round-robin-fordeling den samme opgave for de fleste planlagte scrapings.

Hvordan konverterer jeg hurtigt 50 proxyer til Scrapy-format?

Indsæt dem i proxy-formatkonverteren. Den omdanner ip:port:user:pass-linjer til URL-strenge eller et JSON-array direkte i browseren.

Opbyg en scraping-pulje med en fast månedlig omkostning

Privat IPv4 i syv lande og statisk ISP i USA og Vietnam, prissat pr. IP med ubegrænset trafik.

Se aktuelle priser på US IPv4

Related articles

Brugsscenarier
Design en scraper omkring en pulje af dedikerede IP'er
Planlægningsguide til datateams: dimensionér en pulje af private statiske IP'er, rotér i egen kode, vælg IPv4, ISP eller IPv6, og indsaml data ansvarligt.
Proxy-opsætning
Python-requests via en godkendt proxy, trin for trin
Send Python-requests gennem en godkendt HTTP(S)-proxy: opret proxies-dict, tilknyt en Session, indkod specielle adgangskoder, rotér en liste og tjek IP'en.
Proxy-opsætning
Playwright-proxygodkendelse, én statisk IP pr. kontekst
Giv hver Playwright-browserkontekst sin egen godkendte HTTP(S)-proxy i Node.js eller Python, match tidszone og locale til IP'en, og bekræft exit-adressen.
Proxy-opsætning
Scrapy-proxyer: meta['proxy'], middleware-rækkefølge og rotation
Brug godkendte HTTP(S)-proxyer i Scrapy: sæt request.meta['proxy'], placer din middleware før HttpProxyMiddleware (750), roter IP'er og styr dit crawl-tempo.
IPV4 · united states
Privat IPv4-proxypool i USA til scraping, rangsporing og annoncekontrol
Køb private amerikanske IPv4-proxies: statiske datacenter-IP'er, én kunde pr. IP, ubegrænset båndbredde. Til scraping, SERP-sporing og tjek af US-annoncer.
IPV4 · vietnam
Privat IPv4-proxy i Vietnam: Én fast IP pr. konto i store mængder
Private Vietnam IPv4-proxyer: statiske datacenter-IP'er, én kunde pr. IP, mængdepriser. Til seeding-profiler, sekundære Shopee-butikker og værktøjer.
ISP · united states
Statisk ISP-proxy i USA: En hjemmeregistreret IP, der aldrig ændrer sig
Statiske US ISP-proxies på IP'er registreret hos private internetudbydere. Én fast amerikansk IP per konto til Amazon-sælgere, annoncekonti og Instagram.
Proxy-opsætning
Selenium WebDriver og autentificerede proxyer: hvad der virker
Selenium-proxyauth i ChromeDriver: hvorfor --proxy-server ignorerer user:pass, hvordan selenium-wire eller en onAuthRequired-udvidelse løser det, samt IP-tjek.