ProxyV4

Proxyji za web scraping: fiksni pool IP-jeva s neograničenim prometom

Updated:

Web scraping proxyji koji se naplaćuju po gigabajtu čine crawler sve skupljim kako stranice postaju teže, zbog čega su stabilni, raspoređeni crawler-i isplativiji uz fiksni pool adresa s neograničenim prometom. ProxyV4 prodaje privatne IPv4 adrese u sedam zemalja i statičke ISP adrese u SAD-u i Vijetnamu, svaka s cijenom po IP-ju bez mjerenja prometa. Veličinu poola određujete prema tome koliko zahtjeva u sekundi ciljne stranice dozvoljavaju, a račun ostaje isti bez obzira na težinu stranica.

Privatni IPv4 (datacenter)
🇺🇸 Sjedinjene Američke Države
Na stanju
Od
1,10 USD / IP / mjesečno
Popusti na količinu
  • 1 IP1,85 USD
  • 3+ IP-jeva1,70 USD
  • 10+ IP-jeva1,60 USD
  • 25+ IP-jeva1,50 USD
  • 50+ IP-jeva1,40 USD
  • 100+ IP-jeva1,30 USD
  • 200+ IP-jeva1,20 USD
  • 500+ IP-jeva1,10 USD
Kupi Sjedinjene Američke Države
Privatni IPv4 (datacenter)
🇻🇳 Vijetnam
Na stanju
Od
1,10 USD / IP / mjesečno
Popusti na količinu
  • 1 IP1,85 USD
  • 3+ IP-jeva1,70 USD
  • 10+ IP-jeva1,60 USD
  • 25+ IP-jeva1,50 USD
  • 50+ IP-jeva1,40 USD
  • 100+ IP-jeva1,30 USD
  • 200+ IP-jeva1,20 USD
  • 500+ IP-jeva1,10 USD
Kupi Vijetnam

Cijena po IP-ju u odnosu na cijenu po GB-u za crawler

PitanjeStatički pool (po IP-ju)Mjereni promet (po GB-u)
Šta utječe na trošakBroj IP adresa i period zakupaPreuzeti bajti, uključujući HTML, JS i medijske resurse
Šta se dešava kada stranice postanu težeNišta; propusnost je neograničenaRačun raste zajedno s njima
Šta ograničava propusnostOgraničenje broja zahtjeva po IP-ju na ciljnoj straniciBudžet
Kako skaliratiDodajte IP adrese; cijena po IP-ju opada s količinomKupite više prometa

Zašto scraperi bivaju blokirani i šta pool mijenja

Prilikom scrapinga kataloga, oglasnika i javnih API-ja, većina blokada ne nastaje zbog toga ko ste, već koliko brzo šaljete zahtjeve: jedna adresa koja prekorači dozvoljenu učestalost zahtjeva dobija HTTP 429. Pool od 10 do 100 statičkih IP-jeva, gdje svaki radi uz umjerenu konkurentnost, drži svaku adresu ispod praga dok crawler kao cjelina radi željenom brzinom.

Zasebno korištenje (single tenancy) ovdje također pomaže. Svaka ProxyV4 IP adresa pripada isključivo jednom korisniku tokom cijelog perioda zakupa, pa je historija zahtjeva koju ciljna stranica vidi na toj adresi samo vaša.

Usklađivanje poola s ciljnom stranicom

Postavke crawlera koje osiguravaju dugotrajnost statičkog poola

Svaka linija koristi standardne pristupne podatke, pa u Pythonu proxy glasi jednostavno proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.

  • Raspoređujte zahtjeve po round-robin principu preko liste i dodajte nasumični razmak (jitter), otprilike 2 do 5 sekundi po IP-ju po ciljnoj domeni
  • Ponovo koristite konekcije pomoću requests.Session() ili klijenta s poolom konekcija kako ne biste plaćali TLS rukovanje pri svakom zahtjevu
  • U Playwright i Puppeteer alatima blokirajte slike, fontove i medijske sadržaje koje ne parsirate
  • Kada IP adresa dobije HTTP 429 ili 503, privremeno je uklonite iz rotacije radi pauze (cooldown) i usporite umjesto trenutnog ponovnog pokušaja

Korak po korak

  1. 1

    Kupite pool prilagođen vašim ciljevima

    Odaberite količinu po zemlji, na primjer SAD, Japan ili UK IPv4. Količinski popusti se primjenjuju automatski s povećanjem količine.

  2. 2

    Pretvorite listu u URL-ove

    Zalijepite linije u formatu ip:port:user:pass u konverter formata proxyja kako biste dobili http://user:pass@ip:port stringove ili JSON.

  3. 3

    Povežite pool sa svojim radnim okvirom

    Koristite stranice s uputstvima za podešavanje za Python Requests, Scrapy, Selenium ili Node.js Axios.

  4. 4

    Izmjerite brzinu prije prvog potpunog pokretanja

    Provjerite vrijeme odziva pomoću testa brzine proxyja i uklonite svaku liniju koja sporo komunicira s vašom ciljnom stranicom.

Često postavljana pitanja

Da li se promet za scraping na ProxyV4 proxyjima mjeri?

Ne. Privatni IPv4 i statički ISP se naplaćuju po IP-ju za period zakupa uz neograničen protok.

Koliko stranica dnevno može preuzeti jedna statička IP adresa?

Zavisi od ograničenja ciljne stranice. Pri brzini od 1 do 3 zahtjeva u minuti po domeni, jedna IP adresa preuzima otprilike 1.500 do 4.000 stranica dnevno bez privlačenja pažnje.

Prodajete li rotirajuće proxyje za scraping?

Još ne. Rotirajući vijetnamski proxyji dostupni su samo putem liste čekanja. Za sada, statički pool s round-robin raspodjelom obavlja isti posao za većinu planiranih crawlera.

Kako brzo pretvoriti 50 proxyja u format za Scrapy?

Zalijepite ih u konverter formata proxyja. On u pregledniku pretvara linije ip:port:user:pass u URL stringove ili JSON niz.

Kreirajte pool za scraping s fiksnim mjesečnim troškom

Privatni IPv4 u sedam zemalja i statički ISP u SAD-u i Vijetnamu, s cijenom po IP-ju i neograničenim prometom.

Pogledajte trenutne cijene za IPv4 u SAD-u

Related articles

Primjeri upotrebe
Dizajniranje scrapera oko poola namjenskih IP adresa
Vodič za data timove: odredite veličinu poola privatnih statičkih IP-ova, rotirajte ih u svom kodu, birajte IPv4, ISP ili IPv6 i prikupljajte podatke savjesno.
Podešavanje proxyja
Python requests kroz autentifikovani proxy, korak po korak
Šaljite Python zahtjeve kroz autentifikovani HTTP(S) proxy: kreirajte proxies dict, povežite Session, kodirajte lozinke, rotirajte listu i provjerite IP.
Podešavanje proxyja
Playwright proxy autentifikacija, jedna statička IP adresa po kontekstu
Dodajte svakom Playwright kontekstu autentifikovani HTTP(S) proxy u Node.js ili Pythonu, uskladite zonu i lokalitet s IP-om te potvrdite izlaznu adresu.
Podešavanje proxyja
Scrapy proxyji: meta['proxy'], redoslijed middlewarea i rotacija
Koristite autentificirane HTTP(S) proxyje u Scrapyju: postavite request.meta['proxy'], poredajte middleware prije HttpProxyMiddleware (750) i rotirajte IP-ove.
IPV4 · united states
Pool privatnih IPv4 proxyja za SAD za scraping, praćenje pozicija i provjeru oglasa
Kupite privatne IPv4 proxyje za SAD: statički američki datacenter IP-jevi, jedan korisnik po IP-ju, neograničen protok. Za scraping, SERP i provjeru oglasa.
IPV4 · vietnam
Privatni IPv4 proxy za Vijetnam: Jedan fiksni IP po računu u velikim količinama
Privatni IPv4 proxyji za Vijetnam: statički datacenter IP-ovi, jedan kupac po IP-u, cijena na količinu. Za seeding profile, sporedne Shopee trgovine i alate.
ISP · united states
Statički ISP proxy za SAD: Kućno registrovana IP adresa koja se nikada ne mijenja
Statički US ISP proxyji na IP adresama kućnih operatera. Fiksna američka IP adresa po nalogu za Amazon prodavce, oglašivačke naloge i Instagram profile.
Podešavanje proxyja
Selenium WebDriver i autentificirani proxyji: šta funkcioniše
Selenium proxy auth za ChromeDriver: zašto --proxy-server ignoriše user:pass, kako to rješava selenium-wire ili onAuthRequired ekstenzija i kako provjeriti IP.