ProxyV4

Proksiji tīmekļa skrāpēšanai: fiksēts IP pūls ar neierobežotu datu plūsmu

Updated:

Tīmekļa skrāpēšanas proksiji ar maksu par gigabaitu sadārdzina rāpuli katru reizi, kad lapa kļūst smagāka, tāpēc regulāriem, plānotiem rāpuļiem izdevīgāks ir fiksēts adrešu pūls ar neierobežotu datu plūsmu. ProxyV4 pārdod privātās IPv4 adreses septiņās valstīs un statiskās ISP adreses ASV un Vjetnamā — katra tiek tirgota ar fiksētu cenu par IP bez datu plūsmas uzskaites. Pūla lielumu jūs nosakāt pēc tā, cik pieprasījumus sekundē mērķa vietnes pieļauj, un rēķins paliek nemainīgs neatkarīgi no lapu izmēra.

Privāts IPv4 (datu centrs)
🇺🇸 Amerikas Savienotās Valstis
Pieejams
No
1,10 $ / IP / mēnesī
Apjoma atlaides
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Pirkt Amerikas Savienotās Valstis
Privāts IPv4 (datu centrs)
🇻🇳 Vjetnama
Pieejams
No
1,10 $ / IP / mēnesī
Apjoma atlaides
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Pirkt Vjetnama

Cena par IP pret cenu par GB rāpulim

JautājumsStatisks pūls (par IP)Uzkaitīta datu plūsma (par GB)
Kas nosaka izmaksasIP skaits un nomas termiņšLejupielādētie baiti, tostarp HTML, JS un resursi
Kas notiek, lapām kļūstot smagākāmNekas; joslas platums ir neierobežotsRēķins pieaug līdz ar tām
Kas ierobežo caurlaidspējuKatra mērķa pieprasījumu limits uz vienu IPBudžets
Kā mērogotPievienojiet IP; cena par vienu IP samazinās līdz ar daudzumuPērciet vairāk datu plūsmas

Kāpēc skrāpji tiek bloķēti un ko maina pūls

Katalogu, sludinājumu sarakstu un publisko API skrāpēšanā lielākā daļa bloķēšanu nav saistīta ar to, kas jūs esat, bet gan ar to, cik ātri vaicājat: viena adrese, kas pārsniedz vietnes pieprasījumu biežumu, saņem HTTP 429. Pūls ar 10 līdz 100 statiskām IP adresēm, kur katrai tiek uzturēts pieklājīgs vienlaicīgo savienojumu skaits, notur katru adresi zem sliekšņa, kamēr rāpulis kopumā darbojas jums nepieciešamajā ātrumā.

Palīdz arī individuāla izmantošana (single tenancy). Katra ProxyV4 IP adrese visu nomas laiku pieder tikai vienam klientam, tāpēc pieprasījumu biežuma vēsture, ko mērķis redz no šīs adreses, pieder vienīgi jums.

Pūla pielāgošana mērķim

  • Publiskiem katalogiem un liela apjoma API: privāts IPv4 ASV vai Singapūrā, zemākās izmaksas par IP
  • Vjetnamas e-komercijai un vietējiem portāliem: Vjetnamas IPv4, lai iegūtu vietējās lapas un vietējās cenas
  • Mērķiem, kas aiz WAF filtrē hostinga ASN: statisks ISP ASV vai Vjetnamā, kas reģistrēts pie patērētāju interneta pakalpojumu sniedzējiem (ISP), kas parasti nozīmē mazāk Cloudflare pārbaužu
  • Mērķiem, kuriem nepieciešama jauna IP katram pieprasījumam: rotējošie Vjetnamas proksiji vēl nav pārdošanā; rotējošo Vjetnamas proksiju lapā ir gaidīšanas saraksts

Rāpuļa iestatījumi, kas nodrošina ilgu statiskā pūla darbību

Katra līnija izmanto standarta piekļuves datus, tāpēc valodā Python proksijs ir vienkārši proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.

  • Sadaliet pieprasījumus pēc round-robin principa visā sarakstā un pievienojiet nejaušinātu nobīdi (jitter), aptuveni 2 līdz 5 sekundes vienai IP katram mērķa domēnam
  • Atkārtoti izmantojiet savienojumus ar requests.Session() vai pūla klientu, lai nebūtu jāmaksā par TLS rokasspiedienu katrā pieprasījumā
  • Rīkos Playwright un Puppeteer bloķējiet attēlus, fontus un multivides failus, kurus neapstrādājat
  • Kad kāda IP saņem HTTP 429 vai 503, izņemiet to no rotācijas atdzišanai un samaziniet pieprasījumu biežumu, nevis mēģiniet vēlreiz uzreiz

Soli pa solim

  1. 1

    Iegādājieties saviem mērķiem piemērotu pūlu

    Izvēlieties daudzumu katrai valstij, piemēram, ASV, Japānas vai Apvienotās Karalistes IPv4. Apjoma atlaides tiek piemērotas automātiski, pieaugot daudzumam.

  2. 2

    Pārvērtiet sarakstu URL formātā

    Ielīmējiet ip:port:user:pass rindas proksiju formāta pārveidotājā, lai iegūtu http://user:pass@ip:port virknes vai JSON.

  3. 3

    Pieslēdziet pūlu savam ietvaram

    Izmantojiet iestatīšanas pamācības rīkiem Python Requests, Scrapy, Selenium vai Node.js Axios.

  4. 4

    Veiciet mērījumus pirms pirmā pilnā laidiena

    Pārbaudiet atbildes laiku, izmantojot proksiju ātruma testu, un atmetiet jebkuru līniju, kas ir lēna pret jūsu mērķi.

Biežāk uzdotie jautājumi

Vai datu plūsma skrāpēšanai ar ProxyV4 proksijiem tiek uzskaitīta?

Nē. Privātajam IPv4 un statiskajam ISP ir cena par IP nomas periodam ar neierobežotu joslas platumu.

Cik lapu dienā var iegūt viena statiskā IP?

Tas ir atkarīgs no mērķa pieprasījumu limita. Veicot 1 līdz 3 pieprasījumus minūtē vienam domēnam, viena IP iegūst aptuveni 1,500 līdz 4,000 lapu dienā, neizraisot aizdomas.

Vai jūs pārdodat rotējošos proksijus skrāpēšanai?

Vēl nē. Rotējošie Vjetnamas proksiji ir pieejami tikai gaidīšanas sarakstā. Pašlaik statisks pūls ar round-robin sadali veic to pašu uzdevumu lielākajai daļai plānoto skrāpēšanas procesu.

Kā ātri pārveidot 50 proksijus Scrapy formātā?

Ielīmējiet tos proksiju formāta pārveidotājā. Tas pārlūkprogrammā pārvērš ip:port:user:pass rindas par URL virknēm vai JSON masīvu.

Izveidojiet skrāpēšanas pūlu ar fiksētām ikmēneša izmaksām

Privāts IPv4 septiņās valstīs un statisks ISP ASV un Vjetnamā ar cenu par IP un neierobežotu datu plūsmu.

Skatīt aktuālās ASV IPv4 cenas

Related articles

Pielietojums
Datu vācēja izstrāde, izmantojot dedicēto IP adrešu pūlu
Plānošanas ceļvedis datu komandām: pielāgojiet privāto statisko IP pūlu, rotējiet adreses savā kodā, izvēlieties IPv4, ISP vai IPv6 un vāciet datus atbildīgi.
Proksiju iestatīšana
Python requests caur autentificētu starpniekserveri soli pa solim
Sūtiet Python pieprasījumus caur autentificētu HTTP(S) proxy: izveidojiet proxies vārdnīcu, piesaistiet Session, kodējiet paroles un pārbaudiet IP adresi.
Proksiju iestatīšana
Playwright proxy autentifikācija: viena statiskā IP katram kontekstam
Piešķiriet katram Playwright kontekstam autentificētu HTTP(S) proxy Node.js vai Python, pielāgojiet laika joslu un lokāli IP un apstipriniet izejas adresi.
Proksiju iestatīšana
Scrapy starpniekserveri: meta['proxy'], starpprogrammatūras secība un rotācija
Izmantojiet autorizētus HTTP(S) starpniekus Scrapy: iestatiet request.meta['proxy'], palaidiet pirms HttpProxyMiddleware (750), rotējiet IP un regulējiet tempu.
IPV4 · united states
ASV privāto IPv4 starpniekserveru kopa datu vākšanai, pozīciju izsekošanai un reklāmu pārbaudei
Pērc ASV privātos IPv4 proxy: statiskas ASV datu centra IP, viens klients uz IP, neierobežota datplūsma. Piemēroti skrāpēšanai, SERP un ASV reklāmu pārbaudei.
IPV4 · vietnam
Vjetnamas privātais IPv4 starpniekserveris: viena fiksēta IP adrese katram kontam lielos apjomos
Vjetnamas privātie IPv4 proxy: statiskas datu centra IP vienam lietotājam, izdevīgi apjomam. Profilu sēšanai, sekundārajiem Shopee veikaliem un rīkiem.
ISP · united states
ASV statiskais ISP starpniekserveris: mājas tīklā reģistrēta IP adrese, kas nekad nemainās
ASV statiskie ISP proxy ar IP, kas reģistrētas mājas interneta provaideriem. Viena fiksēta ASV IP kontam: Amazon pārdevējiem, reklāmas kontiem un Instagram.
Proksiju iestatīšana
Selenium WebDriver un autentificēti starpniekserveri: kas darbojas
Selenium proxy autentifikācija ChromeDriver: kāpēc --proxy-server ignorē user:pass, kā palīdz selenium-wire vai onAuthRequired paplašinājums un kā pārbaudīt IP.