Proksiji tīmekļa skrāpēšanai: fiksēts IP pūls ar neierobežotu datu plūsmu
Updated:
Tīmekļa skrāpēšanas proksiji ar maksu par gigabaitu sadārdzina rāpuli katru reizi, kad lapa kļūst smagāka, tāpēc regulāriem, plānotiem rāpuļiem izdevīgāks ir fiksēts adrešu pūls ar neierobežotu datu plūsmu. ProxyV4 pārdod privātās IPv4 adreses septiņās valstīs un statiskās ISP adreses ASV un Vjetnamā — katra tiek tirgota ar fiksētu cenu par IP bez datu plūsmas uzskaites. Pūla lielumu jūs nosakāt pēc tā, cik pieprasījumus sekundē mērķa vietnes pieļauj, un rēķins paliek nemainīgs neatkarīgi no lapu izmēra.
- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
Cena par IP pret cenu par GB rāpulim
| Jautājums | Statisks pūls (par IP) | Uzkaitīta datu plūsma (par GB) |
|---|---|---|
| Kas nosaka izmaksas | IP skaits un nomas termiņš | Lejupielādētie baiti, tostarp HTML, JS un resursi |
| Kas notiek, lapām kļūstot smagākām | Nekas; joslas platums ir neierobežots | Rēķins pieaug līdz ar tām |
| Kas ierobežo caurlaidspēju | Katra mērķa pieprasījumu limits uz vienu IP | Budžets |
| Kā mērogot | Pievienojiet IP; cena par vienu IP samazinās līdz ar daudzumu | Pērciet vairāk datu plūsmas |
Kāpēc skrāpji tiek bloķēti un ko maina pūls
Katalogu, sludinājumu sarakstu un publisko API skrāpēšanā lielākā daļa bloķēšanu nav saistīta ar to, kas jūs esat, bet gan ar to, cik ātri vaicājat: viena adrese, kas pārsniedz vietnes pieprasījumu biežumu, saņem HTTP 429. Pūls ar 10 līdz 100 statiskām IP adresēm, kur katrai tiek uzturēts pieklājīgs vienlaicīgo savienojumu skaits, notur katru adresi zem sliekšņa, kamēr rāpulis kopumā darbojas jums nepieciešamajā ātrumā.
Palīdz arī individuāla izmantošana (single tenancy). Katra ProxyV4 IP adrese visu nomas laiku pieder tikai vienam klientam, tāpēc pieprasījumu biežuma vēsture, ko mērķis redz no šīs adreses, pieder vienīgi jums.
Pūla pielāgošana mērķim
- Publiskiem katalogiem un liela apjoma API: privāts IPv4 ASV vai Singapūrā, zemākās izmaksas par IP
- Vjetnamas e-komercijai un vietējiem portāliem: Vjetnamas IPv4, lai iegūtu vietējās lapas un vietējās cenas
- Mērķiem, kas aiz WAF filtrē hostinga ASN: statisks ISP ASV vai Vjetnamā, kas reģistrēts pie patērētāju interneta pakalpojumu sniedzējiem (ISP), kas parasti nozīmē mazāk Cloudflare pārbaužu
- Mērķiem, kuriem nepieciešama jauna IP katram pieprasījumam: rotējošie Vjetnamas proksiji vēl nav pārdošanā; rotējošo Vjetnamas proksiju lapā ir gaidīšanas saraksts
Rāpuļa iestatījumi, kas nodrošina ilgu statiskā pūla darbību
Katra līnija izmanto standarta piekļuves datus, tāpēc valodā Python proksijs ir vienkārši proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Sadaliet pieprasījumus pēc round-robin principa visā sarakstā un pievienojiet nejaušinātu nobīdi (jitter), aptuveni 2 līdz 5 sekundes vienai IP katram mērķa domēnam
- Atkārtoti izmantojiet savienojumus ar
requests.Session()vai pūla klientu, lai nebūtu jāmaksā par TLS rokasspiedienu katrā pieprasījumā - Rīkos Playwright un Puppeteer bloķējiet attēlus, fontus un multivides failus, kurus neapstrādājat
- Kad kāda IP saņem HTTP 429 vai 503, izņemiet to no rotācijas atdzišanai un samaziniet pieprasījumu biežumu, nevis mēģiniet vēlreiz uzreiz
Soli pa solim
- 1
Iegādājieties saviem mērķiem piemērotu pūlu
Izvēlieties daudzumu katrai valstij, piemēram, ASV, Japānas vai Apvienotās Karalistes IPv4. Apjoma atlaides tiek piemērotas automātiski, pieaugot daudzumam.
- 2
Pārvērtiet sarakstu URL formātā
Ielīmējiet
ip:port:user:passrindas proksiju formāta pārveidotājā, lai iegūtuhttp://user:pass@ip:portvirknes vai JSON. - 3
Pieslēdziet pūlu savam ietvaram
Izmantojiet iestatīšanas pamācības rīkiem Python Requests, Scrapy, Selenium vai Node.js Axios.
- 4
Veiciet mērījumus pirms pirmā pilnā laidiena
Pārbaudiet atbildes laiku, izmantojot proksiju ātruma testu, un atmetiet jebkuru līniju, kas ir lēna pret jūsu mērķi.
Biežāk uzdotie jautājumi
Vai datu plūsma skrāpēšanai ar ProxyV4 proksijiem tiek uzskaitīta?
Nē. Privātajam IPv4 un statiskajam ISP ir cena par IP nomas periodam ar neierobežotu joslas platumu.
Cik lapu dienā var iegūt viena statiskā IP?
Tas ir atkarīgs no mērķa pieprasījumu limita. Veicot 1 līdz 3 pieprasījumus minūtē vienam domēnam, viena IP iegūst aptuveni 1,500 līdz 4,000 lapu dienā, neizraisot aizdomas.
Vai jūs pārdodat rotējošos proksijus skrāpēšanai?
Vēl nē. Rotējošie Vjetnamas proksiji ir pieejami tikai gaidīšanas sarakstā. Pašlaik statisks pūls ar round-robin sadali veic to pašu uzdevumu lielākajai daļai plānoto skrāpēšanas procesu.
Kā ātri pārveidot 50 proksijus Scrapy formātā?
Ielīmējiet tos proksiju formāta pārveidotājā. Tas pārlūkprogrammā pārvērš ip:port:user:pass rindas par URL virknēm vai JSON masīvu.
Izveidojiet skrāpēšanas pūlu ar fiksētām ikmēneša izmaksām
Privāts IPv4 septiņās valstīs un statisks ISP ASV un Vjetnamā ar cenu par IP un neierobežotu datu plūsmu.
Skatīt aktuālās ASV IPv4 cenas