Веб скрапинг хийх прокси: хязгааргүй дататай тогтмол IP сан
Updated:
Гигабайтаар тооцдог веб скрапинг прокси нь хуудасны хэмжээ томрох тусам краулерын зардлыг өсгөдөг. Иймээс тогтмол хуваарьтай краулеруудад хязгааргүй дататай тогтмол IP хаягийн сан ашиглах нь хамаагүй хямд тусдаг. ProxyV4 нь долоон улсын хувийн IPv4 болон АНУ, Вьетнам дахь статик ISP хаягуудыг трафик хязгаарлахгүйгээр IP тутамд тогтмол үнээр санал болгодог. Та зорилтот сайтын секундэд даах хүсэлтийн хэмжээнд тохируулан сангаа бүрдүүлэх бөгөөд хуудасны хэмжээ хэчнээн томорсон ч төлбөр өөрчлөгдөхгүй тогтмол хэвээр үлдэнэ.
- 1 IP$ 1.85
- 3+ IP$ 1.70
- 10+ IP$ 1.60
- 25+ IP$ 1.50
- 50+ IP$ 1.40
- 100+ IP$ 1.30
- 200+ IP$ 1.20
- 500+ IP$ 1.10
- 1 IP$ 1.85
- 3+ IP$ 1.70
- 10+ IP$ 1.60
- 25+ IP$ 1.50
- 50+ IP$ 1.40
- 100+ IP$ 1.30
- 200+ IP$ 1.20
- 500+ IP$ 1.10
Краулерт зориулсан IP-ийн үнэ ба ГБ-ийн үнийн харьцуулалт
| Асуулт | Тогтмол сан (IP тутамд) | Тоолууртай трафик (ГБ тутамд) |
|---|---|---|
| Зардалд юу нөлөөлдөг вэ | IP-ийн тоо болон түрээсийн хугацаа | Татаж авсан дата хэмжээ (HTML, JS болон бусад файлууд багтана) |
| Хуудасны хэмжээ томорвол юу болох вэ | Юу ч өөрчлөгдөхгүй, дата хязгааргүй | Хуудасны хэмжээг дагаад төлбөр нэмэгдэнэ |
| Нэвтрүүлэх чадварыг юу хязгаарладаг вэ | Зорилтот сайт бүрийн нэг IP-д ногдох хүсэлтийн хязгаар | Төсөв |
| Хэрхэн цар хүрээгээ тэлэх вэ | IP нэмэх; тоо ширхэг нэмэгдэх тусам нэг IP-ийн үнэ буурна | Нэмэлт трафик худалдаж авах |
Скраперууд яагаад блоклогддог вэ, IP сан үүнийг хэрхэн өөрчилдөг вэ
Каталог, зарын жагсаалт болон нийтийн API-аас өгөгдөл цуглуулахад ихэнх блоклолт нь та хэн бэ гэдгээс бус, хэр хурдан хүсэлт илгээж байгаагаас шалтгаалдаг: сайтын хүсэлтийн хязгаарыг хэтрүүлсэн нэг хаяг л HTTP 429 алдаа авдаг. 10-аас 100 хүртэлх статик IP-ийн сан ашиглаж, хаяг тус бүр дээрх зэрэгцээ хүсэлтийг зохистой түвшинд барьснаар хаяг бүр босго хязгаараас хэтрэхгүй бөгөөд краулер бүхэлдээ танд хэрэгтэй хурдаар тасралтгүй ажиллана.
Ганц хэрэглэгч эзэмших (single tenancy) нь үүнд мөн тусалдаг. ProxyV4-ийн IP бүр түрээсийн бүх хугацаанд зөвхөн нэг хэрэглэгчид харьяалагддаг тул зорилтот сайтын тухайн хаяг дээр бүртгэж харсан хүсэлтийн түүх зөвхөн таных байна.
Зорилтот сайтдаа тохируулан санг сонгох
- Нийтийн каталог болон их хэмжээний хүсэлттэй API: нэг IP-ийн өртөг хамгийн бага байх Америкийн Нэгдсэн Улс эсвэл Сингапур дахь хувийн IPv4
- Вьетнамын цахим худалдаа болон орон нутгийн порталууд: дотоодын хуудсууд болон орон нутгийн үнийг харах Вьетнам IPv4
- WAF-ийн ард хостинг ASN-ийг шүүдэг зорилтот сайтууд: хэрэглэгчийн ISP-д бүртгэлтэй тул Cloudflare шалгалтыг цөөн өдөөдөг Америкийн Нэгдсэн Улс эсвэл Вьетнам дахь статик ISP
- Хүсэлт бүрд шинэ IP шаарддаг сайтууд: эргэлтийн Вьетнам прокси хараахан худалдаанд гараагүй байгаа бөгөөд эргэлтийн Вьетнам прокси хуудас дээр хүлээлгийн жагсаалт бий
Статик санг урт хугацаанд тогтвортой ажиллуулах краулерын тохиргоо
Шугам бүр стандарт нэвтрэх эрх ашигладаг тул Python дээр проксиг ердөө proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"} гэж заахад л хангалттай.
- Хүсэлтүүдийг жагсаалтын дагуу ээлжлэн (round-robin) хуваарилж, зорилтот домэйн дэх IP тутамд ойролцоогоор 2-оос 5 секундын санамсаргүй хүлээлт (jitter) нэмэх
requests.Session()эсвэл холболтын сан бүхий клиент ашиглан холболтыг дахин ашигласнаар хүсэлт бүрд TLS гар барих (handshake) зардал гаргахгүй- Playwright болон Puppeteer дээр өөрт хэрэггүй зураг, фонт, медиа файлуудыг блоклох
- IP дээр HTTP 429 эсвэл 503 алдаа гарвал шууд дахин оролдохын оронд хөргөх хугацаа өгч эргэлтээс түр гарган, хүсэлтийн давтамжийг бууруулах
Алхам алхмаар
- 1
Зорилтот сайтдаа нийцүүлэн сан худалдаж авах
Улс бүрээр тоо ширхэгээ сонгоно уу. Жишээ нь АНУ, Япон эсвэл Их Британи IPv4. Тоо хэмжээ нэмэгдэх тусам бөөний хөнгөлөлт автоматаар бодогдоно.
- 2
Жагсаалтыг URL хэлбэрт хөрвүүлэх
ip:port:user:passмөрүүдээ прокси формат хөрвүүлэгч рүү хуулж тавинhttp://user:pass@ip:portтэмдэгт мөр эсвэл JSON болгон авна уу. - 3
Сангаа өөрийн фреймворктой холбох
Python Requests, Scrapy, Selenium эсвэл Node.js Axios-д зориулсан тохиргооны зааврыг ашиглана уу.
- 4
Бүрэн ажиллуулахаасаа өмнө шалгаж хэмжих
Прокси хурд шалгагч-аар хариу өгөх хугацааг шалгаж, зорилтот сайт руу тань удаан холбогдож буй шугамуудыг хасна уу.
Түгээмэл асуултууд
ProxyV4 прокси дээрх скрапингийн трафикийг тооцдог уу?
Үгүй. Хувийн IPv4 болон статик ISP нь түрээсийн хугацаанд хязгааргүй дататайгаар IP тутамд үнэлэгддэг.
Нэг статик IP өдөрт хэдэн хуудас татаж чадах вэ?
Энэ нь зорилтот сайтын хүсэлтийн хязгаараас шалтгаална. Домэйн тутамд минутад 1-ээс 3 хүсэлт илгээхэд нэг IP нь сэжиг төрүүлэхгүйгээр өдөрт ойролцоогоор 1,500-аас 4,000 хуудас татах боломжтой.
Танайх скрапинг хийхэд зориулсан эргэлтийн прокси худалддаг уу?
Одоогоор үгүй. Эргэлтийн Вьетнам прокси зөвхөн хүлээлгийн жагсаалттай байгаа. Одоогоор ихэнх хуваарьт краулерт round-robin хуваарилалт бүхий статик сан яг адилхан үүрэг гүйцэтгэнэ.
50 ширхэг проксиг Scrapy форматад хэрхэн хурдан хөрвүүлэх вэ?
Тэдгээрийг прокси формат хөрвүүлэгч рүү хуулж тавина уу. Энэ нь браузер дотор ip:port:user:pass мөрүүдийг URL тэмдэгт мөр эсвэл JSON массив болгон хөрвүүлнэ.
Сар бүр тогтмол зардалтай скрапинг сан үүсгэх
Долоон улсын хувийн IPv4 болон АНУ, Вьетнам дахь статик ISP, хязгааргүй трафикийн хамт IP тутамд тогтмол үнэтэй.
АНУ-ын IPv4-ийн бодит үнийг шалгах