Proxy សម្រាប់ Web scraping៖ អាង IP ថេរជាមួយទិន្នន័យចរាចរណ៍គ្មានកំណត់
Updated:
Proxy សម្រាប់ Web scraping ដែលគិតប្រាក់តាមជីហ្គាបៃ (GB) ធ្វើឱ្យ crawler កាន់តែថ្លៃរាល់ពេលទំព័រគេហទំព័រកាន់តែធ្ងន់ ដែលជាហេតុធ្វើឱ្យ crawler ដែលដំណើរការទៀងទាត់តាមកាលវិភាគមានតម្លៃធូរថ្លៃជាងនៅលើអាងអាសយដ្ឋានថេរជាមួយទិន្នន័យចរាចរណ៍គ្មានកំណត់។ ProxyV4 លក់ IPv4 ឯកជនក្នុង 7 ប្រទេស និង ISP ថេរនៅសហរដ្ឋអាមេរិក និងវៀតណាម ដោយនីមួយៗគិតថ្លៃតាម IP ដោយគ្មានការវាស់ទំហំទិន្នន័យចរាចរណ៍ឡើយ។ អ្នកកំណត់ទំហំអាងអាសយដ្ឋានទៅតាមចំនួនសំណើក្នុងមួយវិនាទីដែលគេហទំព័រគោលដៅអនុញ្ញាត ហើយវិក្កយបត្រនៅតែដដែល ទោះបីជាទំព័រមានទំហំធ្ងន់ប៉ុណ្ណាក៏ដោយ។
- 1 IP1.85$
- 3+ IP1.70$
- 10+ IP1.60$
- 25+ IP1.50$
- 50+ IP1.40$
- 100+ IP1.30$
- 200+ IP1.20$
- 500+ IP1.10$
- 1 IP1.85$
- 3+ IP1.70$
- 10+ IP1.60$
- 25+ IP1.50$
- 50+ IP1.40$
- 100+ IP1.30$
- 200+ IP1.20$
- 500+ IP1.10$
ការប្រៀបធៀបតម្លៃគិតតាម IP និងតម្លៃគិតតាម GB សម្រាប់ crawler
| សំណួរ | អាង IP ថេរ (គិតតាម IP) | ទិន្នន័យវាស់វែង (គិតតាម GB) |
|---|---|---|
| កត្តាកំណត់តម្លៃ | ចំនួន IP និងរយៈពេលជួល | ចំនួនបៃ (Byte) ដែលបានទាញយក រួមទាំង HTML, JS និង assets |
| អ្វីកើតឡើងនៅពេលទំព័រកាន់តែធ្ងន់ | គ្មានបញ្ហាអ្វីឡើយ ព្រោះកម្រិតបញ្ជូនគ្មានដែនកំណត់ | វិក្កយបត្រកើនឡើងតាមនោះដែរ |
| កត្តាកំណត់កម្រិតបញ្ជូនទិន្នន័យ (Throughput) | ដែនកំណត់អត្រាសំណើក្នុងមួយ IP នៃគោលដៅនីមួយៗ | ថវិកា |
| របៀបពង្រីកទំហំ (Scale) | បន្ថែម IP ដោយតម្លៃក្នុងមួយ IP នឹងចុះថោកតាមចំនួនទិញ | ទិញទិន្នន័យចរាចរណ៍បន្ថែម |
មូលហេតុដែល scraper ត្រូវបាន block និងដំណោះស្រាយពីអាង IP
ក្នុងការ scrape កាតាឡុក បញ្ជីទិន្នន័យ និង API សាធារណៈ ការ block ភាគច្រើនមិនមែនដោយសារអ្នកជានរណានោះទេ ប៉ុន្តែគឺដោយសារអ្នកផ្ញើសំណើញឹកញាប់ពេក៖ អាសយដ្ឋានមួយដែលលើសកម្រិតអត្រាសំណើរបស់គេហទំព័រ នឹងទទួលបានកូដ HTTP 429។ អាង IP ថេរពី 10 ទៅ 100 IP ដែលនីមួយៗរក្សាកម្រិតសំណើដំណាលគ្នាត្រឹមត្រូវ នឹងជួយរក្សាគ្រប់អាសយដ្ឋានទាំងអស់ឱ្យនៅក្រោមកម្រិតកំណត់ ខណៈដែល crawler ទាំងមូលដំណើរការក្នុងល្បឿនដែលអ្នកត្រូវការ។
ការប្រើប្រាស់ផ្តាច់មុខ (Single tenancy) ក៏ជួយក្នុងរឿងនេះផងដែរ។ IP របស់ ProxyV4 នីមួយៗគឺជារបស់អតិថិជនតែម្នាក់គត់សម្រាប់រយៈពេលជួលទាំងមូល ដូច្នេះប្រវត្តិអត្រាសំណើដែលគោលដៅមើលឃើញលើអាសយដ្ឋាននោះ គឺជារបស់អ្នកផ្ទាល់តែប៉ុណ្ណោះ។
ការជ្រើសរើសអាង IP ឱ្យត្រូវនឹងគោលដៅ
- កាតាឡុកសាធារណៈ និង API ទំហំធំ៖ IPv4 ឯកជននៅ សហរដ្ឋអាមេរិក ឬ សិង្ហបុរី ដែលមានតម្លៃទាបបំផុតក្នុងមួយ IP
- ពាណិជ្ជកម្មអេឡិចត្រូនិក និងគេហទំព័រក្នុងស្រុកវៀតណាម៖ Vietnam IPv4 ដើម្បីទទួលបានទំព័រក្នុងស្រុក និងតម្លៃក្នុងស្រុក
- គោលដៅដែលច្រោះ hosting ASN នៅពីក្រោយ WAF៖ ISP ថេរនៅ សហរដ្ឋអាមេរិក ឬ វៀតណាម ដែលបានចុះបញ្ជីជាមួយ ISP សម្រាប់អ្នកប្រើប្រាស់ទូទៅ ដែលជាធម្មតាមានន័យថានឹងជួប Cloudflare challenge តិចជាងមុន
- គោលដៅដែលត្រូវការ IP ថ្មីរាល់ពេលស្នើសុំ៖ proxy វៀតណាម rotating មិនទាន់មានលក់នៅឡើយទេ សូមចូលទៅកាន់ ទំព័រ rotating វៀតណាម ដើម្បីចុះឈ្មោះក្នុងបញ្ជីរង់ចាំ
ការកំណត់ crawler ដើម្បីប្រើប្រាស់អាង IP ថេរឱ្យមានប្រសិទ្ធភាពយូរអង្វែង
ខ្សែតភ្ជាប់នីមួយៗប្រើព័ត៌មានសម្ងាត់ស្តង់ដារ ដូច្នេះក្នុង Python ការកំណត់ proxy គឺត្រឹមតែ proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"} ប៉ុណ្ណោះ។
- បែងចែកសំណើតាមវិធី round-robin កាត់តាមបញ្ជី IP និងបន្ថែមចន្លោះពេលចៃដន្យ (jitter) ប្រហែល 2 ទៅ 5 វិនាទីក្នុងមួយ IP សម្រាប់ domain គោលដៅនីមួយៗ
- ប្រើការតភ្ជាប់ឡើងវិញជាមួយ
requests.Session()ឬ pooled client ដើម្បីកុំឱ្យខាតបង់ការធ្វើ TLS handshake រាល់ពេលមានសំណើ - នៅក្នុង Playwright និង Puppeteer សូម block រូបភាព ហ្វុន និងមេឌៀដែលអ្នកមិន parse យក
- នៅពេល IP ទទួលបានកូដ HTTP 429 ឬ 503 សូមដកវាចេញពីការបង្វិលសិន ដើម្បីឱ្យវា cooldown និងពន្យារពេល ជាជាងព្យាយាមម្ដងទៀតភ្លាមៗ
មួយជំហានម្តងៗ
- 1
ទិញអាង IP តាមទំហំសមស្របនឹងគោលដៅរបស់អ្នក
ជ្រើសរើសចំនួនតាមប្រទេស ឧទាហរណ៍ IPv4 សហរដ្ឋអាមេរិក, ជប៉ុន ឬ ចក្រភពអង់គ្លេស។ កម្រិតបញ្ចុះតម្លៃតាមបរិមាណនឹងត្រូវអនុវត្តដោយស្វ័យប្រវត្តិនៅពេលចំនួនកើនឡើង។
- 2
បំប្លែងបញ្ជីទៅជា URL
ចម្លងបន្ទាត់
ip:port:user:passដាក់ចូលទៅក្នុង កម្មវិធីបំប្លែងទម្រង់ proxy ដើម្បីទទួលបានទម្រង់ជាអក្សរhttp://user:pass@ip:portឬ JSON។ - 3
ភ្ជាប់អាង IP ចូលទៅក្នុង framework របស់អ្នក
ប្រើប្រាស់ទំព័រណែនាំការដំឡើងសម្រាប់ Python Requests, Scrapy, Selenium ឬ Node.js Axios។
- 4
ធ្វើតេស្តវាស់ស្ទង់មុនពេលដំណើរការពេញលេញលើកដំបូង
ពិនិត្យមើលរយៈពេលឆ្លើយតបជាមួយ តេស្តល្បឿន proxy ហើយលុបចោលខ្សែណាដែលយឺតទៅកាន់គោលដៅរបស់អ្នក។
សំណួរដែលសួរញឹកញាប់
តើទិន្នន័យចរាចរណ៍ scraping លើ proxy របស់ ProxyV4 ត្រូវបានគិតថ្លៃតាមទំហំដែរឬទេ?
ទេ មិនគិតទេ។ IPv4 ឯកជន និង ISP ថេរ ត្រូវបានគិតថ្លៃតាម IP សម្រាប់រយៈពេលជួល ជាមួយកម្រិតបញ្ជូនគ្មានដែនកំណត់។
តើ IP ថេរមួយអាចទាញយកទិន្នន័យបានប៉ុន្មានទំព័រក្នុងមួយថ្ងៃ?
វាអាស្រ័យលើដែនកំណត់អត្រាសំណើរបស់គោលដៅ។ ក្នុងអត្រា 1 ទៅ 3 សំណើក្នុងមួយនាទីសម្រាប់ domain នីមួយៗ IP មួយអាចទាញយកបានប្រហែល 1,500 ទៅ 4,000 ទំព័រក្នុងមួយថ្ងៃដោយមិនបង្កការចាប់អារម្មណ៍ឡើយ។
តើអ្នកមានលក់ proxy rotating សម្រាប់ scraping ដែរឬទេ?
មិនទាន់មាននៅឡើយទេ។ Proxy វៀតណាម rotating គឺសម្រាប់តែអ្នកនៅក្នុងបញ្ជីរង់ចាំប៉ុណ្ណោះ។ បច្ចុប្បន្ន អាង IP ថេរដែលមានការបែងចែកតាម round-robin អាចបំពេញការងារនេះបានដូចគ្នាសម្រាប់ដំណើរការ crawl តាមកាលវិភាគភាគច្រើន។
តើខ្ញុំអាចបំប្លែង 50 proxy ទៅជាទម្រង់ Scrapy យ៉ាងរហ័សដោយរបៀបណា?
ចម្លងពួកវាដាក់ចូលទៅក្នុង កម្មវិធីបំប្លែងទម្រង់ proxy។ វានឹងបំប្លែងបន្ទាត់ ip:port:user:pass ទៅជា string URL ឬ JSON array នៅលើ browser ផ្ទាល់។
បង្កើតអាង IP សម្រាប់ scraping ជាមួយតម្លៃប្រចាំខែថេរ
IPv4 ឯកជនក្នុង 7 ប្រទេស និង ISP ថេរនៅសហរដ្ឋអាមេរិក និងវៀតណាម គិតថ្លៃតាម IP ជាមួយទិន្នន័យចរាចរណ៍គ្មានកំណត់។
ពិនិត្យមើលតម្លៃផ្ទាល់នៃ US IPv4