ប្រូកស៊ី Scrapy៖ meta['proxy'] លំដាប់ middleware និងការបង្វិល IP
ដោយក្រុមវិស្វកម្ម ProxyV4 · Updated:
នៅក្នុង Scrapy ប្រូកស៊ីត្រូវបានកំណត់សម្រាប់ request នីមួយៗតាមរយៈ request.meta['proxy'] = 'http://user:pass@ip:port' ហើយ HttpProxyMiddleware ភ្ជាប់ស្រាប់ (លំដាប់ 750) នឹងបំប្លែងផ្នែក user:pass ទៅជា header Proxy-Authorization។ បន្ថែម downloader middleware តូចមួយដែលដំណើរការមុនវា នៅលំដាប់ 740 នោះគ្រប់ request ដែល spider របស់អ្នកបង្កើត អាចជ្រើសរើស IP មួយពី pool ProxyV4 របស់អ្នកបាន។
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1.85$
- 3+ IP1.70$
- 10+ IP1.60$
- 25+ IP1.50$
- 50+ IP1.40$
- 100+ IP1.30$
- 200+ IP1.20$
- 500+ IP1.10$
- 1 IP1.85$
- 3+ IP1.70$
- 10+ IP1.60$
- 25+ IP1.50$
- 50+ IP1.40$
- 100+ IP1.30$
- 200+ IP1.20$
- 500+ IP1.10$
មូលហេតុដែលលេខលំដាប់ middleware មានសារៈសំខាន់
Downloader middleware ដំណើរការតាមលំដាប់ឡើងនៅពេលបញ្ជូនចេញ។ HttpProxyMiddleware នៅលំដាប់ 750 អាន meta['proxy'] ដកព័ត៌មានសម្ងាត់ចេញពី URL ហើយសរសេរ auth header។ ប្រសិនបើ middleware ផ្ទាល់ខ្លួនរបស់អ្នកកំណត់ប្រូកស៊ីនៅពេលក្រោយ ឧទាហរណ៍នៅ 800 នោះ middleware ភ្ជាប់ស្រាប់បានដំណើរការរួចហើយ ព័ត៌មានសម្ងាត់មិនត្រូវបានបំប្លែងឡើយ ហើយប្រូកស៊ីនឹងឆ្លើយតប 407។ ការចុះឈ្មោះ middleware របស់អ្នកនៅ 740 នឹងដាក់វាឱ្យដំណើរការមុនគេ។
| ការកំណត់ | តម្លៃណែនាំ | ប្រសិទ្ធភាព |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | បញ្ជូន request នោះតាមរយៈប្រូកស៊ី ProxyV4 ដែលបានកំណត់ |
| លំដាប់ middleware របស់អ្នក | 740 | ដំណើរការមុន HttpProxyMiddleware (750) ដូច្នេះព័ត៌មាន login ត្រូវបាន encode |
CONCURRENT_REQUESTS_PER_IP | 2 ទៅ 4 | កំណត់ចំនួន request ស្របគ្នាសម្រាប់ IP គោលដៅនីមួយៗ ជាកម្រិតសមរម្យដើម្បីកុំឱ្យប៉ះពាល់ខ្លាំងដល់ server នីមួយៗ |
AUTOTHROTTLE_ENABLED | True | អនុញ្ញាតឱ្យ Scrapy ពន្យារ ឬកាត់បន្ថយរយៈពេលពន្យារផ្អែកលើល្បឿនឆ្លើយតបរបស់គោលដៅ |
ទិដ្ឋភាពទូទៅនៃ rotation middleware
- អានបញ្ជីប្រូកស៊ីពី settings នៅក្នុង
from_crawler()ហើយរក្សាទុកវានៅលើ middleware instance - នៅក្នុង
process_request()កំណត់request.meta['proxy'] = random.choice(self.proxies)លើកលែងតែ request នោះមានប្រូកស៊ីរួចហើយ - នៅពេលការឆ្លើយតបត្រឡប់មកវិញជា
429ឬ503សូមព្យាយាមម្តងទៀតជាមួយប្រូកស៊ីផ្សេងទៀតពី pool ជំនួសឱ្យប្រូកស៊ីដែលទើបតែត្រូវបានបដិសេធ - រួមបញ្ចូល
DOWNLOAD_DELAY = 1.0ជាមួយRANDOMIZE_DOWNLOAD_DELAY = Trueដើម្បីឱ្យចន្លោះពេលរវាង request ផ្លាស់ប្តូរខុសៗគ្នា ជាជាងដើរទៀងទាត់ដូចនាឡិកា
ការកំណត់ទំហំ pool
ការ crawl របស់ Scrapy អាចបញ្ជូន request ច្រើនក្នុងមួយនាទី ដូច្នេះចំនួន IP កំណត់ពីកម្រិតបន្ទុកស្រាលលើ IP នីមួយៗ។ ជាមួយ ProxyV4 គឺមិនមានការបញ្ជាទិញអប្បបរមាទេ ហើយតម្លៃក្នុងមួយ IP នឹងធ្លាក់ចុះនៅពេលបរិមាណកើនឡើង ព្រមទាំង traffic របស់ IPv4 ឯកជនមិនត្រូវបានកំណត់កម្រិតឡើយ ដូច្នេះការ crawl ទំហំធំចំណាយលើ bandwidth ស្មើនឹងការ crawl ទំហំតូចដែរ។ IP នីមួយៗត្រូវបានប្រើប្រាស់ដោយអតិថិជនតែម្នាក់គត់ ដូច្នេះកេរ្តិ៍ឈ្មោះរបស់វាឆ្លុះបញ្ចាំងពីការ crawl ផ្ទាល់ខ្លួនរបស់អ្នក មិនពាក់ព័ន្ធអ្នកណាឡើយ។ សម្រាប់ការរៀបចំគម្រោងបរិមាណ crawl និងភាពសមរម្យ សូមមើល web scraping guide។
មួយជំហានម្តងៗ
- 1
រៀបចំ URL ប្រូកស៊ី
បំប្លែងបន្ទាត់
ip:port:user:passនៃ ProxyV4 របស់អ្នកទៅជាhttp://user:pass@ip:portជាមួយ proxy format converter ហើយរក្សាទុកពួកវាក្នុង settings ឬ file។ - 2
សរសេរ ProxyPoolMiddleware
នៅក្នុង
middlewares.pyសូមអនុវត្តprocess_request(self, request, spider)ដើម្បីឱ្យវាកំណត់request.meta['proxy'] = random.choice(self.proxies)។ - 3
ចុះឈ្មោះវាមុន middleware ភ្ជាប់ស្រាប់
នៅក្នុង
settings.pyសូមបន្ថែម'myproject.middlewares.ProxyPoolMiddleware': 740ទៅកាន់DOWNLOADER_MIDDLEWARESហើយកំណត់CONCURRENT_REQUESTS_PER_IP = 2។ - 4
ផ្ទៀងផ្ទាត់ការបង្វិល IP
ទាញយក
https://proxyv4.com/api/my-ipពីរបីដងដោយប្រើscrapy shellឬ spider សាកល្បងខ្លីមួយ ហើយពិនិត្យមើលថា IP ដែលបង្ហាញមានការផ្លាស់ប្តូរនៅក្នុង pool របស់អ្នក។
សំណួរដែលសួរញឹកញាប់
Proxy middleware របស់ខ្ញុំនៅ priority 800 ជួបកំហុស 407។ មកពីអ្វី?
នៅ 800 វាដំណើរការក្រោយ HttpProxyMiddleware (750) ដូច្នេះ user:pass នៅក្នុង URL ប្រូកស៊ីរបស់អ្នកមិនត្រូវបានបំប្លែងទៅជា header Proxy-Authorization ឡើយ។ សូមប្តូរ middleware របស់អ្នកឱ្យនៅក្រោម 750 ឧទាហរណ៍ 740។
តើខ្ញុំអាចកំណត់ប្រូកស៊ីសម្រាប់តែ request មួយបានទេ?
បាន។ គ្រាន់តែបញ្ជូន meta={'proxy': 'http://user:pass@ip:port'} នៅពេលអ្នកបង្កើត Request ហើយ middleware ភ្ជាប់ស្រាប់នឹងរៀបចំការ login សម្រាប់តែ request នោះប៉ុណ្ណោះ។
តើការ crawl រាប់លានទំព័រនឹងប៉ះកម្រិតកំណត់ bandwidth ដែរឬទេ?
មិនប៉ះពាល់ទេនៅលើប្រូកស៊ី IPv4 ឯកជន ឬ static ISP របស់ ProxyV4 ព្រោះទាំងពីរមាន bandwidth មិនកំណត់។ កម្រិតជាក់ស្តែងគឺអាស្រ័យលើថាតើគោលដៅអនុញ្ញាតឱ្យអ្នក crawl លឿនកម្រិតណា។
ប្រភព
IP ថេរ bandwidth មិនកំណត់សម្រាប់ការ crawl ជាមួយ Scrapy
IPv4 ឯកជនក្នុង 7 ប្រទេស រួមជាមួយ static ISP នៅ US និងវៀតណាម ចាប់ពី IP មួយរហូតដល់ pool ធំ ជាមួយតម្លៃជាក់ស្តែងតាមបរិមាណ។
ពិនិត្យតម្លៃ US ផ្ទាល់