Scrapy proxy: meta['proxy'], ລຳດັບ middleware ແລະ ການໝູນວຽນ IP
ໂດຍ ທີມງານວິສະວະກຳ ProxyV4 · Updated:
ໃນ Scrapy, proxy ຈະຖືກຕັ້ງຄ່າແຍກແຕ່ລະຄຳຂໍຜ່ານ request.meta['proxy'] = 'http://user:pass@ip:port', ແລະ HttpProxyMiddleware ທີ່ຕິດມາກັບລະບົບ (ລຳດັບ 750) ຈະປ່ຽນສ່ວນ user:pass ໃຫ້ເປັນ header Proxy-Authorization. ພຽງແຕ່ເພີ່ມ downloader middleware ຂະໜາດນ້ອຍໃຫ້ເຮັດວຽກກ່ອນມັນ ທີ່ລຳດັບ 740, ທຸກຄຳຂໍທີ່ spider ຂອງທ່ານສົ່ງອອກໄປກໍຈະສາມາດເລືອກ IP ຈາກ pool ຂອງ ProxyV4 ໄດ້ທັນທີ.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IPUS$1,85
- 3+ IPUS$1,70
- 10+ IPUS$1,60
- 25+ IPUS$1,50
- 50+ IPUS$1,40
- 100+ IPUS$1,30
- 200+ IPUS$1,20
- 500+ IPUS$1,10
- 1 IPUS$1,85
- 3+ IPUS$1,70
- 10+ IPUS$1,60
- 25+ IPUS$1,50
- 50+ IPUS$1,40
- 100+ IPUS$1,30
- 200+ IPUS$1,20
- 500+ IPUS$1,10
ເປັນຫຍັງລຳດັບຕົວເລກຂອງ middleware ຈຶ່ງສຳຄັນ
Downloader middlewares ຈະເຮັດວຽກຕາມລຳດັບຕົວເລກຈາກນ້ອຍຫາໃຫຍ່ໃນຂາອອກ. HttpProxyMiddleware ທີ່ລຳດັບ 750 ຈະອ່ານຄ່າ meta['proxy'], ຕັດຂໍ້ມູນເຂົ້າສູ່ລະບົບອອກຈາກ URL ແລະ ສ້າງ auth header ຂຶ້ນມາ. ຖ້າ middleware ຂອງທ່ານກຳນົດ proxy ຫຼັງຈາກນັ້ນ ເຊັ່ນຢູ່ລຳດັບ 800, middleware ຫຼັກກໍໄດ້ເຮັດວຽກຜ່ານໄປແລ້ວ ເຮັດໃຫ້ຂໍ້ມູນເຂົ້າສູ່ລະບົບບໍ່ຖືກແປງ ແລະ proxy ຈະຕອບກັບດ້ວຍຂໍ້ຜິດພາດ 407. ການລົງທະບຽນ middleware ຂອງທ່ານໄວ້ທີ່ 740 ຈະເຮັດໃຫ້ມັນເຮັດວຽກກ່ອນ.
| ການຕັ້ງຄ່າ | ຄ່າທີ່ແນະນຳ | ຜົນການເຮັດວຽກ |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | ສົ່ງຄຳຂໍນັ້ນຜ່ານ proxy ProxyV4 ທີ່ກຳນົດ |
| ລຳດັບ middleware ຂອງທ່ານ | 740 | ເຮັດວຽກກ່ອນ HttpProxyMiddleware (750) ເພື່ອໃຫ້ຂໍ້ມູນເຂົ້າສູ່ລະບົບຖືກເຂົ້າລະຫັດຢ່າງຖືກຕ້ອງ |
CONCURRENT_REQUESTS_PER_IP | 2 ຫາ 4 | ຈຳກັດຈຳນວນຄຳຂໍພ້ອມກັນຕໍ່ປາຍທາງ IP ເຊິ່ງເປັນການກຳນົດຂອບເຂດທີ່ເໝາະສົມເພື່ອບໍ່ໃຫ້ server ປາຍທາງຮັບພາລະໜັກເກີນໄປ |
AUTOTHROTTLE_ENABLED | True | ຊ່ວຍໃຫ້ Scrapy ປັບໄລຍະເວລາການໜ່ວງຊ້າລົງ ຫຼື ໄວຂຶ້ນໂດຍອັດຕະໂນມັດ ຕາມຄວາມໄວໃນການຕອບສະໜອງຂອງເວັບໄຊປາຍທາງ |
ໂຄງສ້າງຫຼັກຂອງ rotation middleware
- ອ່ານລາຍການ proxy ຈາກ settings ໃນ
from_crawler()ແລະ ເກັບໄວ້ໃນ instance ຂອງ middleware - ໃນ
process_request(), ກຳນົດrequest.meta['proxy'] = random.choice(self.proxies)ຖ້າຄຳຂໍນັ້ນຍັງບໍ່ທັນມີ proxy - ເມື່ອໄດ້ຮັບການຕອບກັບເປັນ
429ຫຼື503, ໃຫ້ລອງໃໝ່ດ້ວຍ proxy ອື່ນຈາກ pool ແທນ IP ໂຕທີ່ຫາກໍຖືກປະຕິເສດ - ໃຊ້ງານ
DOWNLOAD_DELAY = 1.0ຮ່ວມກັບRANDOMIZE_DOWNLOAD_DELAY = Trueເພື່ອໃຫ້ໄລຍະຫ່າງລະຫວ່າງແຕ່ລະຄຳຂໍມີການປ່ຽນແປງ ບໍ່ໃຫ້ເປັນຈັງຫວະຄົງທີ່ຄືກັບສຽງໂມງ
ການເລືອກຂະໜາດຂອງ pool
ການ crawl ດ້ວຍ Scrapy ສາມາດສົ່ງຄຳຂໍໄດ້ຈຳນວນຫຼາຍຕໍ່ນາທີ, ດັ່ງນັ້ນຈຳນວນ IP ຈຶ່ງເປັນຕົວກຳນົດວ່າແຕ່ລະ IP ຈະຖືກໃຊ້ງານໜັກໜ້ອຍພຽງໃດ. ສຳລັບ ProxyV4 ແມ່ນບໍ່ມີຂັ້ນຕ່ຳໃນການສັ່ງຊື້ ແລະ ລາຄາຕໍ່ IP ຈະຫຼຸດລົງເມື່ອຊື້ຈຳນວນຫຼາຍຂຶ້ນ, ພ້ອມທັງ traffic ຂອງ private IPv4 ແມ່ນບໍ່ຈຳກັດ bandwidth ເຮັດໃຫ້ການ crawl ຂະໜາດໃຫຍ່ມີຄ່າໃຊ້ຈ່າຍດ້ານ bandwidth ເທົ່າກັບຂະໜາດນ້ອຍ. ແຕ່ລະ IP ແມ່ນໃຊ້ງານໂດຍລູກຄ້າພຽງຄົນດຽວ, ດັ່ງນັ້ນຊື່ສຽງຂອງ IP ຈຶ່ງຂຶ້ນກັບການ crawl ຂອງທ່ານເອງໂດຍບໍ່ປົນກັບໃຜ. ສຳລັບການວາງແຜນປະລິມານການ crawl ແລະ ຄວາມເໝາະສົມ, ສາມາດເບິ່ງເພີ່ມເຕີມໄດ້ທີ່ web scraping guide.
ຂັ້ນຕອນແຕ່ລະບາດກ້າວ
- 1
ກຽມ URL ຂອງ proxy
ປ່ຽນຮູບແບບ
ip:port:user:passຂອງ ProxyV4 ໃຫ້ເປັນhttp://user:pass@ip:portດ້ວຍ proxy format converter ແລ້ວບັນທຶກໄວ້ໃນ settings ຫຼື ໄຟລ໌. - 2
ຂຽນ ProxyPoolMiddleware
ໃນ
middlewares.py, ຂຽນຟັງຊັນprocess_request(self, request, spider)ເພື່ອໃຫ້ມັນກຳນົດrequest.meta['proxy'] = random.choice(self.proxies). - 3
ລົງທະບຽນກ່ອນ middleware ຫຼັກ
ໃນ
settings.py, ເພີ່ມ'myproject.middlewares.ProxyPoolMiddleware': 740ໃສ່ໃນDOWNLOADER_MIDDLEWARESແລະ ຕັ້ງຄ່າCONCURRENT_REQUESTS_PER_IP = 2. - 4
ກວດສອບການໝູນວຽນ IP
ດຶງຂໍ້ມູນຈາກ
https://proxyv4.com/api/my-ipສອງສາມຄັ້ງຜ່ານscrapy shellຫຼື spider ທົດສອບຂະໜາດນ້ອຍ ເພື່ອກວດເບິ່ງວ່າ IP ທີ່ຕອບກັບມີການປ່ຽນແປງຕາມ pool ຂອງທ່ານຫຼືບໍ່.
ຄຳຖາມທີ່ຖາມເລື້ອຍໆ
ເປັນຫຍັງ proxy middleware ຂອງຂ້ອຍທີ່ຕັ້ງ priority 800 ຈຶ່ງເກີດຂໍ້ຜິດພາດ 407?
ທີ່ລຳດັບ 800 ມັນຈະເຮັດວຽກຫຼັງ HttpProxyMiddleware (750), ເຮັດໃຫ້ user:pass ໃນ proxy URL ຂອງທ່ານບໍ່ຖືກປ່ຽນເປັນ header Proxy-Authorization. ໃຫ້ຍ້າຍ middleware ຂອງທ່ານໄປຢູ່ລຳດັບທີ່ຕ່ຳກວ່າ 750 ເຊັ່ນ 740.
ຂ້ອຍສາມາດກຳນົດ proxy ສຳລັບແຕ່ລະຄຳຂໍດຽວໄດ້ບໍ່?
ໄດ້. ພຽງແຕ່ສົ່ງ meta={'proxy': 'http://user:pass@ip:port'} ຕອນສ້າງ Request; middleware ຫຼັກຂອງລະບົບຈະຈັດການເລື່ອງການເຂົ້າສູ່ລະບົບສຳລັບຄຳຂໍນັ້ນໂດຍສະເພາະ.
ການ crawl ຫຼາຍລ້ານໜ້າຈະຕິດຂີດຈຳກັດ bandwidth ບໍ່?
ບໍ່ຕິດສຳລັບ private IPv4 ຫຼື static ISP proxy ຂອງ ProxyV4; ເພາະທັງສອງແບບມາພ້ອມ bandwidth ບໍ່ຈຳກັດ. ຂີດຈຳກັດຕົວຈິງແມ່ນຂຶ້ນກັບວ່າເວັບໄຊປາຍທາງອະນຸຍາດໃຫ້ທ່ານ crawl ໄວໄດ້ສ່ຳໃດ.
ແຫຼ່ງຂໍ້ມູນ
IP ຄົງທີ່ບໍ່ຈຳກັດ bandwidth ສຳລັບການ crawl ດ້ວຍ Scrapy
Private IPv4 ໃນ 7 ປະເທດ ພ້ອມ static ISP ໃນສະຫະລັດ ແລະ ຫວຽດນາມ, ຕັ້ງແຕ່ IP ດຽວຈົນຮອດ pool ຂະໜາດໃຫຍ່, ພ້ອມລາຄາຕາມປະລິມານແບບສົດໆ.
ກວດສອບລາຄາສະຫະລັດແບບສົດໆ