ProxyV4

Scrapy proxy: meta['proxy'], ລຳດັບ middleware ແລະ ການໝູນວຽນ IP

· Updated:

ໃນ Scrapy, proxy ຈະຖືກຕັ້ງຄ່າແຍກແຕ່ລະຄຳຂໍຜ່ານ request.meta['proxy'] = 'http://user:pass@ip:port', ແລະ HttpProxyMiddleware ທີ່ຕິດມາກັບລະບົບ (ລຳດັບ 750) ຈະປ່ຽນສ່ວນ user:pass ໃຫ້ເປັນ header Proxy-Authorization. ພຽງແຕ່ເພີ່ມ downloader middleware ຂະໜາດນ້ອຍໃຫ້ເຮັດວຽກກ່ອນມັນ ທີ່ລຳດັບ 740, ທຸກຄຳຂໍທີ່ spider ຂອງທ່ານສົ່ງອອກໄປກໍຈະສາມາດເລືອກ IP ຈາກ pool ຂອງ ProxyV4 ໄດ້ທັນທີ.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Private IPv4 (datacenter)
🇺🇸 ສະຫະລັດອາເມຣິກາ
ມີໃນສະຕັອກ
ເລີ່ມຕົ້ນ
US$1,10 / IP / ເດືອນ
ສ່ວນຫຼຸດຕາມຈຳນວນ
  • 1 IPUS$1,85
  • 3+ IPUS$1,70
  • 10+ IPUS$1,60
  • 25+ IPUS$1,50
  • 50+ IPUS$1,40
  • 100+ IPUS$1,30
  • 200+ IPUS$1,20
  • 500+ IPUS$1,10
ຊື້ ສະຫະລັດອາເມຣິກາ
Private IPv4 (datacenter)
🇬🇧 ສະຫະລາຊະອານາຈັກ
ມີໃນສະຕັອກ
ເລີ່ມຕົ້ນ
US$1,10 / IP / ເດືອນ
ສ່ວນຫຼຸດຕາມຈຳນວນ
  • 1 IPUS$1,85
  • 3+ IPUS$1,70
  • 10+ IPUS$1,60
  • 25+ IPUS$1,50
  • 50+ IPUS$1,40
  • 100+ IPUS$1,30
  • 200+ IPUS$1,20
  • 500+ IPUS$1,10
ຊື້ ສະຫະລາຊະອານາຈັກ
ພຣັອກຊີຕາມແພລດຟອມ:Web Scraping & CrawlingSEO & SERP TrackingAmazon

ເປັນຫຍັງລຳດັບຕົວເລກຂອງ middleware ຈຶ່ງສຳຄັນ

Downloader middlewares ຈະເຮັດວຽກຕາມລຳດັບຕົວເລກຈາກນ້ອຍຫາໃຫຍ່ໃນຂາອອກ. HttpProxyMiddleware ທີ່ລຳດັບ 750 ຈະອ່ານຄ່າ meta['proxy'], ຕັດຂໍ້ມູນເຂົ້າສູ່ລະບົບອອກຈາກ URL ແລະ ສ້າງ auth header ຂຶ້ນມາ. ຖ້າ middleware ຂອງທ່ານກຳນົດ proxy ຫຼັງຈາກນັ້ນ ເຊັ່ນຢູ່ລຳດັບ 800, middleware ຫຼັກກໍໄດ້ເຮັດວຽກຜ່ານໄປແລ້ວ ເຮັດໃຫ້ຂໍ້ມູນເຂົ້າສູ່ລະບົບບໍ່ຖືກແປງ ແລະ proxy ຈະຕອບກັບດ້ວຍຂໍ້ຜິດພາດ 407. ການລົງທະບຽນ middleware ຂອງທ່ານໄວ້ທີ່ 740 ຈະເຮັດໃຫ້ມັນເຮັດວຽກກ່ອນ.

ການຕັ້ງຄ່າຄ່າທີ່ແນະນຳຜົນການເຮັດວຽກ
request.meta['proxy']'http://user:pass@ip:port'ສົ່ງຄຳຂໍນັ້ນຜ່ານ proxy ProxyV4 ທີ່ກຳນົດ
ລຳດັບ middleware ຂອງທ່ານ740ເຮັດວຽກກ່ອນ HttpProxyMiddleware (750) ເພື່ອໃຫ້ຂໍ້ມູນເຂົ້າສູ່ລະບົບຖືກເຂົ້າລະຫັດຢ່າງຖືກຕ້ອງ
CONCURRENT_REQUESTS_PER_IP2 ຫາ 4ຈຳກັດຈຳນວນຄຳຂໍພ້ອມກັນຕໍ່ປາຍທາງ IP ເຊິ່ງເປັນການກຳນົດຂອບເຂດທີ່ເໝາະສົມເພື່ອບໍ່ໃຫ້ server ປາຍທາງຮັບພາລະໜັກເກີນໄປ
AUTOTHROTTLE_ENABLEDTrueຊ່ວຍໃຫ້ Scrapy ປັບໄລຍະເວລາການໜ່ວງຊ້າລົງ ຫຼື ໄວຂຶ້ນໂດຍອັດຕະໂນມັດ ຕາມຄວາມໄວໃນການຕອບສະໜອງຂອງເວັບໄຊປາຍທາງ

ໂຄງສ້າງຫຼັກຂອງ rotation middleware

  • ອ່ານລາຍການ proxy ຈາກ settings ໃນ from_crawler() ແລະ ເກັບໄວ້ໃນ instance ຂອງ middleware
  • ໃນ process_request(), ກຳນົດ request.meta['proxy'] = random.choice(self.proxies) ຖ້າຄຳຂໍນັ້ນຍັງບໍ່ທັນມີ proxy
  • ເມື່ອໄດ້ຮັບການຕອບກັບເປັນ 429 ຫຼື 503, ໃຫ້ລອງໃໝ່ດ້ວຍ proxy ອື່ນຈາກ pool ແທນ IP ໂຕທີ່ຫາກໍຖືກປະຕິເສດ
  • ໃຊ້ງານ DOWNLOAD_DELAY = 1.0 ຮ່ວມກັບ RANDOMIZE_DOWNLOAD_DELAY = True ເພື່ອໃຫ້ໄລຍະຫ່າງລະຫວ່າງແຕ່ລະຄຳຂໍມີການປ່ຽນແປງ ບໍ່ໃຫ້ເປັນຈັງຫວະຄົງທີ່ຄືກັບສຽງໂມງ

ການເລືອກຂະໜາດຂອງ pool

ການ crawl ດ້ວຍ Scrapy ສາມາດສົ່ງຄຳຂໍໄດ້ຈຳນວນຫຼາຍຕໍ່ນາທີ, ດັ່ງນັ້ນຈຳນວນ IP ຈຶ່ງເປັນຕົວກຳນົດວ່າແຕ່ລະ IP ຈະຖືກໃຊ້ງານໜັກໜ້ອຍພຽງໃດ. ສຳລັບ ProxyV4 ແມ່ນບໍ່ມີຂັ້ນຕ່ຳໃນການສັ່ງຊື້ ແລະ ລາຄາຕໍ່ IP ຈະຫຼຸດລົງເມື່ອຊື້ຈຳນວນຫຼາຍຂຶ້ນ, ພ້ອມທັງ traffic ຂອງ private IPv4 ແມ່ນບໍ່ຈຳກັດ bandwidth ເຮັດໃຫ້ການ crawl ຂະໜາດໃຫຍ່ມີຄ່າໃຊ້ຈ່າຍດ້ານ bandwidth ເທົ່າກັບຂະໜາດນ້ອຍ. ແຕ່ລະ IP ແມ່ນໃຊ້ງານໂດຍລູກຄ້າພຽງຄົນດຽວ, ດັ່ງນັ້ນຊື່ສຽງຂອງ IP ຈຶ່ງຂຶ້ນກັບການ crawl ຂອງທ່ານເອງໂດຍບໍ່ປົນກັບໃຜ. ສຳລັບການວາງແຜນປະລິມານການ crawl ແລະ ຄວາມເໝາະສົມ, ສາມາດເບິ່ງເພີ່ມເຕີມໄດ້ທີ່ web scraping guide.

ຂັ້ນຕອນແຕ່ລະບາດກ້າວ

  1. 1

    ກຽມ URL ຂອງ proxy

    ປ່ຽນຮູບແບບ ip:port:user:pass ຂອງ ProxyV4 ໃຫ້ເປັນ http://user:pass@ip:port ດ້ວຍ proxy format converter ແລ້ວບັນທຶກໄວ້ໃນ settings ຫຼື ໄຟລ໌.

  2. 2

    ຂຽນ ProxyPoolMiddleware

    ໃນ middlewares.py, ຂຽນຟັງຊັນ process_request(self, request, spider) ເພື່ອໃຫ້ມັນກຳນົດ request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    ລົງທະບຽນກ່ອນ middleware ຫຼັກ

    ໃນ settings.py, ເພີ່ມ 'myproject.middlewares.ProxyPoolMiddleware': 740 ໃສ່ໃນ DOWNLOADER_MIDDLEWARES ແລະ ຕັ້ງຄ່າ CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    ກວດສອບການໝູນວຽນ IP

    ດຶງຂໍ້ມູນຈາກ https://proxyv4.com/api/my-ip ສອງສາມຄັ້ງຜ່ານ scrapy shell ຫຼື spider ທົດສອບຂະໜາດນ້ອຍ ເພື່ອກວດເບິ່ງວ່າ IP ທີ່ຕອບກັບມີການປ່ຽນແປງຕາມ pool ຂອງທ່ານຫຼືບໍ່.

ຄຳຖາມທີ່ຖາມເລື້ອຍໆ

ເປັນຫຍັງ proxy middleware ຂອງຂ້ອຍທີ່ຕັ້ງ priority 800 ຈຶ່ງເກີດຂໍ້ຜິດພາດ 407?

ທີ່ລຳດັບ 800 ມັນຈະເຮັດວຽກຫຼັງ HttpProxyMiddleware (750), ເຮັດໃຫ້ user:pass ໃນ proxy URL ຂອງທ່ານບໍ່ຖືກປ່ຽນເປັນ header Proxy-Authorization. ໃຫ້ຍ້າຍ middleware ຂອງທ່ານໄປຢູ່ລຳດັບທີ່ຕ່ຳກວ່າ 750 ເຊັ່ນ 740.

ຂ້ອຍສາມາດກຳນົດ proxy ສຳລັບແຕ່ລະຄຳຂໍດຽວໄດ້ບໍ່?

ໄດ້. ພຽງແຕ່ສົ່ງ meta={'proxy': 'http://user:pass@ip:port'} ຕອນສ້າງ Request; middleware ຫຼັກຂອງລະບົບຈະຈັດການເລື່ອງການເຂົ້າສູ່ລະບົບສຳລັບຄຳຂໍນັ້ນໂດຍສະເພາະ.

ການ crawl ຫຼາຍລ້ານໜ້າຈະຕິດຂີດຈຳກັດ bandwidth ບໍ່?

ບໍ່ຕິດສຳລັບ private IPv4 ຫຼື static ISP proxy ຂອງ ProxyV4; ເພາະທັງສອງແບບມາພ້ອມ bandwidth ບໍ່ຈຳກັດ. ຂີດຈຳກັດຕົວຈິງແມ່ນຂຶ້ນກັບວ່າເວັບໄຊປາຍທາງອະນຸຍາດໃຫ້ທ່ານ crawl ໄວໄດ້ສ່ຳໃດ.

ແຫຼ່ງຂໍ້ມູນ

IP ຄົງທີ່ບໍ່ຈຳກັດ bandwidth ສຳລັບການ crawl ດ້ວຍ Scrapy

Private IPv4 ໃນ 7 ປະເທດ ພ້ອມ static ISP ໃນສະຫະລັດ ແລະ ຫວຽດນາມ, ຕັ້ງແຕ່ IP ດຽວຈົນຮອດ pool ຂະໜາດໃຫຍ່, ພ້ອມລາຄາຕາມປະລິມານແບບສົດໆ.

ກວດສອບລາຄາສະຫະລັດແບບສົດໆ

Related articles

ພຣັອກຊີຕາມແພລດຟອມ
Proxy ສຳລັບ web scraping: ກຸ່ມ IP ແບບຄົງທີ່ ພ້ອມ bandwidth ບໍ່ຈຳກັດ
Proxy ສຳລັບ web scraping ໃນ Python, Scrapy, Playwright ແລະ Selenium: ກຸ່ມ IPv4 ສ່ວນຕົວ ແລະ ISP ແບບ static, ບໍ່ຈຳກັດ bandwidth, ຄິດລາຄາຄົງທີ່ຕໍ່ IP ດຽວ.
ການຕິດຕັ້ງພຣັອກຊີ
Python requests ຜ່ານພຣັອກຊີທີ່ມີການຢືນຢັນຕົວຕົນ ແບບເທື່ອລະຂັ້ນຕອນ
ສົ່ງຄຳຮ້ອງຂໍ Python ຜ່ານພຣັອກຊີ HTTP(S) ທີ່ມີການຢືນຢັນຕົວຕົນ: ສ້າງດິກ proxies, ຕິດໃສ່ Session, ເຂົ້າລະຫັດລະຫັດຜ່ານພິເສດ, ໝູນວຽນລາຍການ ແລະ ກວດສອບ IP.
ການຕິດຕັ້ງພຣັອກຊີ
ການຢືນຢັນຕົວຕົນ Playwright proxy, ໜຶ່ງ static IP ຕໍ່ context
ກຳນົດ HTTP(S) proxy ທີ່ຢືນຢັນຕົວຕົນໃຫ້ແຕ່ລະ Playwright browser context ໃນ Node.js ຫຼື Python, ປັບເຂດເວລາ ແລະ locale ໃຫ້ກົງກັບ IP ແລະ ກວດສອບທີ່ຢູ່ IP ຂາອອກ.
ເຄື່ອງມືຟຣີ
ປ່ຽນຮູບແບບລາຍການ proxy ໃຫ້ກົງກັບຮູບແບບທີ່ເຄື່ອງມືຂອງທ່ານຕ້ອງການ
ປ່ຽນລາຍການ proxy ໃນບຣາວເຊີຂອງທ່ານເປັນຈຳນວນຫຼາຍ ລະຫວ່າງ ip:port:user:pass, user:pass@ip:port, http:// URLs, SOCKS5 URIs, JSON arrays ແລະ ໄຟລ໌ນຳເຂົ້າ FoxyProxy.
ພຣັອກຊີຕາມແພລດຟອມ
Proxy ສຳລັບການຕິດຕາມອັນດັບ SEO: ເບິ່ງໜ້າຜົນການຄົ້ນຫາແບບທີ່ຜູ້ຄົ້ນຫາທ້ອງຖິ່ນເຫັນ
Proxy ຕິດຕາມອັນດັບ SEO ດ້ວຍ IPv4 ສ່ວນຕົວໃນ US, UK, ຫວຽດນາມ, ຍີ່ປຸ່ນ ແລະ ອີກ 4 ຕະຫຼາດ ເພື່ອໃຫ້ອັນດັບ, local pack ແລະ ໂຄສະນາຕົງກັບສິ່ງທີ່ຄົນທ້ອງຖິ່ນເຫັນຕົວຈິງ.
ພຣັອກຊີຕາມແພລດຟອມ
Proxy ຜູ້ຂາຍ Amazon ທີ່ມອບທີ່ຢູ່ຖາວອນໃຫ້ກັບແຕ່ລະບັນຊີ
Proxy ຜູ້ຂາຍ Amazon ສຳລັບ Seller Central, KDP ແລະ Merch: US static ISP ຫຼື Private IPv4 ອັງກິດ/ຍີ່ປຸ່ນຕໍ່ບັນຊີ, ເຊົ່າສະເພາະທ່ານ ແລະ ໃຊ້ IP ເດີມເມື່ອຕໍ່ອາຍຸ.
IPV4 · united states
ຄັງ Proxy IPv4 ສ່ວນຕົວ ສະຫະລັດ ສຳລັບການດຶງຂໍ້ມູນ, ຕິດຕາມອັນດັບ ແລະ ກວດສອບໂຄສະນາ
ຊື້ proxy IPv4 ສ່ວນຕົວສະຫະລັດ: IP datacenter ສະຫະລັດແບບ static, ລູກຄ້າ 1 ຄົນຕໍ່ IP, bandwidth ບໍ່ຈຳກັດ. ສ້າງມາສຳລັບດຶງຂໍ້ມູນ, ຕິດຕາມ SERP ແລະ ກວດໂຄສະນາສະຫະລັດ.
IPV4 · united kingdom
Proxy IPv4 ສ່ວນຕົວ ອັງກິດ ສຳລັບຕະຫຼາດອອນລາຍ, ການຄົ້ນຫາ ແລະ ແຄມເປນ
UK private IPv4 proxy ພ້ອມ IP datacenter ອັງກິດແບບສະຖິດສຳລັບລູກຄ້າຄົນດຽວ ເໝາະສຳລັບການວິໄຈ eBay UK, Amazon.co.uk, ຕິດຕາມ google.co.uk ແລະ ກວດສອບໂຄສະນາ UK.