ProxyV4

พร็อกซี Scrapy: meta['proxy'], ลำดับมิดเดิลแวร์ และการสลับ IP

· Updated:

ใน Scrapy คุณสามารถกำหนดพร็อกซีแยกตามคำขอได้ผ่าน request.meta['proxy'] = 'http://user:pass@ip:port' โดย HttpProxyMiddleware ในตัว (ลำดับ 750) จะแปลงส่วน user:pass ไปเป็นเฮดเดอร์ Proxy-Authorization เพียงเพิ่มมิดเดิลแวร์ตัวดาวน์โหลดขนาดเล็กที่ทำงานก่อนหน้านั้นที่ลำดับ 740 ทุกคำขอที่สไปเดอร์ของคุณสร้างขึ้นก็จะสามารถเลือก IP จากพูล ProxyV4 ของคุณได้

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Private IPv4 (datacenter)
🇺🇸 สหรัฐอเมริกา
มีสินค้า
เริ่มต้น
US$1.10 / IP / เดือน
ส่วนลดตามจำนวนการสั่งซื้อ
  • 1 IPUS$1.85
  • 3+ IPUS$1.70
  • 10+ IPUS$1.60
  • 25+ IPUS$1.50
  • 50+ IPUS$1.40
  • 100+ IPUS$1.30
  • 200+ IPUS$1.20
  • 500+ IPUS$1.10
ซื้อ สหรัฐอเมริกา
Private IPv4 (datacenter)
🇬🇧 สหราชอาณาจักร
มีสินค้า
เริ่มต้น
US$1.10 / IP / เดือน
ส่วนลดตามจำนวนการสั่งซื้อ
  • 1 IPUS$1.85
  • 3+ IPUS$1.70
  • 10+ IPUS$1.60
  • 25+ IPUS$1.50
  • 50+ IPUS$1.40
  • 100+ IPUS$1.30
  • 200+ IPUS$1.20
  • 500+ IPUS$1.10
ซื้อ สหราชอาณาจักร
พร็อกซีตามแพลตฟอร์ม:Web Scraping & CrawlingSEO & SERP TrackingAmazon

ทำไมลำดับตัวเลขของมิดเดิลแวร์จึงสำคัญ

มิดเดิลแวร์ตัวดาวน์โหลดจะทำงานตามลำดับตัวเลขจากน้อยไปมากในขั้นตอนส่งคำขอออกไป HttpProxyMiddleware ที่ลำดับ 750 จะอ่านค่า meta['proxy'] ตัดข้อมูลการยืนยันตัวตนออกจาก URL แล้วเขียนเฮดเดอร์ยืนยันตัวตน หากมิดเดิลแวร์ของคุณตั้งค่าพร็อกซีหลังจากนั้น เช่น ที่ลำดับ 800 มิดเดิลแวร์ในตัวจะทำงานผ่านไปแล้ว ข้อมูลยืนยันตัวตนจะไม่ถูกแปลง และพร็อกซีจะตอบกลับเป็นรหัส 407 การลงทะเบียนมิดเดิลแวร์ของคุณที่ 740 จะทำให้มันทำงานเป็นลำดับแรก

การตั้งค่าค่าที่แนะนำผลลัพธ์
request.meta['proxy']'http://user:pass@ip:port'ส่งคำขอดังกล่าวผ่านพร็อกซี ProxyV4 ที่ระบุ
ลำดับมิดเดิลแวร์ของคุณ740ทำงานก่อน HttpProxyMiddleware (750) ข้อมูลการเข้าสู่ระบบจึงถูกเข้ารหัสเรียบร้อย
CONCURRENT_REQUESTS_PER_IP2 ถึง 4จำกัดคำขอพร้อมกันต่อ IP ปลายทาง เป็นการจำกัดอย่างสุภาพเพื่อไม่ให้เซิร์ฟเวอร์ปลายทางทำงานหนักเกินไป
AUTOTHROTTLE_ENABLEDTrueให้ Scrapy ปรับเพิ่มหรือลดการหน่วงเวลาโดยอัตโนมัติตามความเร็วในการตอบสนองของเซิร์ฟเวอร์เป้าหมาย

โครงสร้างมิดเดิลแวร์สำหรับสลับ IP โดยสังเขป

  • อ่านรายการพร็อกซีจากการตั้งค่าใน from_crawler() และเก็บไว้บนอินสแตนซ์ของมิดเดิลแวร์
  • ใน process_request() ให้กำหนด request.meta['proxy'] = random.choice(self.proxies) เว้นแต่คำขอนั้นจะมีพร็อกซีระบุไว้อยู่แล้ว
  • เมื่อได้รับการตอบกลับเป็นรหัส 429 หรือ 503 ให้ลองส่งคำขอใหม่ด้วยพร็อกซีตัวอื่นจากพูล แทนที่จะใช้ตัวเดิมที่เพิ่งถูกปฏิเสธ
  • ใช้งาน DOWNLOAD_DELAY = 1.0 ร่วมกับ RANDOMIZE_DOWNLOAD_DELAY = True เพื่อให้ช่วงเวลาระหว่างแต่ละคำขอมีความแปรผัน ไม่เป็นจังหวะตายตัวเหมือนเมโทรนอม

การกำหนดขนาดของพูล

การดึงข้อมูลด้วย Scrapy สามารถส่งคำขอได้จำนวนมากต่อนาที จำนวน IP จึงเป็นตัวกำหนดว่าจะกระจายการใช้งานแต่ละ IP ได้นุ่มนวลเพียงใด สำหรับ ProxyV4 ไม่มียอดสั่งซื้อขั้นต่ำและราคาต่อ IP จะถูกลงเมื่อสั่งซื้อจำนวนมากขึ้น อีกทั้งปริมาณการรับส่งข้อมูลส่วนตัวแบบ IPv4 ยังไม่จำกัดแบนด์วิดท์ การดึงข้อมูลขนาดใหญ่จึงเสียค่าบริการแบนด์วิดท์เท่ากับการดึงข้อมูลขนาดเล็ก โดยแต่ละ IP ใช้งานโดยลูกค้ารายเดียวเท่านั้น ค่าความน่าเชื่อถือจึงสะท้อนการดึงข้อมูลของคุณเองโดยตรงโดยไม่ปะปนกับผู้อื่น สำหรับการวางแผนปริมาณและความสุภาพในการดึงข้อมูล โปรดดูคู่มือการทำ web scraping

ขั้นตอน

  1. 1

    เตรียม URL ของพร็อกซี

    แปลงบรรทัด ip:port:user:pass ของ ProxyV4 เป็น http://user:pass@ip:port ด้วยเครื่องมือแปลงรูปแบบพร็อกซี แล้วจัดเก็บไว้ในการตั้งค่าหรือในไฟล์

  2. 2

    เขียน ProxyPoolMiddleware

    ใน middlewares.py ให้พัฒนา process_request(self, request, spider) ให้กำหนดค่า request.meta['proxy'] = random.choice(self.proxies)

  3. 3

    ลงทะเบียนให้อยู่ก่อนมิดเดิลแวร์ในตัว

    ใน settings.py ให้เพิ่ม 'myproject.middlewares.ProxyPoolMiddleware': 740 ลงใน DOWNLOADER_MIDDLEWARES และกำหนด CONCURRENT_REQUESTS_PER_IP = 2

  4. 4

    ตรวจสอบการสลับ IP

    ส่งคำขอไปยัง https://proxyv4.com/api/my-ip หลายๆ ครั้งด้วย scrapy shell หรือสไปเดอร์ทดสอบสั้นๆ แล้วตรวจสอบว่า IP ที่รายงานมีการเปลี่ยนแปลงสลับกันไปในพูลของคุณ

คำถามที่พบบ่อย

มิดเดิลแวร์พร็อกซีที่ตั้งค่าลำดับความสำคัญไว้ที่ 800 พบข้อผิดพลาด 407 เป็นเพราะอะไร?

ที่ลำดับ 800 มิดเดิลแวร์จะทำงานหลัง HttpProxyMiddleware (750) ทำให้ user:pass ใน URL พร็อกซีของคุณไม่ถูกแปลงเป็นเฮดเดอร์ Proxy-Authorization ให้ย้ายมิดเดิลแวร์ของคุณไปอยู่ต่ำกว่า 750 เช่น 740

ฉันสามารถกำหนดพร็อกซีสำหรับคำขอเพียงรายการเดียวได้หรือไม่?

ได้ โดยส่ง meta={'proxy': 'http://user:pass@ip:port'} ขณะสร้าง Request แล้วมิดเดิลแวร์ในตัวจะจัดการการเข้าสู่ระบบสำหรับคำขอดังกล่าวเท่านั้น

การดึงข้อมูลหลักหลายล้านหน้าจะติดขีดจำกัดแบนด์วิดท์หรือไม่?

ไม่จำกัดสำหรับพร็อกซีส่วนตัวแบบ IPv4 หรือ static ISP ของ ProxyV4 เนื่องจากทั้งสองรูปแบบมีแบนด์วิดท์ไม่จำกัด ขีดจำกัดจริงจะขึ้นอยู่กับว่าเว็บไซต์เป้าหมายอนุญาตให้คุณดึงข้อมูลได้เร็วแค่ไหน

แหล่งข้อมูล

Static IP ไม่จำกัดแบนด์วิดท์สำหรับการดึงข้อมูลด้วย Scrapy

IPv4 ส่วนตัวใน 7 ประเทศ พร้อม static ISP ในสหรัฐฯ และเวียดนาม ตั้งแต่ IP เดี่ยวไปจนถึงพูลขนาดใหญ่ พร้อมราคาตามปริมาณแบบเรียลไทม์

ตรวจสอบราคาปัจจุบันในสหรัฐฯ

Related articles

พร็อกซีตามแพลตฟอร์ม
พร็อกซีสำหรับ Web Scraping: พูล IP แบบคงที่ พร้อมทราฟฟิกไม่จำกัด
พร็อกซี Web Scraping สำหรับ Python, Scrapy, Playwright และ Selenium ด้วยพูล Private IPv4 และ Static ISP ไม่จำกัดแบนด์วิดท์ คิดราคาเหมาจ่ายต่อ IP คงที่
การตั้งค่าพร็อกซี
ส่งคำขอ Python requests ผ่านพร็อกซีที่ต้องยืนยันตัวตนทีละขั้นตอน
ส่งคำขอ Python requests ผ่านพร็อกซี HTTP(S) ที่ต้องยืนยันตัวตน: สร้างดิกต์ proxies, เชื่อมต่อกับ Session, เข้ารหัสรหัสผ่านพิเศษ, วนใช้รายการ และตรวจสอบ IP
การตั้งค่าพร็อกซี
การยืนยันตัวตนพร็อกซี Playwright แยกหนึ่ง static IP ต่อ Context
ตั้งค่าพร็อกซี HTTP(S) แบบยืนยันตัวตนแยกตาม Browser Context ของ Playwright ใน Node.js หรือ Python พร้อมปรับเขตเวลาและภาษาให้ตรงกับ IP เพื่อยืนยัน IP ขาออก
เครื่องมือฟรี
แปลงรูปแบบรายการพร็อกซีให้ตรงกับที่เครื่องมือของคุณต้องการ
แปลงรายการพร็อกซียกชุดในเบราว์เซอร์ สลับระหว่าง ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, อาร์เรย์ JSON และไฟล์นำเข้า FoxyProxy ได้ทันที
พร็อกซีตามแพลตฟอร์ม
พร็อกซีสำหรับเช็กอันดับ SEO: ดูหน้าผลการค้นหาแบบเดียวกับที่ผู้ใช้ในพื้นที่เห็น
พร็อกซีเช็กอันดับ SEO ด้วย private IPv4 ในสหรัฐฯ สหราชอาณาจักร เวียดนาม ญี่ปุ่น และอีก 4 ประเทศ เพื่อให้อันดับ local pack และโฆษณาตรงกับที่คนในพื้นที่เห็นจริง
พร็อกซีตามแพลตฟอร์ม
พร็อกซีสำหรับผู้ขาย Amazon ที่มอบที่อยู่ IP ถาวรให้แก่แต่ละบัญชี
พร็อกซี Amazon Seller สำหรับ Seller Central, KDP และ Merch: ใช้ US Static ISP หรือ UK/Japan Private IPv4 ต่อบัญชี เช่าคนเดียว คง IP เดิมเมื่อต่ออายุ
IPV4 · united states
พูลพร็อกซีส่วนตัว IPv4 สหรัฐฯ สำหรับการดึงข้อมูล ติดตามอันดับ และตรวจสอบโฆษณา
ซื้อพร็อกซี US private IPv4: IP datacenter สหรัฐฯ แบบคงที่ ใช้งานคนเดียวต่อ IP แบนด์วิดท์ไม่จำกัด เหมาะสำหรับ scraping, ติดตาม SERP และตรวจสอบโฆษณาในสหรัฐฯ
IPV4 · united kingdom
พร็อกซีส่วนตัว IPv4 สหราชอาณาจักร สำหรับมาร์เก็ตเพลส การค้นหา และแคมเปญ
UK private IPv4 proxy พร้อม IP ดาต้าเซ็นเตอร์อังกฤษแบบ Static ให้เช่าเดี่ยว สำหรับรีเสิร์ช eBay UK และ Amazon.co.uk แทร็ก google.co.uk และตรวจโฆษณา UK