พร็อกซี Scrapy: meta['proxy'], ลำดับมิดเดิลแวร์ และการสลับ IP
โดยทีมวิศวกร ProxyV4 · Updated:
ใน Scrapy คุณสามารถกำหนดพร็อกซีแยกตามคำขอได้ผ่าน request.meta['proxy'] = 'http://user:pass@ip:port' โดย HttpProxyMiddleware ในตัว (ลำดับ 750) จะแปลงส่วน user:pass ไปเป็นเฮดเดอร์ Proxy-Authorization เพียงเพิ่มมิดเดิลแวร์ตัวดาวน์โหลดขนาดเล็กที่ทำงานก่อนหน้านั้นที่ลำดับ 740 ทุกคำขอที่สไปเดอร์ของคุณสร้างขึ้นก็จะสามารถเลือก IP จากพูล ProxyV4 ของคุณได้
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
ทำไมลำดับตัวเลขของมิดเดิลแวร์จึงสำคัญ
มิดเดิลแวร์ตัวดาวน์โหลดจะทำงานตามลำดับตัวเลขจากน้อยไปมากในขั้นตอนส่งคำขอออกไป HttpProxyMiddleware ที่ลำดับ 750 จะอ่านค่า meta['proxy'] ตัดข้อมูลการยืนยันตัวตนออกจาก URL แล้วเขียนเฮดเดอร์ยืนยันตัวตน หากมิดเดิลแวร์ของคุณตั้งค่าพร็อกซีหลังจากนั้น เช่น ที่ลำดับ 800 มิดเดิลแวร์ในตัวจะทำงานผ่านไปแล้ว ข้อมูลยืนยันตัวตนจะไม่ถูกแปลง และพร็อกซีจะตอบกลับเป็นรหัส 407 การลงทะเบียนมิดเดิลแวร์ของคุณที่ 740 จะทำให้มันทำงานเป็นลำดับแรก
| การตั้งค่า | ค่าที่แนะนำ | ผลลัพธ์ |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | ส่งคำขอดังกล่าวผ่านพร็อกซี ProxyV4 ที่ระบุ |
| ลำดับมิดเดิลแวร์ของคุณ | 740 | ทำงานก่อน HttpProxyMiddleware (750) ข้อมูลการเข้าสู่ระบบจึงถูกเข้ารหัสเรียบร้อย |
CONCURRENT_REQUESTS_PER_IP | 2 ถึง 4 | จำกัดคำขอพร้อมกันต่อ IP ปลายทาง เป็นการจำกัดอย่างสุภาพเพื่อไม่ให้เซิร์ฟเวอร์ปลายทางทำงานหนักเกินไป |
AUTOTHROTTLE_ENABLED | True | ให้ Scrapy ปรับเพิ่มหรือลดการหน่วงเวลาโดยอัตโนมัติตามความเร็วในการตอบสนองของเซิร์ฟเวอร์เป้าหมาย |
โครงสร้างมิดเดิลแวร์สำหรับสลับ IP โดยสังเขป
- อ่านรายการพร็อกซีจากการตั้งค่าใน
from_crawler()และเก็บไว้บนอินสแตนซ์ของมิดเดิลแวร์ - ใน
process_request()ให้กำหนดrequest.meta['proxy'] = random.choice(self.proxies)เว้นแต่คำขอนั้นจะมีพร็อกซีระบุไว้อยู่แล้ว - เมื่อได้รับการตอบกลับเป็นรหัส
429หรือ503ให้ลองส่งคำขอใหม่ด้วยพร็อกซีตัวอื่นจากพูล แทนที่จะใช้ตัวเดิมที่เพิ่งถูกปฏิเสธ - ใช้งาน
DOWNLOAD_DELAY = 1.0ร่วมกับRANDOMIZE_DOWNLOAD_DELAY = Trueเพื่อให้ช่วงเวลาระหว่างแต่ละคำขอมีความแปรผัน ไม่เป็นจังหวะตายตัวเหมือนเมโทรนอม
การกำหนดขนาดของพูล
การดึงข้อมูลด้วย Scrapy สามารถส่งคำขอได้จำนวนมากต่อนาที จำนวน IP จึงเป็นตัวกำหนดว่าจะกระจายการใช้งานแต่ละ IP ได้นุ่มนวลเพียงใด สำหรับ ProxyV4 ไม่มียอดสั่งซื้อขั้นต่ำและราคาต่อ IP จะถูกลงเมื่อสั่งซื้อจำนวนมากขึ้น อีกทั้งปริมาณการรับส่งข้อมูลส่วนตัวแบบ IPv4 ยังไม่จำกัดแบนด์วิดท์ การดึงข้อมูลขนาดใหญ่จึงเสียค่าบริการแบนด์วิดท์เท่ากับการดึงข้อมูลขนาดเล็ก โดยแต่ละ IP ใช้งานโดยลูกค้ารายเดียวเท่านั้น ค่าความน่าเชื่อถือจึงสะท้อนการดึงข้อมูลของคุณเองโดยตรงโดยไม่ปะปนกับผู้อื่น สำหรับการวางแผนปริมาณและความสุภาพในการดึงข้อมูล โปรดดูคู่มือการทำ web scraping
ขั้นตอน
- 1
เตรียม URL ของพร็อกซี
แปลงบรรทัด
ip:port:user:passของ ProxyV4 เป็นhttp://user:pass@ip:portด้วยเครื่องมือแปลงรูปแบบพร็อกซี แล้วจัดเก็บไว้ในการตั้งค่าหรือในไฟล์ - 2
เขียน ProxyPoolMiddleware
ใน
middlewares.pyให้พัฒนาprocess_request(self, request, spider)ให้กำหนดค่าrequest.meta['proxy'] = random.choice(self.proxies) - 3
ลงทะเบียนให้อยู่ก่อนมิดเดิลแวร์ในตัว
ใน
settings.pyให้เพิ่ม'myproject.middlewares.ProxyPoolMiddleware': 740ลงในDOWNLOADER_MIDDLEWARESและกำหนดCONCURRENT_REQUESTS_PER_IP = 2 - 4
ตรวจสอบการสลับ IP
ส่งคำขอไปยัง
https://proxyv4.com/api/my-ipหลายๆ ครั้งด้วยscrapy shellหรือสไปเดอร์ทดสอบสั้นๆ แล้วตรวจสอบว่า IP ที่รายงานมีการเปลี่ยนแปลงสลับกันไปในพูลของคุณ
คำถามที่พบบ่อย
มิดเดิลแวร์พร็อกซีที่ตั้งค่าลำดับความสำคัญไว้ที่ 800 พบข้อผิดพลาด 407 เป็นเพราะอะไร?
ที่ลำดับ 800 มิดเดิลแวร์จะทำงานหลัง HttpProxyMiddleware (750) ทำให้ user:pass ใน URL พร็อกซีของคุณไม่ถูกแปลงเป็นเฮดเดอร์ Proxy-Authorization ให้ย้ายมิดเดิลแวร์ของคุณไปอยู่ต่ำกว่า 750 เช่น 740
ฉันสามารถกำหนดพร็อกซีสำหรับคำขอเพียงรายการเดียวได้หรือไม่?
ได้ โดยส่ง meta={'proxy': 'http://user:pass@ip:port'} ขณะสร้าง Request แล้วมิดเดิลแวร์ในตัวจะจัดการการเข้าสู่ระบบสำหรับคำขอดังกล่าวเท่านั้น
การดึงข้อมูลหลักหลายล้านหน้าจะติดขีดจำกัดแบนด์วิดท์หรือไม่?
ไม่จำกัดสำหรับพร็อกซีส่วนตัวแบบ IPv4 หรือ static ISP ของ ProxyV4 เนื่องจากทั้งสองรูปแบบมีแบนด์วิดท์ไม่จำกัด ขีดจำกัดจริงจะขึ้นอยู่กับว่าเว็บไซต์เป้าหมายอนุญาตให้คุณดึงข้อมูลได้เร็วแค่ไหน
แหล่งข้อมูล
Static IP ไม่จำกัดแบนด์วิดท์สำหรับการดึงข้อมูลด้วย Scrapy
IPv4 ส่วนตัวใน 7 ประเทศ พร้อม static ISP ในสหรัฐฯ และเวียดนาม ตั้งแต่ IP เดี่ยวไปจนถึงพูลขนาดใหญ่ พร้อมราคาตามปริมาณแบบเรียลไทม์
ตรวจสอบราคาปัจจุบันในสหรัฐฯ