พร็อกซีสำหรับ Web Scraping: พูล IP แบบคงที่ พร้อมทราฟฟิกไม่จำกัด
Updated:
พร็อกซีสำหรับ Web Scraping ที่คิดเงินตามกิกะไบต์ทำให้ค่าใช้จ่ายของ crawler สูงขึ้นทุกครั้งที่หน้าเว็บมีขนาดใหญ่ขึ้น นั่นเป็นเหตุผลว่าทำไม crawler ที่ทำงานสม่ำเสมอตามตารางเวลาจึงประหยัดกว่าเมื่อใช้พูล IP แบบคงที่พร้อมทราฟฟิกไม่จำกัด ProxyV4 จำหน่าย Private IPv4 ใน 7 ประเทศ และ Static ISP ในสหรัฐฯ และเวียดนาม ทุกแพ็กเกจคิดราคาต่อ IP โดยไม่มีการจำกัดทราฟฟิก คุณสามารถกำหนดขนาดพูลตามจำนวน request ต่อวินาทีที่เว็บเป้าหมายรองรับได้ โดยค่าใช้จ่ายยังคงเท่าเดิมไม่ว่าหน้าเว็บจะมีขนาดเท่าใดก็ตาม
- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
เปรียบเทียบการคิดราคาต่อ IP กับการคิดราคาต่อ GB สำหรับ crawler
| คำถาม | พูลแบบคงที่ (คิดต่อ IP) | คิดตามทราฟฟิก (คิดต่อ GB) |
|---|---|---|
| สิ่งที่กำหนดค่าใช้จ่าย | จำนวน IP และระยะเวลาการเช่า | จำนวนไบต์ที่ดาวน์โหลด รวมถึง HTML, JS และ asset ต่างๆ |
| จะเกิดอะไรขึ้นเมื่อหน้าเว็บมีขนาดใหญ่ขึ้น | ไม่มีอะไรเปลี่ยนแปลง แบนด์วิดท์ไม่จำกัด | ค่าใช้จ่ายจะเพิ่มขึ้นตามขนาดหน้าเว็บ |
| อะไรคือตัวจำกัด throughput | ขีดจำกัด request ต่อ IP ของแต่ละเว็บเป้าหมาย | งบประมาณ |
| วิธีขยายขนาดการใช้งาน | เพิ่มจำนวน IP โดยราคาต่อ IP จะถูกลงเมื่อซื้อจำนวนมาก | ซื้อทราฟฟิกเพิ่ม |
ทำไม scraper ถึงถูกบล็อก และการใช้พูล IP ช่วยได้อย่างไร
ในการดึงข้อมูลแคตตาล็อก รายการสินค้า และ public API การถูกบล็อกส่วนใหญ่ไม่ได้ขึ้นอยู่กับว่าคุณเป็นใคร แต่ขึ้นอยู่กับว่าคุณส่งคำขอเร็วแค่ไหน หากมี IP ใดส่งคำขอเกินอัตราที่เว็บไซต์กำหนดก็จะได้รับ HTTP 429 การใช้พูลที่มี Static IP 10 ถึง 100 รายการ โดยตั้งค่า concurrency ของแต่ละ IP ให้อยู่ในระดับที่เหมาะสม จะช่วยให้ทุก IP อยู่ต่ำกว่าเกณฑ์จำกัด ในขณะที่ตัว crawler โดยรวมยังคงทำงานได้ด้วยความเร็วที่คุณต้องการ
การใช้งานแบบผู้ใช้คนเดียว (Single tenancy) ก็ช่วยในจุดนี้เช่นกัน แต่ละ IP ของ ProxyV4 เป็นของลูกค้าคนเดียวตลอดระยะเวลาการเช่า ดังนั้นประวัติอัตราการส่งคำขอที่เว็บเป้าหมายตรวจพบบน IP นั้นจึงเป็นของคุณแต่เพียงผู้เดียว
การเลือกพูล IP ให้เหมาะกับเป้าหมาย
- แคตตาล็อกสาธารณะและ API ปริมาณมาก: Private IPv4 ในสหรัฐอเมริกา หรือสิงคโปร์ ซึ่งมีต้นทุนต่อ IP ต่ำที่สุด
- อีคอมเมิร์ซและเว็บพอร์ทัลท้องถิ่นของเวียดนาม: Vietnam IPv4 เพื่อเข้าถึงหน้าเว็บในประเทศและดูราคาในท้องถิ่น
- เป้าหมายที่มีการกรอง ASN ของโฮสติ้งหลัง WAF: Static ISP ในสหรัฐอเมริกา หรือเวียดนาม ซึ่งจดทะเบียนในนาม ISP สำหรับผู้ใช้ทั่วไป จึงมักพบการตรวจสอบจาก Cloudflare น้อยกว่า
- เป้าหมายที่ต้องเปลี่ยน IP ใหม่ทุกคำขอ: ขณะนี้ยังไม่เปิดจำหน่ายพร็อกซีเวียดนามแบบหมุนเวียน สามารถลงชื่อใน waitlist ได้ที่หน้าพร็อกซีเวียดนามแบบหมุนเวียน
การตั้งค่า Crawler เพื่อให้พูล IP แบบคงที่ใช้งานได้ยาวนาน
ทุกบรรทัดใช้ข้อมูลการเข้าสู่ระบบแบบมาตรฐาน ดังนั้นใน Python การตั้งค่าพร็อกซีจึงเป็นเพียง proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}
- กระจายคำขอแบบ Round-robin ไปยังรายการ IP ทั้งหมด และใส่ค่าดีเลย์สุ่ม (jitter) ประมาณ 2 ถึง 5 วินาทีต่อ IP สำหรับแต่ละโดเมนเป้าหมาย
- นำการเชื่อมต่อกลับมาใช้ซ้ำด้วย
requests.Session()หรือ pooled client เพื่อไม่ต้องเสียเวลาทำ TLS handshake ใหม่ทุกครั้งที่ส่งคำขอ - ใน Playwright และ Puppeteer ให้บล็อกรูปภาพ ฟอนต์ และสื่อต่างๆ ที่คุณไม่ได้นำมาประมวลผล
- เมื่อ IP ได้รับ HTTP 429 หรือ 503 ให้นำ IP นั้นออกจากการหมุนเวียนชั่วคราวเพื่อรอ cooldown และชะลอการส่งคำขอ แทนที่จะลองส่งใหม่ทันที
ขั้นตอน
- 1
ซื้อพูลตามขนาดที่เหมาะกับเป้าหมายของคุณ
เลือกจำนวนตามประเทศ เช่น IPv4 ของ สหรัฐฯ, ญี่ปุ่น หรือ สหราชอาณาจักร โดยจะได้รับส่วนลดตามระดับปริมาณโดยอัตโนมัติเมื่อจำนวนเพิ่มขึ้น
- 2
แปลงรายการให้อยู่ในรูปแบบ URL
วางบรรทัด
ip:port:user:passลงใน ตัวแปลงรูปแบบพร็อกซี เพื่อรับสตริงhttp://user:pass@ip:portหรือ JSON - 3
เชื่อมต่อพูลเข้ากับเฟรมเวิร์กของคุณ
ดูคำแนะนำการตั้งค่าได้ที่หน้า Python Requests, Scrapy, Selenium หรือ Node.js Axios
- 4
ทดสอบวัดผลก่อนเริ่มรันจริงเต็มรูปแบบ
ตรวจสอบความเร็วการตอบสนองด้วย เครื่องมือทดสอบความเร็วพร็อกซี และตัดรายการที่เชื่อมต่อกับเป้าหมายได้ช้าออก
คำถามที่พบบ่อย
ทราฟฟิกการดึงข้อมูลบนพร็อกซีของ ProxyV4 มีการจำกัดปริมาณหรือไม่?
ไม่มี Private IPv4 และ Static ISP คิดราคาต่อ IP ตามระยะเวลาการเช่า พร้อมแบนด์วิดท์ไม่จำกัด
Static IP 1 รายการสามารถดึงข้อมูลได้วันละกี่หน้า?
ขึ้นอยู่กับขีดจำกัดอัตราคำขอของเว็บเป้าหมาย ที่อัตรา 1 ถึง 3 คำขอต่อนาทีต่อโดเมน IP 1 รายการสามารถดึงข้อมูลได้ประมาณ 1,500 ถึง 4,000 หน้าต่อวันโดยไม่เป็นที่ผิดสังเกต
คุณมีพร็อกซีแบบหมุนเวียนสำหรับ scraping จำหน่ายหรือไม่?
ยังไม่มีในขณะนี้ พร็อกซีเวียดนามแบบหมุนเวียนยังเปิดรับเฉพาะใน waitlist สำหรับตอนนี้ การใช้พูลแบบ static ร่วมกับการกระจายคำขอแบบ round-robin สามารถตอบโจทย์การดึงข้อมูลตามกำหนดการส่วนใหญ่ได้เช่นเดียวกัน
จะแปลงพร็อกซี 50 รายการให้อยู่ในรูปแบบ Scrapy ได้อย่างรวดเร็วอย่างไร?
วางข้อมูลลงใน ตัวแปลงรูปแบบพร็อกซี เครื่องมือจะแปลงบรรทัด ip:port:user:pass เป็นสตริง URL หรือ JSON array ผ่านเบราว์เซอร์ได้ทันที
สร้างพูลสำหรับการทำ Scraping ด้วยต้นทุนรายเดือนคงที่
Private IPv4 ใน 7 ประเทศ และ Static ISP ในสหรัฐฯ และเวียดนาม คิดราคาต่อ IP พร้อมทราฟฟิกไม่จำกัด
ดูราคาล่าสุดของ US IPv4