Proxy cào dữ liệu web: dải IP cố định với lưu lượng không giới hạn
Updated:
Proxy cào dữ liệu tính phí theo gigabyte khiến crawler tốn kém hơn mỗi khi trang web nặng hơn, đó là lý do vì sao các crawler chạy định kỳ, ổn định sẽ tiết kiệm hơn trên một dải địa chỉ cố định không giới hạn lưu lượng. ProxyV4 cung cấp IPv4 riêng tư tại 7 quốc gia và ISP tĩnh tại Mỹ và Việt Nam, tất cả đều được tính giá theo từng IP và không đo đếm lưu lượng. Bạn chỉ cần chọn quy mô dải IP theo số lượng yêu cầu mỗi giây mà trang đích cho phép, và chi phí luôn giữ nguyên bất kể dung lượng trang nặng đến mức nào.
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
So sánh giá theo IP và giá theo GB cho crawler
| Câu hỏi | Dải IP cố định (theo IP) | Lưu lượng đo đếm (theo GB) |
|---|---|---|
| Yếu tố quyết định chi phí | Số lượng IP và thời gian thuê | Số byte tải về, bao gồm HTML, JS và tài nguyên |
| Điều gì xảy ra khi trang web nặng hơn | Không ảnh hưởng; băng thông là không giới hạn | Chi phí tăng theo dung lượng trang |
| Yếu tố giới hạn thông lượng | Giới hạn tốc độ yêu cầu trên mỗi IP của từng trang đích | Ngân sách |
| Cách mở rộng quy mô | Thêm IP; giá mỗi IP giảm dần theo số lượng | Mua thêm lưu lượng |
Tại sao scraper bị chặn, và dải IP thay đổi điều đó như thế nào
Khi cào dữ liệu danh mục, danh sách và API công khai, phần lớn các trường hợp bị chặn không phải do bạn là ai mà là do bạn gửi yêu cầu nhanh đến mức nào: chỉ một địa chỉ vượt quá tần suất yêu cầu của trang sẽ nhận mã HTTP 429. Một dải gồm 10 đến 100 IP tĩnh, mỗi IP duy trì mức đồng thời vừa phải, sẽ giữ mọi địa chỉ dưới ngưỡng giới hạn trong khi toàn bộ crawler vẫn chạy ở tốc độ bạn cần.
Mô hình dùng riêng (single tenancy) cũng mang lại lợi thế lớn. Mỗi IP tại ProxyV4 chỉ thuộc về một khách hàng duy nhất trong suốt thời gian thuê, vì vậy lịch sử tần suất yêu cầu mà trang đích ghi nhận trên địa chỉ đó hoàn toàn là của riêng bạn.
Chọn dải IP phù hợp với mục tiêu
- Danh mục công khai và API lưu lượng lớn: IPv4 riêng tư tại Hoa Kỳ hoặc Singapore, chi phí trên mỗi IP thấp nhất
- Thương mại điện tử Việt Nam và các cổng thông tin nội địa: IPv4 Việt Nam để truy cập trang nội địa và xem giá địa phương
- Mục tiêu lọc ASN hosting phía sau WAF: ISP tĩnh tại Hoa Kỳ hoặc Việt Nam, được đăng ký từ các nhà mạng dân dụng, thường giúp gặp ít thử thách Cloudflare hơn
- Mục tiêu cần đổi IP mới trên mỗi yêu cầu: proxy xoay Việt Nam hiện chưa mở bán; bạn có thể xem danh sách chờ tại trang proxy xoay Việt Nam
Các thiết lập crawler giúp duy trì dải IP tĩnh bền vững
Mỗi dòng đều sử dụng thông tin xác thực tiêu chuẩn, vì vậy trong Python cấu hình proxy chỉ đơn giản là proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Phân bổ yêu cầu theo cơ chế round-robin trên toàn bộ danh sách và thêm độ trễ ngẫu nhiên, khoảng 2 đến 5 giây cho mỗi IP trên mỗi tên miền mục tiêu
- Tái sử dụng kết nối với
requests.Session()hoặc client có connection pool để không phải chịu chi phí bắt tay TLS trên từng yêu cầu - Trong Playwright và Puppeteer, hãy chặn hình ảnh, phông chữ và đa phương tiện mà bạn không bóc tách dữ liệu
- Khi một IP gặp lỗi HTTP 429 hoặc 503, hãy tạm đưa IP đó ra khỏi luồng xoay vòng để hạ nhiệt và giãn thời gian chờ thay vì thử lại ngay lập tức
Từng bước thực hiện
- 1
- 2
Chuyển danh sách thành định dạng URL
Dán các dòng
ip:port:user:passvào công cụ chuyển đổi định dạng proxy để nhận chuỗihttp://user:pass@ip:porthoặc JSON. - 3
Tích hợp dải IP vào framework của bạn
Xem hướng dẫn cài đặt cho Python Requests, Scrapy, Selenium hoặc Node.js Axios.
- 4
Kiểm tra trước lần chạy đầy đủ đầu tiên
Kiểm tra thời gian phản hồi bằng công cụ đo tốc độ proxy và loại bỏ những dòng có tốc độ chậm tới trang mục tiêu.
Câu hỏi thường gặp
Lưu lượng cào dữ liệu trên proxy ProxyV4 có bị tính phí theo dung lượng không?
Không. IPv4 riêng tư và ISP tĩnh được tính giá theo từng IP trong suốt chu kỳ thuê với băng thông không giới hạn.
Một IP tĩnh có thể thu thập bao nhiêu trang mỗi ngày?
Tùy thuộc vào giới hạn tần suất yêu cầu của trang mục tiêu. Với tốc độ 1 đến 3 yêu cầu mỗi phút trên mỗi tên miền, một IP có thể tải khoảng 1.500 đến 4.000 trang mỗi ngày mà không gây chú ý.
Bên bạn có bán proxy xoay để cào dữ liệu không?
Hiện tại chưa. Proxy xoay Việt Nam mới chỉ mở danh sách chờ. Hiện tại, một dải IP tĩnh được phân bổ theo cơ chế round-robin hoàn toàn đáp ứng tốt cho hầu hết các tác vụ crawl theo lịch trình.
Làm thế nào để chuyển đổi nhanh 50 proxy sang định dạng Scrapy?
Dán các proxy vào công cụ chuyển đổi định dạng proxy. Công cụ sẽ chuyển đổi các dòng ip:port:user:pass thành chuỗi URL hoặc mảng JSON ngay trên trình duyệt.
Xây dựng dải IP cào dữ liệu với chi phí cố định hàng tháng
IPv4 riêng tư tại 7 quốc gia và ISP tĩnh tại Mỹ và Việt Nam, tính giá theo từng IP với lưu lượng không giới hạn.
Xem bảng giá IPv4 Mỹ trực tiếp