Thiết kế hệ thống cào dữ liệu xoay quanh pool IP dùng riêng
Updated:
Proxy cào dữ liệu web phân bổ các yêu cầu của bạn qua nhiều địa chỉ để không IP đơn lẻ nào phải gánh toàn bộ quá trình thu thập. Với hầu hết mục tiêu, pool địa chỉ IPv4 riêng tư là lựa chọn nhanh và tiết kiệm chi phí nhất; địa chỉ ISP tĩnh là giải pháp dự phòng cho các trang web chặn dải datacenter. Bạn tự xoay vòng pool trong mã nguồn của mình, đồng nghĩa với việc bạn luôn biết chính xác IP nào đã tải trang nào.
Vì sao một IP lại ngừng hoạt động
Các trang web thường giới hạn số lượng yêu cầu mà một địa chỉ có thể gửi. Một crawler chạy từ đường truyền văn phòng sẽ nhanh chóng chạm giới hạn đó, và lệnh chặn có thể ảnh hưởng đến mọi người khác trong tòa nhà. Pool proxy giúp chia tải, giữ mạng nội bộ của bạn khỏi các tệp nhật ký và cho phép bạn tải đúng phiên bản trang web mà người dùng tại một quốc gia cụ thể nhận được.
Người dùng tiêu biểu: các đội ngũ thương mại điện tử theo dõi giá và tồn kho của đối thủ, các nhà phân tích xây dựng tập dữ liệu công khai, các nền tảng tổng hợp thông tin du lịch, bất động sản, việc làm, và các lập trình viên kiểm thử trang web của mình từ các quốc gia khác.
Pool tĩnh so với gateway xoay vòng
Với pool tĩnh, danh sách địa chỉ thuộc toàn quyền sử dụng của bạn trong suốt thời hạn thuê. Bộ lập lịch của bạn sẽ chọn một IP cho mỗi yêu cầu hoặc mỗi phiên, ghi nhật ký lại và loại bỏ bất kỳ địa chỉ nào bắt đầu bị giới hạn tần suất. Mỗi IP đều là dùng riêng, do đó danh tiếng của IP chỉ phản ánh lưu lượng truy cập của chính bạn, và danh sách cố định này rất dễ đưa vào danh sách cho phép (allowlist) trên các công cụ nội bộ.
Băng thông trên IPv4 riêng tư và ISP tĩnh không bị tính phí theo dung lượng. Các trang có dung lượng lớn, hình ảnh và những đợt cào dữ liệu dài hạn đều được tính phí theo từng IP chứ không phải theo từng gigabyte.
Chọn đúng sản phẩm cho từng mục tiêu
| Mục tiêu | Sản phẩm | Lý do |
|---|---|---|
| Danh mục công khai, API, hầu hết các trang web | IPv4 riêng tư | Nhanh, tối ưu chi phí, hỗ trợ 7 quốc gia |
| Trang web chặn dải mạng datacenter | ISP tĩnh, Mỹ hoặc Việt Nam | Địa chỉ IP được đăng ký với các nhà mạng dân dụng |
| Thu thập dữ liệu quy mô rất lớn trên các trang hỗ trợ IPv6 | IPv6 | Nhiều địa chỉ với mức giá rẻ trên mỗi IP; cần xác nhận trang web mục tiêu có hỗ trợ IPv6 |
| Các trang web bản địa hóa tại châu Á | IPv4 riêng tư tại Nhật Bản, Hàn Quốc, Singapore, Hồng Kông hoặc Việt Nam | Thu thập đúng nội dung mà người dùng bản địa nhìn thấy |
Quy mô pool và kỷ luật gửi yêu cầu
- Xác định quy mô pool dựa trên tần suất gửi yêu cầu mục tiêu: nhiều địa chỉ với tần suất vừa phải trên từng IP sẽ duy trì hiệu quả lâu hơn so với vài địa chỉ bị ép tải quá mức.
- Giữ cố định một địa chỉ IP trong suốt phiên đăng nhập hoặc phiên giỏ hàng, sau đó mới đổi IP.
- Gửi các tiêu đề (header) thực tế, thêm khoảng trễ ngẫu nhiên (jitter) giữa các yêu cầu và giảm tốc độ khi gặp mã lỗi HTTP 429 và 403.
- Kiểm tra phản hồi trả về để các trang captcha và trang thông báo chặn không bao giờ bị lưu vào tập dữ liệu.
- Sàng lọc địa chỉ bằng công cụ kiểm tra proxy (tối đa 100 IP mỗi lần, mật khẩu không được lưu trữ) và loại bỏ những địa chỉ bị chậm hoặc bị chặn.
Tích hợp pool vào hệ thống của bạn
Mọi địa chỉ đều hoạt động qua HTTP(S) hoặc SOCKS5 kèm tên đăng nhập và mật khẩu, được bàn giao dưới định dạng ip:port:user:pass trong mục Đơn hàng. Các thư viện phổ biến đều hỗ trợ trực tiếp định dạng này; xem hướng dẫn thiết lập cho Python requests, Scrapy, Playwright và Puppeteer. Các công cụ máy tính không hỗ trợ cài đặt proxy có thể được định tuyến qua Proxifier. Trang proxy cào dữ liệu web cung cấp thêm các lưu ý riêng cho từng mục tiêu.
Thu thập dữ liệu có trách nhiệm
Proxy thay đổi nơi gửi yêu cầu, chứ không thay đổi quyền hạn thu thập dữ liệu của bạn. Hãy tôn trọng robots.txt, các điều khoản của trang web và luật bảo vệ dữ liệu áp dụng cho bạn, đồng thời không thu thập dữ liệu cá nhân mà bạn không có quyền xử lý. Gửi dồn dập các yêu cầu song song, cào dữ liệu sau màn hình đăng nhập bằng tài khoản không thuộc sở hữu của bạn và các hành vi lạm dụng nghiêm trọng khác đều vi phạm điều khoản của chúng tôi.
Câu hỏi thường gặp
Tôi nên bắt đầu cào dữ liệu bằng proxy datacenter hay proxy ISP?
Datacenter. IPv4 riêng tư có tốc độ nhanh hơn và sẵn sàng ở nhiều quốc gia hơn. Bạn chỉ nên chuyển mục tiêu sang ISP tĩnh nếu trang đó chặn các dải datacenter. Bài viết so sánh các loại proxy sẽ giải thích rõ hơn về sự đánh đổi này.
Có bắt buộc phải sử dụng dịch vụ proxy xoay vòng không?
Không. Một pool tĩnh được xoay vòng bằng mã nguồn của chính bạn sẽ mang lại toàn quyền kiểm soát địa chỉ nào xử lý yêu cầu nào.
Lưu lượng truy cập có bị giới hạn dung lượng không?
Không. IPv4 riêng tư và ISP tĩnh đều không giới hạn băng thông; bạn thanh toán theo từng IP cho toàn bộ thời hạn thuê.
Tôi có thể sử dụng SOCKS5 với Scrapy hoặc Playwright không?
Có. Các proxy trả phí đều hỗ trợ HTTP(S) và SOCKS5 bằng tên đăng nhập cùng mật khẩu; hãy chuyển đơn hàng sang SOCKS5 (hoặc cả hai) trên trang quản lý trong bảng điều khiển. Middleware tích hợp sẵn của Scrapy chỉ hỗ trợ HTTP, vì vậy hãy giữ nguyên giao thức HTTP tại đó. Xem bài viết HTTP so với SOCKS5.
Cào dữ liệu web có hợp pháp không?
Điều này phụ thuộc vào nội dung bạn thu thập, khu vực bạn hoạt động và điều khoản của trang web. Việc thu thập dữ liệu công khai, phi cá nhân kết hợp tuân thủ robots.txt là thông lệ phổ biến; hãy kiểm tra các quy định áp dụng cho dự án cụ thể của bạn.
Bắt đầu tạo pool cào dữ liệu
Đặt mua số lượng địa chỉ IPv4 riêng tư theo đúng nhu cầu cào dữ liệu của bạn; giá mỗi IP càng giảm khi mua số lượng lớn và băng thông hoàn toàn không giới hạn.
Xem giá datacenter tại Mỹ