ProxyV4

Thiết kế hệ thống cào dữ liệu xoay quanh pool IP dùng riêng

Updated:

Proxy cào dữ liệu web phân bổ các yêu cầu của bạn qua nhiều địa chỉ để không IP đơn lẻ nào phải gánh toàn bộ quá trình thu thập. Với hầu hết mục tiêu, pool địa chỉ IPv4 riêng tư là lựa chọn nhanh và tiết kiệm chi phí nhất; địa chỉ ISP tĩnh là giải pháp dự phòng cho các trang web chặn dải datacenter. Bạn tự xoay vòng pool trong mã nguồn của mình, đồng nghĩa với việc bạn luôn biết chính xác IP nào đã tải trang nào.

Bắt đầu tạo pool cào dữ liệu

Vì sao một IP lại ngừng hoạt động

Các trang web thường giới hạn số lượng yêu cầu mà một địa chỉ có thể gửi. Một crawler chạy từ đường truyền văn phòng sẽ nhanh chóng chạm giới hạn đó, và lệnh chặn có thể ảnh hưởng đến mọi người khác trong tòa nhà. Pool proxy giúp chia tải, giữ mạng nội bộ của bạn khỏi các tệp nhật ký và cho phép bạn tải đúng phiên bản trang web mà người dùng tại một quốc gia cụ thể nhận được.

Người dùng tiêu biểu: các đội ngũ thương mại điện tử theo dõi giá và tồn kho của đối thủ, các nhà phân tích xây dựng tập dữ liệu công khai, các nền tảng tổng hợp thông tin du lịch, bất động sản, việc làm, và các lập trình viên kiểm thử trang web của mình từ các quốc gia khác.

Pool tĩnh so với gateway xoay vòng

Với pool tĩnh, danh sách địa chỉ thuộc toàn quyền sử dụng của bạn trong suốt thời hạn thuê. Bộ lập lịch của bạn sẽ chọn một IP cho mỗi yêu cầu hoặc mỗi phiên, ghi nhật ký lại và loại bỏ bất kỳ địa chỉ nào bắt đầu bị giới hạn tần suất. Mỗi IP đều là dùng riêng, do đó danh tiếng của IP chỉ phản ánh lưu lượng truy cập của chính bạn, và danh sách cố định này rất dễ đưa vào danh sách cho phép (allowlist) trên các công cụ nội bộ.

Băng thông trên IPv4 riêng tư và ISP tĩnh không bị tính phí theo dung lượng. Các trang có dung lượng lớn, hình ảnh và những đợt cào dữ liệu dài hạn đều được tính phí theo từng IP chứ không phải theo từng gigabyte.

Chọn đúng sản phẩm cho từng mục tiêu

Mục tiêuSản phẩmLý do
Danh mục công khai, API, hầu hết các trang webIPv4 riêng tưNhanh, tối ưu chi phí, hỗ trợ 7 quốc gia
Trang web chặn dải mạng datacenterISP tĩnh, Mỹ hoặc Việt NamĐịa chỉ IP được đăng ký với các nhà mạng dân dụng
Thu thập dữ liệu quy mô rất lớn trên các trang hỗ trợ IPv6IPv6Nhiều địa chỉ với mức giá rẻ trên mỗi IP; cần xác nhận trang web mục tiêu có hỗ trợ IPv6
Các trang web bản địa hóa tại châu ÁIPv4 riêng tư tại Nhật Bản, Hàn Quốc, Singapore, Hồng Kông hoặc Việt NamThu thập đúng nội dung mà người dùng bản địa nhìn thấy

Quy mô pool và kỷ luật gửi yêu cầu

  • Xác định quy mô pool dựa trên tần suất gửi yêu cầu mục tiêu: nhiều địa chỉ với tần suất vừa phải trên từng IP sẽ duy trì hiệu quả lâu hơn so với vài địa chỉ bị ép tải quá mức.
  • Giữ cố định một địa chỉ IP trong suốt phiên đăng nhập hoặc phiên giỏ hàng, sau đó mới đổi IP.
  • Gửi các tiêu đề (header) thực tế, thêm khoảng trễ ngẫu nhiên (jitter) giữa các yêu cầu và giảm tốc độ khi gặp mã lỗi HTTP 429 và 403.
  • Kiểm tra phản hồi trả về để các trang captcha và trang thông báo chặn không bao giờ bị lưu vào tập dữ liệu.
  • Sàng lọc địa chỉ bằng công cụ kiểm tra proxy (tối đa 100 IP mỗi lần, mật khẩu không được lưu trữ) và loại bỏ những địa chỉ bị chậm hoặc bị chặn.

Tích hợp pool vào hệ thống của bạn

Mọi địa chỉ đều hoạt động qua HTTP(S) hoặc SOCKS5 kèm tên đăng nhập và mật khẩu, được bàn giao dưới định dạng ip:port:user:pass trong mục Đơn hàng. Các thư viện phổ biến đều hỗ trợ trực tiếp định dạng này; xem hướng dẫn thiết lập cho Python requests, Scrapy, Playwright và Puppeteer. Các công cụ máy tính không hỗ trợ cài đặt proxy có thể được định tuyến qua Proxifier. Trang proxy cào dữ liệu web cung cấp thêm các lưu ý riêng cho từng mục tiêu.

Thu thập dữ liệu có trách nhiệm

Proxy thay đổi nơi gửi yêu cầu, chứ không thay đổi quyền hạn thu thập dữ liệu của bạn. Hãy tôn trọng robots.txt, các điều khoản của trang web và luật bảo vệ dữ liệu áp dụng cho bạn, đồng thời không thu thập dữ liệu cá nhân mà bạn không có quyền xử lý. Gửi dồn dập các yêu cầu song song, cào dữ liệu sau màn hình đăng nhập bằng tài khoản không thuộc sở hữu của bạn và các hành vi lạm dụng nghiêm trọng khác đều vi phạm điều khoản của chúng tôi.

Câu hỏi thường gặp

Tôi nên bắt đầu cào dữ liệu bằng proxy datacenter hay proxy ISP?

Datacenter. IPv4 riêng tư có tốc độ nhanh hơn và sẵn sàng ở nhiều quốc gia hơn. Bạn chỉ nên chuyển mục tiêu sang ISP tĩnh nếu trang đó chặn các dải datacenter. Bài viết so sánh các loại proxy sẽ giải thích rõ hơn về sự đánh đổi này.

Có bắt buộc phải sử dụng dịch vụ proxy xoay vòng không?

Không. Một pool tĩnh được xoay vòng bằng mã nguồn của chính bạn sẽ mang lại toàn quyền kiểm soát địa chỉ nào xử lý yêu cầu nào.

Lưu lượng truy cập có bị giới hạn dung lượng không?

Không. IPv4 riêng tư và ISP tĩnh đều không giới hạn băng thông; bạn thanh toán theo từng IP cho toàn bộ thời hạn thuê.

Tôi có thể sử dụng SOCKS5 với Scrapy hoặc Playwright không?

Có. Các proxy trả phí đều hỗ trợ HTTP(S) và SOCKS5 bằng tên đăng nhập cùng mật khẩu; hãy chuyển đơn hàng sang SOCKS5 (hoặc cả hai) trên trang quản lý trong bảng điều khiển. Middleware tích hợp sẵn của Scrapy chỉ hỗ trợ HTTP, vì vậy hãy giữ nguyên giao thức HTTP tại đó. Xem bài viết HTTP so với SOCKS5.

Cào dữ liệu web có hợp pháp không?

Điều này phụ thuộc vào nội dung bạn thu thập, khu vực bạn hoạt động và điều khoản của trang web. Việc thu thập dữ liệu công khai, phi cá nhân kết hợp tuân thủ robots.txt là thông lệ phổ biến; hãy kiểm tra các quy định áp dụng cho dự án cụ thể của bạn.

Bắt đầu tạo pool cào dữ liệu

Đặt mua số lượng địa chỉ IPv4 riêng tư theo đúng nhu cầu cào dữ liệu của bạn; giá mỗi IP càng giảm khi mua số lượng lớn và băng thông hoàn toàn không giới hạn.

Xem giá datacenter tại Mỹ

Related articles

Mục đích sử dụng
Thiết lập hệ thống theo dõi thứ hạng phản ánh chính xác vị trí cục bộ
Kiểm tra thứ hạng Google như người dùng bản địa: bố trí IP riêng từng thị trường, điều tiết tần suất truy vấn và tránh các lỗi cấu hình làm lệch dữ liệu.
Proxy theo nền tảng
Proxy cào dữ liệu web: dải IP cố định với lưu lượng không giới hạn
Proxy cào web cho Python, Scrapy, Playwright và Selenium: dải IPv4 riêng tư và ISP tĩnh, băng thông không giới hạn, giá trọn gói cố định theo từng IP.
Kiến thức
Datacenter, ISP hay Dân cư: Giải thích chi tiết 3 loại IP proxy
So sánh proxy ISP, datacenter và dân cư: ai sở hữu IP, nơi chạy, hạn dùng, cách tính giá và loại nào tối ưu cho nuôi tài khoản, ads hay thu thập dữ liệu.
Cài đặt proxy
Proxy cho Scrapy: meta['proxy'], thứ tự middleware và xoay IP
Dùng proxy HTTP(S) có xác thực trong Scrapy: đặt request.meta['proxy'], xếp middleware trước HttpProxyMiddleware (750), xoay IP và kiểm soát tốc độ crawl.
Công cụ miễn phí
Kiểm tra proxy hàng loạt: trạng thái, IP đầu ra và độ trễ
Kiểm tra proxy online miễn phí: dán tới 100 dòng ip:port:user:pass để biết proxy nào hoạt động, xem IP đầu ra, độ trễ và ý nghĩa của từng kết quả lỗi.
ISP · vietnam
Proxy ISP tĩnh Việt Nam cho gian hàng chính và tài khoản quảng cáo
Proxy ISP tĩnh Việt Nam với IP đăng ký từ nhà mạng dân dụng. IP cố định dành cho shop Shopee chính, TikTok Shop, tài khoản quảng cáo Facebook và Zalo OA.
ISP · united states
Proxy ISP tĩnh Mỹ: IP đăng ký hộ gia đình không bao giờ thay đổi
Proxy ISP tĩnh Mỹ dùng dải IP đăng ký từ nhà mạng dân dụng. Một IP Mỹ cố định cho mỗi tài khoản seller Amazon, tài khoản quảng cáo và Instagram.
Proxy theo nền tảng
Proxy cho người bán TikTok Shop vận hành nhiều gian hàng
Proxy TikTok Shop cho người bán nhiều shop: ISP tĩnh hoặc IPv4 riêng cho từng gian hàng tại Mỹ, Việt Nam, UK, Singapore; giữ nguyên IP khi gia hạn.