ProxyV4

Proxy cho Scrapy: meta['proxy'], thứ tự middleware và xoay IP

· Updated:

Trong Scrapy, proxy được thiết lập theo từng request qua request.meta['proxy'] = 'http://user:pass@ip:port', và HttpProxyMiddleware mặc định (thứ tự 750) sẽ chuyển phần user:pass thành header Proxy-Authorization. Thêm một downloader middleware nhỏ chạy trước nó, ở mức 740, và mỗi request spider tạo ra đều có thể chọn một IP từ pool ProxyV4 của bạn.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
IPv4 riêng tư (datacenter)
🇺🇸 Hoa Kỳ
Còn hàng
Từ
1,10 US$ / IP / tháng
Chiết khấu theo số lượng
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Mua Hoa Kỳ
IPv4 riêng tư (datacenter)
🇬🇧 Vương quốc Anh
Còn hàng
Từ
1,10 US$ / IP / tháng
Chiết khấu theo số lượng
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Mua Vương quốc Anh

Vì sao số thứ tự middleware lại quan trọng

Các downloader middleware chạy theo thứ tự tăng dần ở chiều gửi đi. HttpProxyMiddleware ở mức 750 đọc meta['proxy'], tách thông tin xác thực khỏi URL và ghi header xác thực. Nếu middleware của bạn thiết lập proxy sau đó, ví dụ ở mức 800, middleware tích hợp sẵn đã chạy xong, thông tin đăng nhập không bao giờ được chuyển đổi và proxy sẽ trả về lỗi 407. Khai báo middleware của bạn ở mức 740 sẽ giúp nó chạy trước.

Cài đặtGiá trị đề xuấtTác dụng
request.meta['proxy']'http://user:pass@ip:port'Gửi request đó qua proxy ProxyV4 đã chỉ định
Thứ tự middleware của bạn740Chạy trước HttpProxyMiddleware (750), giúp thông tin đăng nhập được mã hóa
CONCURRENT_REQUESTS_PER_IP2 đến 4Giới hạn request đồng thời trên mỗi IP đích, mức trần lịch sự để tránh quá tải máy chủ
AUTOTHROTTLE_ENABLEDTrueCho phép Scrapy tự động giãn hoặc rút ngắn độ trễ dựa trên tốc độ phản hồi của mục tiêu

Khung sườn của một middleware xoay IP

  • Đọc danh sách proxy từ settings trong from_crawler() và lưu trên instance của middleware
  • Trong process_request(), gán request.meta['proxy'] = random.choice(self.proxies) trừ khi request đã được gắn proxy sẵn
  • Khi nhận về response 429 hoặc 503, hãy thử lại với một proxy khác từ pool thay vì dùng lại proxy vừa bị từ chối
  • Kết hợp DOWNLOAD_DELAY = 1.0 với RANDOMIZE_DOWNLOAD_DELAY = True để khoảng cách giữa các request thay đổi ngẫu nhiên thay vì đều đặn như máy đập nhịp

Quy mô số lượng IP trong pool

Quá trình crawl bằng Scrapy có thể gửi lượng lớn request mỗi phút, vì vậy số lượng IP quyết định mức độ phân bổ tải lên từng địa chỉ. Với ProxyV4, không có số lượng mua tối thiểu, giá mỗi IP giảm dần khi số lượng tăng, và lưu lượng IPv4 riêng tư không giới hạn dung lượng nên lượt crawl lớn hay nhỏ đều không tốn thêm chi phí băng thông. Mỗi IP chỉ do một khách hàng duy nhất sử dụng, do đó độ uy tín của IP phản ánh đúng hoạt động crawl của riêng bạn chứ không bị ảnh hưởng bởi người khác. Để lên kế hoạch về lưu lượng crawl và tính lịch sự với máy chủ, hãy xem hướng dẫn web scraping.

Từng bước thực hiện

  1. 1

    Chuẩn bị URL proxy

    Chuyển đổi các dòng ip:port:user:pass của ProxyV4 sang dạng http://user:pass@ip:port bằng công cụ chuyển đổi định dạng proxy và lưu vào settings hoặc file.

  2. 2

    Viết ProxyPoolMiddleware

    Trong middlewares.py, viết hàm process_request(self, request, spider) để gán request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Đăng ký middleware trước middleware mặc định

    Trong settings.py, thêm 'myproject.middlewares.ProxyPoolMiddleware': 740 vào DOWNLOADER_MIDDLEWARES và đặt CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Kiểm tra cơ chế xoay IP

    Gửi request đến https://proxyv4.com/api/my-ip vài lần bằng scrapy shell hoặc một spider kiểm thử ngắn và kiểm tra xem IP trả về có thay đổi luân phiên trong pool hay không.

Câu hỏi thường gặp

Proxy middleware của tôi đặt ở độ ưu tiên 800 bị lỗi 407. Tại sao?

Ở mức 800, nó chạy sau HttpProxyMiddleware (750), do đó user:pass trong URL proxy không bao giờ được chuyển đổi thành header Proxy-Authorization. Hãy chuyển middleware của bạn xuống dưới 750, ví dụ 740.

Tôi có thể đặt proxy chỉ cho một request duy nhất không?

Có. Hãy truyền meta={'proxy': 'http://user:pass@ip:port'} khi tạo Request; middleware mặc định sẽ xử lý thông tin đăng nhập cho riêng request đó.

Crawl hàng triệu trang web có bị chạm giới hạn băng thông không?

Không nếu dùng proxy IPv4 riêng tư hoặc proxy ISP tĩnh của ProxyV4; cả hai đều không giới hạn băng thông. Giới hạn thực tế phụ thuộc vào tốc độ mục tiêu cho phép bạn crawl.

Nguồn tham khảo

IP tĩnh không giới hạn băng thông cho tác vụ crawl bằng Scrapy

IPv4 riêng tư tại 7 quốc gia cùng proxy ISP tĩnh tại Mỹ và Việt Nam, từ một IP đơn lẻ đến số lượng lớn trong pool, với bảng giá linh hoạt theo số lượng.

Xem giá proxy Mỹ theo thời gian thực

Related articles

Proxy theo nền tảng
Proxy cào dữ liệu web: dải IP cố định với lưu lượng không giới hạn
Proxy cào web cho Python, Scrapy, Playwright và Selenium: dải IPv4 riêng tư và ISP tĩnh, băng thông không giới hạn, giá trọn gói cố định theo từng IP.
Cài đặt proxy
Hướng dẫn dùng proxy xác thực trong Python requests từng bước
Gửi request Python qua proxy HTTP(S) xác thực: tạo dict proxies, gắn vào Session, mã hóa mật khẩu đặc biệt, xoay vòng danh sách và kiểm tra IP.
Cài đặt proxy
Xác thực proxy Playwright, một IP tĩnh cho mỗi context
Gán proxy HTTP(S) xác thực riêng cho từng context Playwright trong Node.js hoặc Python, đồng bộ múi giờ, ngôn ngữ theo IP và kiểm tra địa chỉ IP đầu ra.
Công cụ miễn phí
Chuyển danh sách proxy sang định dạng công cụ của bạn yêu cầu
Chuyển đổi hàng loạt danh sách proxy trên trình duyệt giữa ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, mảng JSON và file import FoxyProxy.
Proxy theo nền tảng
Proxy theo dõi thứ hạng SEO: xem trang kết quả chính xác như người dùng bản địa
Proxy theo dõi thứ hạng SEO với IPv4 riêng tại Mỹ, Anh, Việt Nam, Nhật Bản và 4 thị trường khác, giúp thứ hạng, local pack và quảng cáo chuẩn như người bản xứ.
Proxy theo nền tảng
Proxy Amazon Seller mang lại địa chỉ cố định cho từng tài khoản
Proxy Amazon Seller cho Seller Central, KDP và Merch: IP tĩnh ISP Mỹ hoặc IPv4 riêng UK/Nhật cho từng tài khoản, dùng riêng và giữ nguyên IP khi gia hạn.
IPV4 · united states
Hệ thống Proxy IPv4 riêng Mỹ cho thu thập dữ liệu, theo dõi thứ hạng và kiểm tra quảng cáo
Mua proxy IPv4 riêng Mỹ: IP datacenter tĩnh, 1 khách mỗi IP, băng thông không giới hạn. Dành cho cào dữ liệu, theo dõi thứ hạng SERP và duyệt quảng cáo Mỹ.
IPV4 · united kingdom
Proxy IPv4 riêng Vương quốc Anh cho sàn thương mại điện tử, tìm kiếm và chiến dịch
Proxy IPv4 riêng UK với IP datacenter Anh tĩnh cho riêng một khách hàng, để nghiên cứu eBay UK, Amazon.co.uk, theo dõi google.co.uk và kiểm tra quảng cáo UK.