Proxy cho Scrapy: meta['proxy'], thứ tự middleware và xoay IP
Bởi Đội ngũ Kỹ thuật ProxyV4 · Updated:
Trong Scrapy, proxy được thiết lập theo từng request qua request.meta['proxy'] = 'http://user:pass@ip:port', và HttpProxyMiddleware mặc định (thứ tự 750) sẽ chuyển phần user:pass thành header Proxy-Authorization. Thêm một downloader middleware nhỏ chạy trước nó, ở mức 740, và mỗi request spider tạo ra đều có thể chọn một IP từ pool ProxyV4 của bạn.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
Vì sao số thứ tự middleware lại quan trọng
Các downloader middleware chạy theo thứ tự tăng dần ở chiều gửi đi. HttpProxyMiddleware ở mức 750 đọc meta['proxy'], tách thông tin xác thực khỏi URL và ghi header xác thực. Nếu middleware của bạn thiết lập proxy sau đó, ví dụ ở mức 800, middleware tích hợp sẵn đã chạy xong, thông tin đăng nhập không bao giờ được chuyển đổi và proxy sẽ trả về lỗi 407. Khai báo middleware của bạn ở mức 740 sẽ giúp nó chạy trước.
| Cài đặt | Giá trị đề xuất | Tác dụng |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Gửi request đó qua proxy ProxyV4 đã chỉ định |
| Thứ tự middleware của bạn | 740 | Chạy trước HttpProxyMiddleware (750), giúp thông tin đăng nhập được mã hóa |
CONCURRENT_REQUESTS_PER_IP | 2 đến 4 | Giới hạn request đồng thời trên mỗi IP đích, mức trần lịch sự để tránh quá tải máy chủ |
AUTOTHROTTLE_ENABLED | True | Cho phép Scrapy tự động giãn hoặc rút ngắn độ trễ dựa trên tốc độ phản hồi của mục tiêu |
Khung sườn của một middleware xoay IP
- Đọc danh sách proxy từ settings trong
from_crawler()và lưu trên instance của middleware - Trong
process_request(), gánrequest.meta['proxy'] = random.choice(self.proxies)trừ khi request đã được gắn proxy sẵn - Khi nhận về response
429hoặc503, hãy thử lại với một proxy khác từ pool thay vì dùng lại proxy vừa bị từ chối - Kết hợp
DOWNLOAD_DELAY = 1.0vớiRANDOMIZE_DOWNLOAD_DELAY = Trueđể khoảng cách giữa các request thay đổi ngẫu nhiên thay vì đều đặn như máy đập nhịp
Quy mô số lượng IP trong pool
Quá trình crawl bằng Scrapy có thể gửi lượng lớn request mỗi phút, vì vậy số lượng IP quyết định mức độ phân bổ tải lên từng địa chỉ. Với ProxyV4, không có số lượng mua tối thiểu, giá mỗi IP giảm dần khi số lượng tăng, và lưu lượng IPv4 riêng tư không giới hạn dung lượng nên lượt crawl lớn hay nhỏ đều không tốn thêm chi phí băng thông. Mỗi IP chỉ do một khách hàng duy nhất sử dụng, do đó độ uy tín của IP phản ánh đúng hoạt động crawl của riêng bạn chứ không bị ảnh hưởng bởi người khác. Để lên kế hoạch về lưu lượng crawl và tính lịch sự với máy chủ, hãy xem hướng dẫn web scraping.
Từng bước thực hiện
- 1
Chuẩn bị URL proxy
Chuyển đổi các dòng
ip:port:user:passcủa ProxyV4 sang dạnghttp://user:pass@ip:portbằng công cụ chuyển đổi định dạng proxy và lưu vào settings hoặc file. - 2
Viết ProxyPoolMiddleware
Trong
middlewares.py, viết hàmprocess_request(self, request, spider)để gánrequest.meta['proxy'] = random.choice(self.proxies). - 3
Đăng ký middleware trước middleware mặc định
Trong
settings.py, thêm'myproject.middlewares.ProxyPoolMiddleware': 740vàoDOWNLOADER_MIDDLEWARESvà đặtCONCURRENT_REQUESTS_PER_IP = 2. - 4
Kiểm tra cơ chế xoay IP
Gửi request đến
https://proxyv4.com/api/my-ipvài lần bằngscrapy shellhoặc một spider kiểm thử ngắn và kiểm tra xem IP trả về có thay đổi luân phiên trong pool hay không.
Câu hỏi thường gặp
Proxy middleware của tôi đặt ở độ ưu tiên 800 bị lỗi 407. Tại sao?
Ở mức 800, nó chạy sau HttpProxyMiddleware (750), do đó user:pass trong URL proxy không bao giờ được chuyển đổi thành header Proxy-Authorization. Hãy chuyển middleware của bạn xuống dưới 750, ví dụ 740.
Tôi có thể đặt proxy chỉ cho một request duy nhất không?
Có. Hãy truyền meta={'proxy': 'http://user:pass@ip:port'} khi tạo Request; middleware mặc định sẽ xử lý thông tin đăng nhập cho riêng request đó.
Crawl hàng triệu trang web có bị chạm giới hạn băng thông không?
Không nếu dùng proxy IPv4 riêng tư hoặc proxy ISP tĩnh của ProxyV4; cả hai đều không giới hạn băng thông. Giới hạn thực tế phụ thuộc vào tốc độ mục tiêu cho phép bạn crawl.
Nguồn tham khảo
IP tĩnh không giới hạn băng thông cho tác vụ crawl bằng Scrapy
IPv4 riêng tư tại 7 quốc gia cùng proxy ISP tĩnh tại Mỹ và Việt Nam, từ một IP đơn lẻ đến số lượng lớn trong pool, với bảng giá linh hoạt theo số lượng.
Xem giá proxy Mỹ theo thời gian thực