Hướng dẫn dùng proxy xác thực trong Python requests từng bước
Bởi Đội ngũ Kỹ thuật ProxyV4 · Updated:
Để dùng proxy trong Python requests, hãy truyền một dict proxies có cả hai key 'http' và 'https' cùng trỏ tới http://user:pass@ip:port. Gán dict đó vào một requests.Session() để tái sử dụng cùng một kết nối tới proxy cho mọi lệnh gọi, giúp tăng tốc độ so với việc mở kết nối mới ở mỗi request. Dưới đây là cấu hình dict, session, các lỗi thường gặp và lệnh một dòng để kiểm tra IP đầu ra của ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
Giải thích về dict proxies
| Cài đặt | Giá trị | Lý do |
|---|---|---|
'http' key | 'http://user:pass@ip:port' | Dùng cho các URL http:// thông thường |
'https' key | 'http://user:pass@ip:port' | Vẫn là URL proxy http://: urllib3 yêu cầu proxy tạo tunnel CONNECT và chạy TLS bên trong tunnel đó |
timeout | timeout=(5, 15) | 5 giây kết nối, 15 giây đọc dữ liệu để mục tiêu không phản hồi không làm treo luồng |
| Rotation | itertools.cycle(proxy_list) | Phân bổ lần lượt các IP tĩnh của bạn |
Vì sao Session tối ưu hơn requests.get() thông thường
Mỗi lệnh gọi requests.get() cấp cao nhất đều khởi tạo một connection pool mới, do đó kết nối TCP tới proxy và quá trình bắt tay TLS với trang web phải lặp lại mỗi lần. Một Session sẽ duy trì các kết nối đó giữa những lần gọi. Với script thu thập dữ liệu hàng trăm trang qua một IP, sự khác biệt này thể hiện rõ rệt ở tổng thời gian chạy.
Chỉ cần thiết lập s.proxies.update(proxies) một lần và mọi s.get(), s.post() đều sẽ đi qua proxy. Lưu ý: nếu HTTP_PROXY hoặc HTTPS_PROXY được đặt trong biến môi trường, requests có thể gộp chúng với cài đặt của session; hãy truyền trực tiếp proxies= trong chính lệnh gọi khi bạn muốn chắc chắn proxy nào đang được sử dụng.
Các mã lỗi và cách xử lý
ProxyErrorkèm407 Proxy Authentication Required: proxy vẫn kết nối được nhưng thông tin đăng nhập trong URL không khớp với đơn hàng. Xem trang lỗi 407- Mật khẩu chứa
@,:hoặc/sẽ làm hỏng định dạng URL; hãy mã hóa chúng trước bằngurllib.parse.quote(password, safe='') - Đổi URL proxy sang
https://thường làm mất kết nối; hãy giữhttp://cho cả hai key trừ khi cổng proxy của bạn được cấu hình riêng làm cổng TLS ConnectTimeoutcho thấy vấn đề ở IP hoặc port, không phải do thông tin xác thực; hãy kiểm tra khả năng kết nối bằng công cụ kiểm tra port
Áp dụng tương tự cho httpx và aiohttp
Định dạng URL vẫn được giữ nguyên. Trong httpx, hãy tạo httpx.Client(proxy='http://user:pass@ip:port'); trong aiohttp, truyền proxy= vào session.get(url, proxy=...). Các tác vụ crawl quy mô lớn hơn cần lên lịch và thử lại thường dễ triển khai hơn với Scrapy.
Từng bước thực hiện
- 1
Tạo URL proxy
Chuyển từng dòng
ip:port:user:passcủa ProxyV4 thànhhttp://user:pass@ip:port, hoặc chuyển đổi toàn bộ danh sách bằng công cụ chuyển đổi định dạng proxy. - 2
Tạo dict
Khai báo
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Gắn vào Session
Tạo
s = requests.Session()và gọis.proxies.update(proxies)để duy trì kết nối giữa các request. - 4
In IP đầu ra
Chạy
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP trong kết quả trả về phải là IP của proxy.
Câu hỏi thường gặp
Vì sao mục 'https' lại dùng URL http://?
Giao thức ở đây mô tả cách Python kết nối tới proxy, không phải tới trang web. urllib3 kết nối tới proxy qua HTTP thông thường, gửi lệnh CONNECT, sau đó thực hiện bắt tay TLS với trang web https:// qua tunnel đó, do vậy lưu lượng truy cập trang web vẫn được mã hóa hoàn toàn.
Làm cách nào để phân bổ request qua 25 proxy tĩnh?
Đặt 25 URL vào một danh sách, tạo pool = itertools.cycle(PROXIES), và với mỗi request lấy p = next(pool) rồi truyền proxies={'http': p, 'https': p}. Hãy duy trì khoảng chờ hợp lý giữa các lần gọi trên mỗi IP để tránh quá tải cho bất kỳ địa chỉ nào.
Lưu lượng truy cập từ script Python có bị tính dung lượng không?
Không. Các gói IPv4 riêng tư và ISP tĩnh của ProxyV4 đi kèm băng thông không giới hạn, giúp các script chạy dài hạn không bao giờ bị giới hạn dung lượng.
Nguồn tham khảo
Hệ thống IP tĩnh dành cho script Python
IPv4 riêng tư tại 7 quốc gia cùng ISP tĩnh ở Mỹ và Việt Nam. Mua từng IP đơn lẻ hoặc số lượng lớn; giá mỗi IP càng giảm khi mua nhiều.
Xem bảng giá Mỹ trực tiếp