ProxyV4

Hướng dẫn dùng proxy xác thực trong Python requests từng bước

· Updated:

Để dùng proxy trong Python requests, hãy truyền một dict proxies có cả hai key 'http' và 'https' cùng trỏ tới http://user:pass@ip:port. Gán dict đó vào một requests.Session() để tái sử dụng cùng một kết nối tới proxy cho mọi lệnh gọi, giúp tăng tốc độ so với việc mở kết nối mới ở mỗi request. Dưới đây là cấu hình dict, session, các lỗi thường gặp và lệnh một dòng để kiểm tra IP đầu ra của ProxyV4.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
IPv4 riêng tư (datacenter)
🇺🇸 Hoa Kỳ
Còn hàng
Từ
1,10 US$ / IP / tháng
Chiết khấu theo số lượng
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Mua Hoa Kỳ
IPv4 riêng tư (datacenter)
🇻🇳 Việt Nam
Còn hàng
Từ
1,10 US$ / IP / tháng
Chiết khấu theo số lượng
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Mua Việt Nam

Giải thích về dict proxies

Cài đặtGiá trịLý do
'http' key'http://user:pass@ip:port'Dùng cho các URL http:// thông thường
'https' key'http://user:pass@ip:port'Vẫn là URL proxy http://: urllib3 yêu cầu proxy tạo tunnel CONNECT và chạy TLS bên trong tunnel đó
timeouttimeout=(5, 15)5 giây kết nối, 15 giây đọc dữ liệu để mục tiêu không phản hồi không làm treo luồng
Rotationitertools.cycle(proxy_list)Phân bổ lần lượt các IP tĩnh của bạn

Vì sao Session tối ưu hơn requests.get() thông thường

Mỗi lệnh gọi requests.get() cấp cao nhất đều khởi tạo một connection pool mới, do đó kết nối TCP tới proxy và quá trình bắt tay TLS với trang web phải lặp lại mỗi lần. Một Session sẽ duy trì các kết nối đó giữa những lần gọi. Với script thu thập dữ liệu hàng trăm trang qua một IP, sự khác biệt này thể hiện rõ rệt ở tổng thời gian chạy.

Chỉ cần thiết lập s.proxies.update(proxies) một lần và mọi s.get(), s.post() đều sẽ đi qua proxy. Lưu ý: nếu HTTP_PROXY hoặc HTTPS_PROXY được đặt trong biến môi trường, requests có thể gộp chúng với cài đặt của session; hãy truyền trực tiếp proxies= trong chính lệnh gọi khi bạn muốn chắc chắn proxy nào đang được sử dụng.

Các mã lỗi và cách xử lý

  • ProxyError kèm 407 Proxy Authentication Required: proxy vẫn kết nối được nhưng thông tin đăng nhập trong URL không khớp với đơn hàng. Xem trang lỗi 407
  • Mật khẩu chứa @, : hoặc / sẽ làm hỏng định dạng URL; hãy mã hóa chúng trước bằng urllib.parse.quote(password, safe='')
  • Đổi URL proxy sang https:// thường làm mất kết nối; hãy giữ http:// cho cả hai key trừ khi cổng proxy của bạn được cấu hình riêng làm cổng TLS
  • ConnectTimeout cho thấy vấn đề ở IP hoặc port, không phải do thông tin xác thực; hãy kiểm tra khả năng kết nối bằng công cụ kiểm tra port

Áp dụng tương tự cho httpx và aiohttp

Định dạng URL vẫn được giữ nguyên. Trong httpx, hãy tạo httpx.Client(proxy='http://user:pass@ip:port'); trong aiohttp, truyền proxy= vào session.get(url, proxy=...). Các tác vụ crawl quy mô lớn hơn cần lên lịch và thử lại thường dễ triển khai hơn với Scrapy.

Từng bước thực hiện

  1. 1

    Tạo URL proxy

    Chuyển từng dòng ip:port:user:pass của ProxyV4 thành http://user:pass@ip:port, hoặc chuyển đổi toàn bộ danh sách bằng công cụ chuyển đổi định dạng proxy.

  2. 2

    Tạo dict

    Khai báo proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Gắn vào Session

    Tạo s = requests.Session() và gọi s.proxies.update(proxies) để duy trì kết nối giữa các request.

  4. 4

    In IP đầu ra

    Chạy print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP trong kết quả trả về phải là IP của proxy.

Câu hỏi thường gặp

Vì sao mục 'https' lại dùng URL http://?

Giao thức ở đây mô tả cách Python kết nối tới proxy, không phải tới trang web. urllib3 kết nối tới proxy qua HTTP thông thường, gửi lệnh CONNECT, sau đó thực hiện bắt tay TLS với trang web https:// qua tunnel đó, do vậy lưu lượng truy cập trang web vẫn được mã hóa hoàn toàn.

Làm cách nào để phân bổ request qua 25 proxy tĩnh?

Đặt 25 URL vào một danh sách, tạo pool = itertools.cycle(PROXIES), và với mỗi request lấy p = next(pool) rồi truyền proxies={'http': p, 'https': p}. Hãy duy trì khoảng chờ hợp lý giữa các lần gọi trên mỗi IP để tránh quá tải cho bất kỳ địa chỉ nào.

Lưu lượng truy cập từ script Python có bị tính dung lượng không?

Không. Các gói IPv4 riêng tư và ISP tĩnh của ProxyV4 đi kèm băng thông không giới hạn, giúp các script chạy dài hạn không bao giờ bị giới hạn dung lượng.

Nguồn tham khảo

Hệ thống IP tĩnh dành cho script Python

IPv4 riêng tư tại 7 quốc gia cùng ISP tĩnh ở Mỹ và Việt Nam. Mua từng IP đơn lẻ hoặc số lượng lớn; giá mỗi IP càng giảm khi mua nhiều.

Xem bảng giá Mỹ trực tiếp

Related articles

Proxy theo nền tảng
Proxy cào dữ liệu web: dải IP cố định với lưu lượng không giới hạn
Proxy cào web cho Python, Scrapy, Playwright và Selenium: dải IPv4 riêng tư và ISP tĩnh, băng thông không giới hạn, giá trọn gói cố định theo từng IP.
Cài đặt proxy
Xác thực proxy Playwright, một IP tĩnh cho mỗi context
Gán proxy HTTP(S) xác thực riêng cho từng context Playwright trong Node.js hoặc Python, đồng bộ múi giờ, ngôn ngữ theo IP và kiểm tra địa chỉ IP đầu ra.
Cài đặt proxy
Proxy cho Scrapy: meta['proxy'], thứ tự middleware và xoay IP
Dùng proxy HTTP(S) có xác thực trong Scrapy: đặt request.meta['proxy'], xếp middleware trước HttpProxyMiddleware (750), xoay IP và kiểm soát tốc độ crawl.
Công cụ miễn phí
Chuyển danh sách proxy sang định dạng công cụ của bạn yêu cầu
Chuyển đổi hàng loạt danh sách proxy trên trình duyệt giữa ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, mảng JSON và file import FoxyProxy.
Proxy theo nền tảng
Proxy theo dõi thứ hạng SEO: xem trang kết quả chính xác như người dùng bản địa
Proxy theo dõi thứ hạng SEO với IPv4 riêng tại Mỹ, Anh, Việt Nam, Nhật Bản và 4 thị trường khác, giúp thứ hạng, local pack và quảng cáo chuẩn như người bản xứ.
Proxy theo nền tảng
Proxy Amazon Seller mang lại địa chỉ cố định cho từng tài khoản
Proxy Amazon Seller cho Seller Central, KDP và Merch: IP tĩnh ISP Mỹ hoặc IPv4 riêng UK/Nhật cho từng tài khoản, dùng riêng và giữ nguyên IP khi gia hạn.
IPV4 · united states
Hệ thống Proxy IPv4 riêng Mỹ cho thu thập dữ liệu, theo dõi thứ hạng và kiểm tra quảng cáo
Mua proxy IPv4 riêng Mỹ: IP datacenter tĩnh, 1 khách mỗi IP, băng thông không giới hạn. Dành cho cào dữ liệu, theo dõi thứ hạng SERP và duyệt quảng cáo Mỹ.
IPV4 · vietnam
Proxy IPv4 riêng Việt Nam: Một IP cố định cho mỗi tài khoản với số lượng lớn
Proxy IPv4 riêng Việt Nam: IP datacenter Việt Nam tĩnh, riêng cho từng khách, giá sỉ tối ưu. Dành cho profile seeding, shop Shopee phụ và công cụ tự động.