Пошаговая настройка Python requests через прокси с авторизацией
От инженерной команды ProxyV4 · Updated:
Чтобы использовать прокси в Python requests, передайте словарь proxies, где ключи 'http' и 'https' указывают на http://user:pass@ip:port. Передайте этот словарь в requests.Session(), и одно соединение с прокси будет повторно использоваться для каждого запроса, что быстрее открытия нового на каждый вызов. Ниже: структура словаря, работа с сессией, частые ошибки и однострочная проверка выходного IP ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 $
- От 3 IP1,70 $
- От 10 IP1,60 $
- От 25 IP1,50 $
- От 50 IP1,40 $
- От 100 IP1,30 $
- От 200 IP1,20 $
- От 500 IP1,10 $
- 1 IP1,85 $
- От 3 IP1,70 $
- От 10 IP1,60 $
- От 25 IP1,50 $
- От 50 IP1,40 $
- От 100 IP1,30 $
- От 200 IP1,20 $
- От 500 IP1,10 $
Как устроен словарь proxies
| Параметр | Значение | Назначение |
|---|---|---|
Ключ 'http' | 'http://user:pass@ip:port' | Используется для обычных http:// URL |
Ключ 'https' | 'http://user:pass@ip:port' | Все еще URL прокси с http://: urllib3 запрашивает у прокси туннель CONNECT и запускает TLS внутри него |
timeout | timeout=(5, 15) | 5 с на подключение, 15 с на чтение, чтобы недоступный ресурс не вешал поток |
| Ротация | itertools.cycle(proxy_list) | По очереди выдает ваши статические IP |
Почему Session лучше обычного requests.get()
Каждый вызов requests.get() верхнего уровня создает новый пул соединений, поэтому TCP-соединение с прокси и TLS-рукопожатие с сайтом повторяются каждый раз. Session сохраняет эти соединения активными между вызовами. Для скрипта, который запрашивает сотни страниц через один IP, эта разница ощутимо влияет на общее время работы.
Задайте s.proxies.update(proxies) один раз, и каждый вызов s.get() и s.post() пойдет через прокси. Важный нюанс: если в переменных окружения заданы HTTP_PROXY или HTTPS_PROXY, requests может объединить их с настройками сессии; передавайте proxies= напрямую в вызов функции, когда нужно точно контролировать используемый прокси.
Ошибки и способы их устранения
ProxyErrorс407 Proxy Authentication Required: прокси доступен, но логин и пароль в URL не соответствуют заказу. См. страницу ошибки 407- Пароли с символами
@,:или/ломают URL; предварительно закодируйте их с помощьюurllib.parse.quote(password, safe='') - Смена протокола прокси на
https://обычно приводит к сбою подключения; оставляйтеhttp://для обоих ключей, если только порт прокси не настроен явно под TLS ConnectTimeoutуказывает на проблему с IP или портом, а не с учетными данными; проверьте доступность через сканер портов
Тот же подход в httpx и aiohttp
Формат URL сохраняется. В httpx используйте httpx.Client(proxy='http://user:pass@ip:port'), а в aiohttp передавайте параметр proxy= в session.get(url, proxy=...). Для масштабного парсинга с планированием задач и повторными попытками удобнее использовать Scrapy.
Пошаговые инструкции
- 1
Сформируйте URL прокси
Перепишите каждую строку формата
ip:port:user:passот ProxyV4 в видеhttp://user:pass@ip:portили преобразуйте весь список с помощью конвертера форматов прокси. - 2
Создайте словарь
Задайте
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Привяжите его к Session
Создайте сессию
s = requests.Session()и вызовитеs.proxies.update(proxies), чтобы соединения оставались активными между запросами. - 4
Выведите выходной IP
Выполните
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()): в ответе должен отобразиться IP-адрес прокси.
Часто задаваемые вопросы
Почему в поле 'https' указан URL с http://?
Схема указывает протокол взаимодействия Python с прокси, а не с целевым сайтом. Библиотека urllib3 подключается к прокси по обычному HTTP, отправляет запрос CONNECT и уже через этот туннель устанавливает TLS-соединение с сайтом https://, поэтому весь трафик страницы остается зашифрованным.
Как распределить запросы между 25 статическими прокси?
Поместите 25 URL в список, создайте pool = itertools.cycle(PROXIES) и для каждого запроса берите p = next(pool), передавая proxies={'http': p, 'https': p}. Делайте разумную задержку для каждого IP, чтобы не перегружать отдельные адреса.
Учитывается ли объем трафика для скриптов на Python?
Нет. Тарифы ProxyV4 с приватными IPv4 и статическими ISP-прокси включают безлимитный трафик, поэтому длительные скрипты не столкнутся с лимитами по объему данных.
Источники
Пул статических IP для скриптов на Python
Приватные IPv4 в 7 странах и статические ISP в США и Вьетнаме. Покупка поштучно или пакетом; цена за IP снижается при увеличении объема.
Узнать актуальные цены в США