ProxyV4

Пошаговая настройка Python requests через прокси с авторизацией

· Updated:

Чтобы использовать прокси в Python requests, передайте словарь proxies, где ключи 'http' и 'https' указывают на http://user:pass@ip:port. Передайте этот словарь в requests.Session(), и одно соединение с прокси будет повторно использоваться для каждого запроса, что быстрее открытия нового на каждый вызов. Ниже: структура словаря, работа с сессией, частые ошибки и однострочная проверка выходного IP ProxyV4.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Приватные IPv4 (серверные)
🇺🇸 США
В наличии
От
1,10 $ / IP / мес.
Скидки за объем
  • 1 IP1,85 $
  • От 3 IP1,70 $
  • От 10 IP1,60 $
  • От 25 IP1,50 $
  • От 50 IP1,40 $
  • От 100 IP1,30 $
  • От 200 IP1,20 $
  • От 500 IP1,10 $
Купить: США
Приватные IPv4 (серверные)
🇻🇳 Вьетнам
В наличии
От
1,10 $ / IP / мес.
Скидки за объем
  • 1 IP1,85 $
  • От 3 IP1,70 $
  • От 10 IP1,60 $
  • От 25 IP1,50 $
  • От 50 IP1,40 $
  • От 100 IP1,30 $
  • От 200 IP1,20 $
  • От 500 IP1,10 $
Купить: Вьетнам
Прокси по платформам:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Как устроен словарь proxies

ПараметрЗначениеНазначение
Ключ 'http''http://user:pass@ip:port'Используется для обычных http:// URL
Ключ 'https''http://user:pass@ip:port'Все еще URL прокси с http://: urllib3 запрашивает у прокси туннель CONNECT и запускает TLS внутри него
timeouttimeout=(5, 15)5 с на подключение, 15 с на чтение, чтобы недоступный ресурс не вешал поток
Ротацияitertools.cycle(proxy_list)По очереди выдает ваши статические IP

Почему Session лучше обычного requests.get()

Каждый вызов requests.get() верхнего уровня создает новый пул соединений, поэтому TCP-соединение с прокси и TLS-рукопожатие с сайтом повторяются каждый раз. Session сохраняет эти соединения активными между вызовами. Для скрипта, который запрашивает сотни страниц через один IP, эта разница ощутимо влияет на общее время работы.

Задайте s.proxies.update(proxies) один раз, и каждый вызов s.get() и s.post() пойдет через прокси. Важный нюанс: если в переменных окружения заданы HTTP_PROXY или HTTPS_PROXY, requests может объединить их с настройками сессии; передавайте proxies= напрямую в вызов функции, когда нужно точно контролировать используемый прокси.

Ошибки и способы их устранения

  • ProxyError с 407 Proxy Authentication Required: прокси доступен, но логин и пароль в URL не соответствуют заказу. См. страницу ошибки 407
  • Пароли с символами @, : или / ломают URL; предварительно закодируйте их с помощью urllib.parse.quote(password, safe='')
  • Смена протокола прокси на https:// обычно приводит к сбою подключения; оставляйте http:// для обоих ключей, если только порт прокси не настроен явно под TLS
  • ConnectTimeout указывает на проблему с IP или портом, а не с учетными данными; проверьте доступность через сканер портов

Тот же подход в httpx и aiohttp

Формат URL сохраняется. В httpx используйте httpx.Client(proxy='http://user:pass@ip:port'), а в aiohttp передавайте параметр proxy= в session.get(url, proxy=...). Для масштабного парсинга с планированием задач и повторными попытками удобнее использовать Scrapy.

Пошаговые инструкции

  1. 1

    Сформируйте URL прокси

    Перепишите каждую строку формата ip:port:user:pass от ProxyV4 в виде http://user:pass@ip:port или преобразуйте весь список с помощью конвертера форматов прокси.

  2. 2

    Создайте словарь

    Задайте proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Привяжите его к Session

    Создайте сессию s = requests.Session() и вызовите s.proxies.update(proxies), чтобы соединения оставались активными между запросами.

  4. 4

    Выведите выходной IP

    Выполните print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()): в ответе должен отобразиться IP-адрес прокси.

Часто задаваемые вопросы

Почему в поле 'https' указан URL с http://?

Схема указывает протокол взаимодействия Python с прокси, а не с целевым сайтом. Библиотека urllib3 подключается к прокси по обычному HTTP, отправляет запрос CONNECT и уже через этот туннель устанавливает TLS-соединение с сайтом https://, поэтому весь трафик страницы остается зашифрованным.

Как распределить запросы между 25 статическими прокси?

Поместите 25 URL в список, создайте pool = itertools.cycle(PROXIES) и для каждого запроса берите p = next(pool), передавая proxies={'http': p, 'https': p}. Делайте разумную задержку для каждого IP, чтобы не перегружать отдельные адреса.

Учитывается ли объем трафика для скриптов на Python?

Нет. Тарифы ProxyV4 с приватными IPv4 и статическими ISP-прокси включают безлимитный трафик, поэтому длительные скрипты не столкнутся с лимитами по объему данных.

Источники

Пул статических IP для скриптов на Python

Приватные IPv4 в 7 странах и статические ISP в США и Вьетнаме. Покупка поштучно или пакетом; цена за IP снижается при увеличении объема.

Узнать актуальные цены в США

Related articles

Прокси по платформам
Прокси для парсинга: фиксированный пул IP с безлимитным трафиком
Прокси для парсинга на Python, Scrapy, Playwright и Selenium: пул приватных IPv4 и статических ISP-адресов, безлимитный трафик, фиксированная оплата за IP.
Настройка прокси
Авторизация прокси в Playwright: отдельный статический IP на контекст
Настройте свой HTTP(S)-прокси с авторизацией для каждого контекста Playwright в Node.js или Python, задайте таймзону и локаль под IP и проверьте внешний адрес.
Настройка прокси
Прокси в Scrapy: meta['proxy'], порядок middleware и ротация
Используйте HTTP(S)-прокси с авторизацией в Scrapy: задайте request.meta['proxy'], порядок до HttpProxyMiddleware (750), ротация IP и контроль частоты.
Бесплатные инструменты
Преобразуйте список прокси в нужный формат для вашей программы
Массово конвертируйте списки прокси в браузере: ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, массивы JSON и файлы импорта для FoxyProxy.
Прокси по платформам
Прокси для отслеживания позиций в SEO: смотрите выдачу глазами местных пользователей
SEO-прокси с приватными IPv4 в США, Британии, Вьетнаме, Японии и еще 4 странах. Позиции, локальная выдача и реклама в точности такие, как видят местные жители.
Прокси по платформам
Прокси для Amazon, которые дают каждому аккаунту постоянный адрес
Прокси для Amazon Seller Central, KDP и Merch: статический ISP США или приватный IPv4 Великобритании/Японии на аккаунт. В одни руки, сохраняются при продлении.
IPV4 · united states
Пул приватных IPv4-прокси США для парсинга, отслеживания позиций и проверки рекламы
Купите приватные IPv4-прокси США: статические серверные IP дата-центров, один клиент на IP, безлимитный трафик. Для парсинга, SERP и проверки рекламы в США.
IPV4 · vietnam
Приватные IPv4-прокси Вьетнама: один постоянный IP на аккаунт при оптовых объемах
Приватные IPv4-прокси Вьетнама: статические серверные IP в одни руки с выгодной ценой на объеме. Для прогрева профилей, вторых магазинов Shopee и софта.