ProxyV4

Selenium WebDriver и прокси с авторизацией: рабочие решения

· Updated:

Авторизация прокси в Selenium требует обходных путей, так как флаг ChromeDriver --proxy-server=http://ip:port не поддерживает передачу логина и пароля: Chrome отбрасывает встроенные user:pass и открывает окно входа, которое WebDriver не может заполнить. Два надежных решения — использовать selenium-wire, который берет на себя авторизацию в ProxyV4 на Python, или небольшое расширение для Chrome, обрабатывающее onAuthRequired на любом поддерживаемом Selenium языке.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Приватные IPv4 (серверные)
🇺🇸 США
В наличии
От
1,10 $ / IP / мес.
Скидки за объем
  • 1 IP1,85 $
  • От 3 IP1,70 $
  • От 10 IP1,60 $
  • От 25 IP1,50 $
  • От 50 IP1,40 $
  • От 100 IP1,30 $
  • От 200 IP1,20 $
  • От 500 IP1,10 $
Купить: США
Статические резидентские ISP
🇺🇸 США
В наличии
От
1,50 $ / IP / мес.
Скидки за объем
  • 1 IP2,25 $
  • От 3 IP2,10 $
  • От 10 IP2,00 $
  • От 25 IP1,90 $
  • От 50 IP1,80 $
  • От 100 IP1,70 $
  • От 200 IP1,60 $
  • От 500 IP1,50 $
Купить: США
Прокси по платформам:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Сравнение вариантов

МетодСпособ настройкиКогда подходит
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Самый быстрый способ в Python; прокси можно менять прямо во время работы браузера
Расширение с авторизациейZIP-архив с расширением, фоновый скрипт которого обрабатывает chrome.webRequest.onAuthRequiredОдинаково хорошо подходит для Java, C#, Python и undetected-chromedriver
Переход на Playwrightbrowser.newContext({ proxy: { server, username, password } })Для новых проектов: встроенная авторизация прокси без дополнительных расширений

Что происходит при использовании обычного --proxy-server

Chrome принимает адрес прокси из командной строки, но игнорирует указанные в нем учетные данные. Когда прокси возвращает 407, Chrome открывает системное окно авторизации. Это окно находится вне DOM страницы, поэтому find_element не может получить к нему доступ, и скрипт ожидает ответа до истечения таймаута. Поэтому все рабочие методы передают учетные данные в обход этого флага.

Обратите внимание, что библиотека selenium-wire больше активно не поддерживается. Она по-прежнему работает во многих конфигурациях, однако для долгосрочных проектов надежнее использовать расширение или Playwright.

Оптимизация работы Selenium через прокси

  • Укажите options.page_load_strategy = 'eager', чтобы скрипт продолжал работу сразу после готовности DOM, не дожидаясь загрузки медленных сторонних скриптов
  • Для работы в headless-режиме в Chrome 109 и новее используйте --headless=new: расширения, включая расширение для авторизации, работают так же, как и в обычном окне
  • Отключите загрузку изображений в настройках Chrome, если вам нужны только текстовые данные, такие как цены или заголовки
  • Поместите driver.quit() в блок try / finally, чтобы в случае сбоя не оставалось зависших процессов Chrome

Перед масштабированием

Каждая сессия WebDriver — это полноценный браузер, поэтому назначьте каждой сессии отдельный IP, если сайт связывает аккаунты по адресу. Индивидуальный IPv4 от ProxyV4 предоставляется в одни руки и сохраняет адрес при продлении, что позволяет оставлять долгосрочные тестовые аккаунты на одном и том же IP. Сначала проверьте новые прокси через прокси-чекер, чтобы сбой на линии не отображался как сбивающий с толку таймаут Selenium.

Если при запуске страницы по-прежнему открываются с собственного IP сервера или выполнение останавливается из-за ошибки туннеля, в посвященном Selenium разделе страницы прокси не работают приведены типичные причины по порядку.

Пошаговые инструкции

  1. 1

    Установите selenium-wire

    В виртуальном окружении выполните команду pip install selenium-wire.

  2. 2

    Задайте параметры прокси

    Сформируйте sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}, подставив данные из вашего заказа ProxyV4.

  3. 3

    Запустите Chrome с этими параметрами

    Инициализируйте драйвер с помощью driver = webdriver.Chrome(seleniumwire_options=sw_options), импортировав webdriver из seleniumwire.

  4. 4

    Проверьте выходной IP

    Вызовите driver.get('https://proxyv4.com/api/my-ip') и убедитесь, что страница отображает IP-адрес прокси.

Часто задаваемые вопросы

Почему параметр --proxy-server=http://user:pass@ip:port игнорируется в ChromeOptions?

Chrome намеренно вырезает учетные данные из значения --proxy-server. Передавайте их через selenium-wire, расширение с onAuthRequired или перейдите на Playwright, который принимает логин и пароль напрямую.

Может ли selenium-wire сменить прокси без перезапуска браузера?

Да. Присвойте новый словарь: driver.proxy = {'http': 'http://...', 'https': 'http://...'}, и последующие запросы пойдут через новый прокси.

Работает ли расширение для авторизации в headless-режиме Chrome?

Да, с флагом --headless=new. Старый режим --headless загружал расширения иначе.

В Selenium каждая страница через прокси падает по таймауту. Что делать?

Выполните запрос к эндпоинту проверки IP через curl с теми же учетными данными. Если curl тоже завершается ошибкой, дело в линии или порте; подробные инструкции есть в руководстве по таймаутам прокси.

Источники

Стабильные IP для сессий в Selenium

Индивидуальные IPv4 в 7 странах и статические ISP в США и Вьетнаме, с логином и паролем, безлимитным трафиком и выдачей строго в одни руки.

Посмотреть актуальные цены в США

Related articles

Прокси по платформам
Прокси для парсинга: фиксированный пул IP с безлимитным трафиком
Прокси для парсинга на Python, Scrapy, Playwright и Selenium: пул приватных IPv4 и статических ISP-адресов, безлимитный трафик, фиксированная оплата за IP.
Настройка прокси
Авторизация прокси в Playwright: отдельный статический IP на контекст
Настройте свой HTTP(S)-прокси с авторизацией для каждого контекста Playwright в Node.js или Python, задайте таймзону и локаль под IP и проверьте внешний адрес.
Настройка прокси
Пошаговая настройка Python requests через прокси с авторизацией
Отправляйте запросы в Python через HTTP(S)-прокси с авторизацией: словарь proxies, привязка к Session, экранирование паролей, перебор списка и проверка IP.
Настройка прокси
Puppeteer с прокси с авторизацией: флаг запуска и логин
Авторизация прокси в Puppeteer: рабочий пример с --proxy-server для адреса и page.authenticate() для логина, а также SOCKS5, контексты и исправление ошибок.
Прокси по платформам
Прокси для отслеживания позиций в SEO: смотрите выдачу глазами местных пользователей
SEO-прокси с приватными IPv4 в США, Британии, Вьетнаме, Японии и еще 4 странах. Позиции, локальная выдача и реклама в точности такие, как видят местные жители.
Прокси по платформам
Прокси для Amazon, которые дают каждому аккаунту постоянный адрес
Прокси для Amazon Seller Central, KDP и Merch: статический ISP США или приватный IPv4 Великобритании/Японии на аккаунт. В одни руки, сохраняются при продлении.
IPV4 · united states
Пул приватных IPv4-прокси США для парсинга, отслеживания позиций и проверки рекламы
Купите приватные IPv4-прокси США: статические серверные IP дата-центров, один клиент на IP, безлимитный трафик. Для парсинга, SERP и проверки рекламы в США.
ISP · united states
Статические ISP-прокси США: неизменный резидентный IP для постоянной работы
Статические ISP-прокси США на IP домашних интернет-провайдеров. Один постоянный IP на аккаунт для продавцов Amazon, рекламных кабинетов и Instagram.