Selenium WebDriver и прокси с авторизацией: рабочие решения
От инженерной команды ProxyV4 · Updated:
Авторизация прокси в Selenium требует обходных путей, так как флаг ChromeDriver --proxy-server=http://ip:port не поддерживает передачу логина и пароля: Chrome отбрасывает встроенные user:pass и открывает окно входа, которое WebDriver не может заполнить. Два надежных решения — использовать selenium-wire, который берет на себя авторизацию в ProxyV4 на Python, или небольшое расширение для Chrome, обрабатывающее onAuthRequired на любом поддерживаемом Selenium языке.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 $
- От 3 IP1,70 $
- От 10 IP1,60 $
- От 25 IP1,50 $
- От 50 IP1,40 $
- От 100 IP1,30 $
- От 200 IP1,20 $
- От 500 IP1,10 $
- 1 IP2,25 $
- От 3 IP2,10 $
- От 10 IP2,00 $
- От 25 IP1,90 $
- От 50 IP1,80 $
- От 100 IP1,70 $
- От 200 IP1,60 $
- От 500 IP1,50 $
Сравнение вариантов
| Метод | Способ настройки | Когда подходит |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Самый быстрый способ в Python; прокси можно менять прямо во время работы браузера |
| Расширение с авторизацией | ZIP-архив с расширением, фоновый скрипт которого обрабатывает chrome.webRequest.onAuthRequired | Одинаково хорошо подходит для Java, C#, Python и undetected-chromedriver |
| Переход на Playwright | browser.newContext({ proxy: { server, username, password } }) | Для новых проектов: встроенная авторизация прокси без дополнительных расширений |
Что происходит при использовании обычного --proxy-server
Chrome принимает адрес прокси из командной строки, но игнорирует указанные в нем учетные данные. Когда прокси возвращает 407, Chrome открывает системное окно авторизации. Это окно находится вне DOM страницы, поэтому find_element не может получить к нему доступ, и скрипт ожидает ответа до истечения таймаута. Поэтому все рабочие методы передают учетные данные в обход этого флага.
Обратите внимание, что библиотека selenium-wire больше активно не поддерживается. Она по-прежнему работает во многих конфигурациях, однако для долгосрочных проектов надежнее использовать расширение или Playwright.
Оптимизация работы Selenium через прокси
- Укажите
options.page_load_strategy = 'eager', чтобы скрипт продолжал работу сразу после готовности DOM, не дожидаясь загрузки медленных сторонних скриптов - Для работы в headless-режиме в Chrome 109 и новее используйте
--headless=new: расширения, включая расширение для авторизации, работают так же, как и в обычном окне - Отключите загрузку изображений в настройках Chrome, если вам нужны только текстовые данные, такие как цены или заголовки
- Поместите
driver.quit()в блокtry / finally, чтобы в случае сбоя не оставалось зависших процессов Chrome
Перед масштабированием
Каждая сессия WebDriver — это полноценный браузер, поэтому назначьте каждой сессии отдельный IP, если сайт связывает аккаунты по адресу. Индивидуальный IPv4 от ProxyV4 предоставляется в одни руки и сохраняет адрес при продлении, что позволяет оставлять долгосрочные тестовые аккаунты на одном и том же IP. Сначала проверьте новые прокси через прокси-чекер, чтобы сбой на линии не отображался как сбивающий с толку таймаут Selenium.
Если при запуске страницы по-прежнему открываются с собственного IP сервера или выполнение останавливается из-за ошибки туннеля, в посвященном Selenium разделе страницы прокси не работают приведены типичные причины по порядку.
Пошаговые инструкции
- 1
Установите selenium-wire
В виртуальном окружении выполните команду
pip install selenium-wire. - 2
Задайте параметры прокси
Сформируйте
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}, подставив данные из вашего заказа ProxyV4. - 3
Запустите Chrome с этими параметрами
Инициализируйте драйвер с помощью
driver = webdriver.Chrome(seleniumwire_options=sw_options), импортировавwebdriverизseleniumwire. - 4
Проверьте выходной IP
Вызовите
driver.get('https://proxyv4.com/api/my-ip')и убедитесь, что страница отображает IP-адрес прокси.
Часто задаваемые вопросы
Почему параметр --proxy-server=http://user:pass@ip:port игнорируется в ChromeOptions?
Chrome намеренно вырезает учетные данные из значения --proxy-server. Передавайте их через selenium-wire, расширение с onAuthRequired или перейдите на Playwright, который принимает логин и пароль напрямую.
Может ли selenium-wire сменить прокси без перезапуска браузера?
Да. Присвойте новый словарь: driver.proxy = {'http': 'http://...', 'https': 'http://...'}, и последующие запросы пойдут через новый прокси.
Работает ли расширение для авторизации в headless-режиме Chrome?
Да, с флагом --headless=new. Старый режим --headless загружал расширения иначе.
В Selenium каждая страница через прокси падает по таймауту. Что делать?
Выполните запрос к эндпоинту проверки IP через curl с теми же учетными данными. Если curl тоже завершается ошибкой, дело в линии или порте; подробные инструкции есть в руководстве по таймаутам прокси.
Источники
Стабильные IP для сессий в Selenium
Индивидуальные IPv4 в 7 странах и статические ISP в США и Вьетнаме, с логином и паролем, безлимитным трафиком и выдачей строго в одни руки.
Посмотреть актуальные цены в США