Selenium WebDriver та проксі з авторизацією: що працює
Від інженерної команди ProxyV4 · Updated:
Для авторизації проксі в Selenium потрібне обхідне рішення, оскільки прапорець --proxy-server=http://ip:port у ChromeDriver не підтримує логін і пароль; Chrome відкидає вбудований user:pass і показує діалогове вікно входу, яке WebDriver не може заповнити. Двома надійними рішеннями є selenium-wire, що забезпечує авторизацію в ProxyV4 на Python, та невелике розширення для Chrome, яке обробляє onAuthRequired у будь-якій мові для Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 USD
- Від 3 IP1,70 USD
- Від 10 IP1,60 USD
- Від 25 IP1,50 USD
- Від 50 IP1,40 USD
- Від 100 IP1,30 USD
- Від 200 IP1,20 USD
- Від 500 IP1,10 USD
- 1 IP2,25 USD
- Від 3 IP2,10 USD
- Від 10 IP2,00 USD
- Від 25 IP1,90 USD
- Від 50 IP1,80 USD
- Від 100 IP1,70 USD
- Від 200 IP1,60 USD
- Від 500 IP1,50 USD
Порівняння варіантів
| Метод | Як налаштувати | Для чого підходить |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Найшвидший спосіб у Python; проксі можна змінювати прямо під час роботи браузера |
| Auth extension | ZIP-архів розширення, чий фоновий скрипт обробляє chrome.webRequest.onAuthRequired | Однаково для Java, C#, Python та undetected-chromedriver |
| Move to Playwright | browser.newContext({ proxy: { server, username, password } }) | Нові проєкти; вхід через проксі вбудований, без розширень |
Що відбувається зі звичайним --proxy-server
Chrome бере адресу проксі з командного рядка, але ігнорує будь-які зазначені в ній облікові дані. Коли проксі повертає відповідь 407, Chrome відкриває системне вікно входу. Це вікно розташоване за межами DOM сторінки, тому find_element його не бачить, і скрипт чекає до вичерпання таймауту. Через це кожен робочий метод передає облікові дані в інший спосіб, а не через цей прапорець.
Зверніть увагу, що selenium-wire більше не підтримується активно. Він усе ще працює для багатьох конфігурацій, але для довгострокових проєктів надійнішим вибором є підхід із розширенням або Playwright.
Як зберегти ефективність роботи Selenium через проксі
- Встановіть
options.page_load_strategy = 'eager', щоб скрипт продовжував виконання одразу після готовності DOM, а не очікував на повільні сторонні скрипти - Для запусків у фоновому режимі (headless) у Chrome 109 або новіших версіях використовуйте
--headless=new; розширення, зокрема модуль авторизації, працюватимуть як у звичайному вікні - Вимкніть завантаження зображень у налаштуваннях Chrome, якщо вам потрібен лише текст, наприклад ціни чи заголовки
- Помістіть
driver.quit()у блокtry / finally, щоб у разі аварійного завершення не залишалися процеси Chrome
Перед масштабуванням
Кожна сесія WebDriver — це повноцінний браузер, тому призначайте кожній сесії окремий IP, якщо сайт пов'язує акаунти за адресою. Приватний IPv4 від ProxyV4 надається в оренду одному клієнту та зберігає свою адресу при продовженні, що дає змогу тримати довгострокові тестові акаунти на одному IP. Спершу перевірте нові проксі через проксі-чекер, щоб проблемна лінія не відображалася як незрозумілий таймаут Selenium.
Якщо запуск усе одно відкриває сторінки з власного IP сервера або зупиняється через помилку тунелювання, у розділі Selenium статті проксі не працює перелічено типові причини за порядком.
Покрокова інструкція
- 1
Встановіть selenium-wire
У вашому віртуальному середовищі виконайте
pip install selenium-wire. - 2
Опишіть проксі
Сформуйте
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}на основі вашого замовлення ProxyV4. - 3
Запустіть Chrome із цими параметрами
Створіть драйвер за допомогою
driver = webdriver.Chrome(seleniumwire_options=sw_options), імпортувавшиwebdriverізseleniumwire. - 4
Перевірте вихідний IP
Викличте
driver.get('https://proxyv4.com/api/my-ip')і переконайтеся, що на сторінці відображається адреса проксі.
Часті запитання
Чому --proxy-server=http://user:pass@ip:port ігнорується в ChromeOptions?
Chrome видаляє облікові дані зі значення --proxy-server за замовчуванням. Передавайте їх через selenium-wire, розширення з onAuthRequired або перейдіть на Playwright, який приймає логін і пароль безпосередньо.
Чи може selenium-wire змінити проксі без перезапуску браузера?
Так. Призначте новий словник driver.proxy = {'http': 'http://...', 'https': 'http://...'}, і наступні запити підуть через новий вихідний проксі.
Чи працює розширення авторизації у headless Chrome?
Так, із прапорцем --headless=new. Старий режим --headless завантажував розширення інакше.
У Selenium виникає таймаут на кожній сторінці через проксі. Що робити далі?
Зробіть запит до ендпойнта визначення IP через cURL з тими самими обліковими даними. Якщо cURL також видає помилку, проблема в лінії чи порті; у proxy timeout guide перелічено, що слід перевірити.
Джерела
Стабільні IP для сесій Selenium
Приватні IPv4 у 7 країнах та статичні ISP у США та В'єтнамі: логін і пароль, безлімітний трафік та один клієнт на IP.
Перевірити актуальні ціни в США