Selenium WebDriver и проксита с автентикация: кое работи
От инженерния екип на ProxyV4 · Updated:
Автентикацията на Selenium прокси изисква заобиколно решение, тъй като флагът на ChromeDriver --proxy-server=http://ip:port не може да предава потребителско име и парола; Chrome премахва подадените user:pass и показва диалогов прозорец за вход, който WebDriver не може да попълни. Двете надеждни решения са selenium-wire, който управлява входа в ProxyV4 в Python, и малко разширение за Chrome, отговарящо на onAuthRequired на всеки поддържан от Selenium език.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 щ.д.
- 3+ IP адреса1,70 щ.д.
- 10+ IP адреса1,60 щ.д.
- 25+ IP адреса1,50 щ.д.
- 50+ IP адреса1,40 щ.д.
- 100+ IP адреса1,30 щ.д.
- 200+ IP адреса1,20 щ.д.
- 500+ IP адреса1,10 щ.д.
- 1 IP2,25 щ.д.
- 3+ IP адреса2,10 щ.д.
- 10+ IP адреса2,00 щ.д.
- 25+ IP адреса1,90 щ.д.
- 50+ IP адреса1,80 щ.д.
- 100+ IP адреса1,70 щ.д.
- 200+ IP адреса1,60 щ.д.
- 500+ IP адреса1,50 щ.д.
Сравнение на вариантите
| Метод | Как се конфигурира | Подходящ за |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Най-бързият вариант в Python; проксито може да се сменя при отворен браузър |
| Разширение за автентикация | Архивирано в zip разширение, чийто фонов скрипт обработва chrome.webRequest.onAuthRequired | Еднакво подходящо за Java, C#, Python и undetected-chromedriver |
| Преминаване към Playwright | browser.newContext({ proxy: { server, username, password } }) | Нови проекти; входът с прокси е вграден, без нужда от разширение |
Какво се случва при обикновен --proxy-server
Chrome приема адреса на проксито от командния ред, но игнорира въведените в него идентификационни данни. Когато проксито върне грешка 407, Chrome отваря системен прозорец за вход. Този диалог е извън DOM дървото на страницата, така че find_element не го вижда и скриптът изчаква, докато изтече времето за изпълнение. Затова всеки работещ метод подава данните за вход на друго място, а не чрез флага.
Имайте предвид, че selenium-wire вече не се поддържа активно. Библиотеката все още работи за много конфигурации, но за дългосрочни проекти подходът с разширение или Playwright е по-сигурният избор.
Поддържане на ефективността при Selenium с прокси
- Задайте
options.page_load_strategy = 'eager', за да може скриптът да продължи веднага щом DOM е готов, вместо да чака бавни външни скриптове - За headless изпълнение в Chrome 109 или по-нова версия използвайте
--headless=new; разширенията, включително това за автентикация, работят както в обикновен прозорец - Изключете зареждането на изображения в настройките на Chrome, когато се нуждаете само от текст като цени или заглавия
- Поставете
driver.quit()в блокtry / finally, за да не остават работещи процеси на Chrome при срив
Преди да мащабирате
Всяка WebDriver сесия е пълноценен браузър, затова задайте на всяка сесия собствен IP адрес, ако сайтът свързва акаунти по адрес. Индивидуален IPv4 от ProxyV4 се наема само от един клиент и запазва адреса си при подновяване, което поддържа дългосрочните тестови акаунти на същия IP адрес. Първо тествайте новите проксита през проверката на прокси, за да не се прояви проблемна линия като объркващ Selenium timeout.
Ако при изпълнение страниците все още се отварят от собствения IP адрес на сървъра или процесът спира с грешка в тунела, в секцията за Selenium на проксито не работи са изброени обичайните причини по ред.
Стъпка по стъпка
- 1
Инсталиране на selenium-wire
Във вашата виртуална среда изпълнете
pip install selenium-wire. - 2
Дефиниране на проксито
Създайте
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}от вашата поръчка в ProxyV4. - 3
Стартиране на Chrome с тези опции
Създайте драйвера с
driver = webdriver.Chrome(seleniumwire_options=sw_options), като импортиратеwebdriverотseleniumwire. - 4
Проверка на изходния IP
Извикайте
driver.get('https://proxyv4.com/api/my-ip')и се уверете, че страницата показва адреса на проксито.
Често задавани въпроси
Защо --proxy-server=http://user:pass@ip:port се игнорира в ChromeOptions?
Chrome умишлено премахва данните за автентикация от стойността на --proxy-server. Подайте ги чрез selenium-wire, разширение за onAuthRequired или преминете към Playwright, който приема потребителско име и парола директно.
Може ли selenium-wire да сменя проксито без рестартиране на браузъра?
Да. Присвоете нов речник: driver.proxy = {'http': 'http://...', 'https': 'http://...'}, и следващите заявки ще използват новото прокси.
Работи ли разширението за автентикация в headless Chrome?
Да, с --headless=new. Старият режим --headless не зареждаше разширенията по същия начин.
Selenium дава таймаут на всяка страница през проксито. Какво да направя?
Заредете адреса за проверка на IP чрез cURL със същите данни за вход. Ако cURL също даде грешка, проблемът е във връзката или порта; нашето ръководство за прокси таймаут съдържа списък с нещата за проверка.
Източници
Стабилни IP адреси за Selenium сесии
Частни IPv4 в 7 държави и статични ISP в САЩ и Виетнам, с потребителско име и парола, неограничен трафик и един клиент на IP.
Проверете актуалните цени за САЩ