ProxyV4

Selenium WebDriver и проксита с автентикация: кое работи

· Updated:

Автентикацията на Selenium прокси изисква заобиколно решение, тъй като флагът на ChromeDriver --proxy-server=http://ip:port не може да предава потребителско име и парола; Chrome премахва подадените user:pass и показва диалогов прозорец за вход, който WebDriver не може да попълни. Двете надеждни решения са selenium-wire, който управлява входа в ProxyV4 в Python, и малко разширение за Chrome, отговарящо на onAuthRequired на всеки поддържан от Selenium език.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Частни IPv4 (дейтацентър)
🇺🇸 Съединени щати
В наличност
От
1,10 щ.д. / IP / месец
Отстъпки за количество
  • 1 IP1,85 щ.д.
  • 3+ IP адреса1,70 щ.д.
  • 10+ IP адреса1,60 щ.д.
  • 25+ IP адреса1,50 щ.д.
  • 50+ IP адреса1,40 щ.д.
  • 100+ IP адреса1,30 щ.д.
  • 200+ IP адреса1,20 щ.д.
  • 500+ IP адреса1,10 щ.д.
Купете Съединени щати
Статични жилищни ISP
🇺🇸 Съединени щати
В наличност
От
1,50 щ.д. / IP / месец
Отстъпки за количество
  • 1 IP2,25 щ.д.
  • 3+ IP адреса2,10 щ.д.
  • 10+ IP адреса2,00 щ.д.
  • 25+ IP адреса1,90 щ.д.
  • 50+ IP адреса1,80 щ.д.
  • 100+ IP адреса1,70 щ.д.
  • 200+ IP адреса1,60 щ.д.
  • 500+ IP адреса1,50 щ.д.
Купете Съединени щати
Проксита по платформи:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Сравнение на вариантите

МетодКак се конфигурираПодходящ за
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Най-бързият вариант в Python; проксито може да се сменя при отворен браузър
Разширение за автентикацияАрхивирано в zip разширение, чийто фонов скрипт обработва chrome.webRequest.onAuthRequiredЕднакво подходящо за Java, C#, Python и undetected-chromedriver
Преминаване към Playwrightbrowser.newContext({ proxy: { server, username, password } })Нови проекти; входът с прокси е вграден, без нужда от разширение

Какво се случва при обикновен --proxy-server

Chrome приема адреса на проксито от командния ред, но игнорира въведените в него идентификационни данни. Когато проксито върне грешка 407, Chrome отваря системен прозорец за вход. Този диалог е извън DOM дървото на страницата, така че find_element не го вижда и скриптът изчаква, докато изтече времето за изпълнение. Затова всеки работещ метод подава данните за вход на друго място, а не чрез флага.

Имайте предвид, че selenium-wire вече не се поддържа активно. Библиотеката все още работи за много конфигурации, но за дългосрочни проекти подходът с разширение или Playwright е по-сигурният избор.

Поддържане на ефективността при Selenium с прокси

  • Задайте options.page_load_strategy = 'eager', за да може скриптът да продължи веднага щом DOM е готов, вместо да чака бавни външни скриптове
  • За headless изпълнение в Chrome 109 или по-нова версия използвайте --headless=new; разширенията, включително това за автентикация, работят както в обикновен прозорец
  • Изключете зареждането на изображения в настройките на Chrome, когато се нуждаете само от текст като цени или заглавия
  • Поставете driver.quit() в блок try / finally, за да не остават работещи процеси на Chrome при срив

Преди да мащабирате

Всяка WebDriver сесия е пълноценен браузър, затова задайте на всяка сесия собствен IP адрес, ако сайтът свързва акаунти по адрес. Индивидуален IPv4 от ProxyV4 се наема само от един клиент и запазва адреса си при подновяване, което поддържа дългосрочните тестови акаунти на същия IP адрес. Първо тествайте новите проксита през проверката на прокси, за да не се прояви проблемна линия като объркващ Selenium timeout.

Ако при изпълнение страниците все още се отварят от собствения IP адрес на сървъра или процесът спира с грешка в тунела, в секцията за Selenium на проксито не работи са изброени обичайните причини по ред.

Стъпка по стъпка

  1. 1

    Инсталиране на selenium-wire

    Във вашата виртуална среда изпълнете pip install selenium-wire.

  2. 2

    Дефиниране на проксито

    Създайте sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} от вашата поръчка в ProxyV4.

  3. 3

    Стартиране на Chrome с тези опции

    Създайте драйвера с driver = webdriver.Chrome(seleniumwire_options=sw_options), като импортирате webdriver от seleniumwire.

  4. 4

    Проверка на изходния IP

    Извикайте driver.get('https://proxyv4.com/api/my-ip') и се уверете, че страницата показва адреса на проксито.

Често задавани въпроси

Защо --proxy-server=http://user:pass@ip:port се игнорира в ChromeOptions?

Chrome умишлено премахва данните за автентикация от стойността на --proxy-server. Подайте ги чрез selenium-wire, разширение за onAuthRequired или преминете към Playwright, който приема потребителско име и парола директно.

Може ли selenium-wire да сменя проксито без рестартиране на браузъра?

Да. Присвоете нов речник: driver.proxy = {'http': 'http://...', 'https': 'http://...'}, и следващите заявки ще използват новото прокси.

Работи ли разширението за автентикация в headless Chrome?

Да, с --headless=new. Старият режим --headless не зареждаше разширенията по същия начин.

Selenium дава таймаут на всяка страница през проксито. Какво да направя?

Заредете адреса за проверка на IP чрез cURL със същите данни за вход. Ако cURL също даде грешка, проблемът е във връзката или порта; нашето ръководство за прокси таймаут съдържа списък с нещата за проверка.

Източници

Стабилни IP адреси за Selenium сесии

Частни IPv4 в 7 държави и статични ISP в САЩ и Виетнам, с потребителско име и парола, неограничен трафик и един клиент на IP.

Проверете актуалните цени за САЩ

Related articles

Проксита по платформи
Проксита за web scraping: фиксиран пул от IP адреси с неограничен трафик
Web scraping проксита за Python, Scrapy, Playwright и Selenium: пул от частни IPv4 и статични ISP адреси, неограничен трафик, фиксирана цена на IP.
Настройка на прокси
Автентикация на Playwright прокси: статичен IP за всеки контекст
Задайте на всеки Playwright контекст отделно автентикирано HTTP(S) прокси в Node.js или Python, съобразете часовата зона и проверете изходния IP адрес.
Настройка на прокси
Python requests през автентикирано прокси: стъпка по стъпка
Изпращайте Python заявки през автентикирано HTTP(S) прокси: създайте proxies речник, свържете към Session, кодирайте пароли, редувайте списък и проверете IP.
Настройка на прокси
Puppeteer с прокси с автентикация: флаг за стартиране плюс вход
Автентикация на прокси в Puppeteer с работещ пример: --proxy-server за адреса, page.authenticate() за вход, плюс SOCKS5, контексти и решения за грешки.
Проксита по платформи
Проксита за SEO проследяване на позиции: вижте страницата с резултати като местен потребител
SEO проксита с частен IPv4 в САЩ, UK, Виетнам, Япония и още 4 пазара – позиции, локални пакети и реклами точно както ги виждат местните потребители.
Проксита по платформи
Amazon проксита за продавачи, които осигуряват постоянен адрес за всеки акаунт
Amazon проксита за Seller Central, KDP и Merch: статичен US ISP или UK/Japan частен IPv4 за акаунт, нает само от вас и запазван при всяко подновяване.
IPV4 · united states
Пул от частни IPv4 проксита от САЩ за скрапинг, следене на позиции и проверка на реклами
Купете частни US IPv4 проксита: статични дейтацентър IP от САЩ, един клиент на IP, неограничен трафик. За скрапване, SERP следене и US рекламни проверки.
ISP · united states
Статично ISP прокси от САЩ: Домашен IP адрес, който никога не се променя
Статични US ISP проксита с IP адреси от домашни интернет доставчици. Фиксиран американски IP за акаунти в Amazon, рекламни профили и Instagram.