ProxyV4

Selenium WebDriver и проксији са аутентификацијом: шта функционише

· Updated:

Аутентификација за Selenium прокси захтева заобилазно решење, јер ChromeDriver-ов параметар --proxy-server=http://ip:port не може да садржи корисничко име и лозинку; Chrome одбацује уграђени user:pass и приказује дијалог за пријаву који WebDriver не може да попуни. Два поуздана решења су selenium-wire, који обрађује ProxyV4 пријаву у Python-у, и мала Chrome екстензија која одговара на onAuthRequired у било ком језику који Selenium подржава.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Приватни IPv4 (дата-центар)
🇺🇸 Сједињене Америчке Државе
На стању
Од
1,10 US$ / IP / месечно
Попусти на количину
  • 1 IP1,85 US$
  • 3+ IP адреса1,70 US$
  • 10+ IP адреса1,60 US$
  • 25+ IP адреса1,50 US$
  • 50+ IP адреса1,40 US$
  • 100+ IP адреса1,30 US$
  • 200+ IP адреса1,20 US$
  • 500+ IP адреса1,10 US$
Купи Сједињене Америчке Државе
Статички резиденцијални ISP
🇺🇸 Сједињене Америчке Државе
На стању
Од
1,50 US$ / IP / месечно
Попусти на количину
  • 1 IP2,25 US$
  • 3+ IP адреса2,10 US$
  • 10+ IP адреса2,00 US$
  • 25+ IP адреса1,90 US$
  • 50+ IP адреса1,80 US$
  • 100+ IP адреса1,70 US$
  • 200+ IP адреса1,60 US$
  • 500+ IP адреса1,50 US$
Купи Сједињене Америчке Државе
Проксији према платформи:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Поређење опција

МетодКако се конфигуришеНајбоља примена
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Најбржи начин у Python-у; прокси се може променити док је прегледач отворен
Екстензија за аутентификацијуЕкстензија у .zip архиви чија позадинска скрипта обрађује chrome.webRequest.onAuthRequiredПодједнако погодно за Java, C#, Python и undetected-chromedriver
Прелазак на Playwrightbrowser.newContext({ proxy: { server, username, password } })Нови пројекти; пријава на прокси је уграђена, без екстензија

Шта се дешава уз обичан --proxy-server

Chrome преузима адресу проксија из командне линије, али игнорише све акредитиве наведене у њој. Када прокси одговори са 407, Chrome отвара изворни дијалог за пријаву. Тај прозор се налази ван DOM-а странице, па га find_element не може видети и скрипта чека све док не истекне временско ограничење. Због тога свака функционална метода прослеђује акредитиве на неки други начин, а не преко овог параметра.

Имајте на уму да се selenium-wire више активно не одржава. И даље ради у многим окружењима, али за дугорочне пројекте приступ са екстензијом или Playwright представља сигурнији избор.

Како очувати ефикасност Selenium сесија уз прокси

  • Подесите options.page_load_strategy = 'eager' како би скрипта наставила са радом чим DOM буде спреман, уместо да чека споре скрипте трећих страна
  • За headless покретање на верзији Chrome 109 или новијој користите --headless=new; екстензије, укључујући ону за аутентификацију, понашају се исто као у обичном прозору
  • Искључите учитавање слика у Chrome подешавањима када су вам потребни само текстуални подаци попут цена или наслова
  • Поставите driver.quit() у try / finally блок како у случају пада програма не би остали активни Chrome процеси у позадини

Пре скалирања

Свака WebDriver сесија представља комплетан прегледач, па свакој сесији доделите сопствену IP адресу ако сајт повезује налоге по адреси. ProxyV4 приватни IPv4 се изнајмљује једном кориснику и задржава своју адресу приликом обнове, што дуготрајне тест налоге држи на истој IP адреси. Најпре пропустите нове проксије кроз проверу проксија како се лоша веза не би појавила као збуњујући Selenium тајмаут.

Ако покретање и даље отвара странице са сопствене IP адресе сервера или стане због грешке тунела, Selenium одељак у прокси не ради редом наводи уобичајене узроке.

Корак по корак

  1. 1

    Инсталирајте selenium-wire

    У свом виртуелном окружењу покрените pip install selenium-wire.

  2. 2

    Дефинишите прокси

    Креирајте sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} на основу своје ProxyV4 поруџбине.

  3. 3

    Покрените Chrome са тим опцијама

    Иницијализујте драјвер помоћу driver = webdriver.Chrome(seleniumwire_options=sw_options), уз увоз webdriver из seleniumwire.

  4. 4

    Проверите излазну IP адресу

    Позовите driver.get('https://proxyv4.com/api/my-ip') и потврдите да страница приказује адресу проксија.

Често постављана питања

Зашто се --proxy-server=http://user:pass@ip:port игнорише у ChromeOptions?

Chrome наменски уклања акредитиве из вредности --proxy-server. Проследите их преко selenium-wire, помоћу onAuthRequired екстензије, или пређите на Playwright, који директно прихвата корисничко име и лозинку.

Може ли selenium-wire да промени прокси без поновног покретања прегледача?

Да. Доделите нови речник, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, и сви наредни захтеви користиће нови upstream прокси.

Да ли екстензија за аутентификацију ради у headless Chrome режиму?

Да, уз --headless=new. Стари --headless режим није учитавао екстензије на исти начин.

Selenium јавља тајмаут на свакој страници преко проксија. Шта даље?

Учитајте крајњу тачку за IP адресу помоћу curl алата са истим акредитивима. Ако ни curl не успе, проблем је у вези или порту; водич за прокси тајмаут наводи шта треба проверити.

Извори

Стабилне IP адресе за Selenium сесије

Приватни IPv4 у 7 земаља и статички ISP у САД и Вијетнаму, са корисничким именом и лозинком, неограниченим протоком и једним корисником по IP адреси.

Погледајте актуелне цене за САД

Related articles

Проксији према платформи
Проксији за web scraping: фиксни пул IP адреса са неограниченим протоком
Проксији за web scraping за Python, Scrapy, Playwright и Selenium: пул приватних IPv4 и статичких ISP адреса, неограничен проток и фиксна цена по IP адреси.
Подешавање проксија
Аутентификација Playwright проксија, једна статичка IP адреса по контексту
Доделите сваком Playwright контексту аутентификовани HTTP(S) прокси у Node.js или Python-у, ускладите временску зону и локалитет и потврдите излазну адресу.
Подешавање проксија
Python requests преко аутентификованог проксија, корак по корак
Шаљите Python захтеве кроз аутентификовани HTTP(S) прокси: направите proxies речник, вежите за Session, кодирајте лозинке, ротирајте листу и проверите IP.
Подешавање проксија
Puppeteer са аутентификованим проксијем: заставица при покретању и пријава
Аутентификација проксија у Puppeteer-у: прво радни пример, --proxy-server за адресу, page.authenticate() за пријаву, а затим SOCKS5, контексти и решења.
Проксији према платформи
Проксији за праћење SEO рангирања: погледајте страницу резултата коју види локални корисник
SEO проксији за праћење рангирања уз приватни IPv4 у САД, УК, Вијетнаму, Јапану и 4 тржишта: рангирање, локални пакети и огласи одговарају локалном приказу.
Проксији према платформи
Amazon проксији за продавце који сваком налогу дају трајну адресу
Amazon проксији за продавце за Seller Central, KDP и Merch: статички US ISP или UK/Japan приватни IPv4 по налогу, изнајмљен само вама и исти при обнови.
IPV4 · united states
Пул приватних IPv4 проксија у САД за прикупљање података, праћење рангирања и проверу огласа
Купите приватне US IPv4 проксије: статичке америчке датацентар IP адресе, један корисник по IP-ју, неограничен проток. За скрејпинг, SERP и проверу US огласа.
ISP · united states
Статички ISP прокси у САД: Кућно регистрована IP адреса која се никада не мења
US статички ISP проксији на IP адресама кућних провајдера. Једна фиксна америчка IP по налогу за Amazon продавце, огласне налоге и Instagram.