Selenium WebDriver и проксији са аутентификацијом: шта функционише
Аутор: Инжењерски тим ProxyV4 · Updated:
Аутентификација за Selenium прокси захтева заобилазно решење, јер ChromeDriver-ов параметар --proxy-server=http://ip:port не може да садржи корисничко име и лозинку; Chrome одбацује уграђени user:pass и приказује дијалог за пријаву који WebDriver не може да попуни. Два поуздана решења су selenium-wire, који обрађује ProxyV4 пријаву у Python-у, и мала Chrome екстензија која одговара на onAuthRequired у било ком језику који Selenium подржава.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 US$
- 3+ IP адреса1,70 US$
- 10+ IP адреса1,60 US$
- 25+ IP адреса1,50 US$
- 50+ IP адреса1,40 US$
- 100+ IP адреса1,30 US$
- 200+ IP адреса1,20 US$
- 500+ IP адреса1,10 US$
- 1 IP2,25 US$
- 3+ IP адреса2,10 US$
- 10+ IP адреса2,00 US$
- 25+ IP адреса1,90 US$
- 50+ IP адреса1,80 US$
- 100+ IP адреса1,70 US$
- 200+ IP адреса1,60 US$
- 500+ IP адреса1,50 US$
Поређење опција
| Метод | Како се конфигурише | Најбоља примена |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Најбржи начин у Python-у; прокси се може променити док је прегледач отворен |
| Екстензија за аутентификацију | Екстензија у .zip архиви чија позадинска скрипта обрађује chrome.webRequest.onAuthRequired | Подједнако погодно за Java, C#, Python и undetected-chromedriver |
| Прелазак на Playwright | browser.newContext({ proxy: { server, username, password } }) | Нови пројекти; пријава на прокси је уграђена, без екстензија |
Шта се дешава уз обичан --proxy-server
Chrome преузима адресу проксија из командне линије, али игнорише све акредитиве наведене у њој. Када прокси одговори са 407, Chrome отвара изворни дијалог за пријаву. Тај прозор се налази ван DOM-а странице, па га find_element не може видети и скрипта чека све док не истекне временско ограничење. Због тога свака функционална метода прослеђује акредитиве на неки други начин, а не преко овог параметра.
Имајте на уму да се selenium-wire више активно не одржава. И даље ради у многим окружењима, али за дугорочне пројекте приступ са екстензијом или Playwright представља сигурнији избор.
Како очувати ефикасност Selenium сесија уз прокси
- Подесите
options.page_load_strategy = 'eager'како би скрипта наставила са радом чим DOM буде спреман, уместо да чека споре скрипте трећих страна - За headless покретање на верзији Chrome 109 или новијој користите
--headless=new; екстензије, укључујући ону за аутентификацију, понашају се исто као у обичном прозору - Искључите учитавање слика у Chrome подешавањима када су вам потребни само текстуални подаци попут цена или наслова
- Поставите
driver.quit()уtry / finallyблок како у случају пада програма не би остали активни Chrome процеси у позадини
Пре скалирања
Свака WebDriver сесија представља комплетан прегледач, па свакој сесији доделите сопствену IP адресу ако сајт повезује налоге по адреси. ProxyV4 приватни IPv4 се изнајмљује једном кориснику и задржава своју адресу приликом обнове, што дуготрајне тест налоге држи на истој IP адреси. Најпре пропустите нове проксије кроз проверу проксија како се лоша веза не би појавила као збуњујући Selenium тајмаут.
Ако покретање и даље отвара странице са сопствене IP адресе сервера или стане због грешке тунела, Selenium одељак у прокси не ради редом наводи уобичајене узроке.
Корак по корак
- 1
Инсталирајте selenium-wire
У свом виртуелном окружењу покрените
pip install selenium-wire. - 2
Дефинишите прокси
Креирајте
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}на основу своје ProxyV4 поруџбине. - 3
Покрените Chrome са тим опцијама
Иницијализујте драјвер помоћу
driver = webdriver.Chrome(seleniumwire_options=sw_options), уз увозwebdriverизseleniumwire. - 4
Проверите излазну IP адресу
Позовите
driver.get('https://proxyv4.com/api/my-ip')и потврдите да страница приказује адресу проксија.
Често постављана питања
Зашто се --proxy-server=http://user:pass@ip:port игнорише у ChromeOptions?
Chrome наменски уклања акредитиве из вредности --proxy-server. Проследите их преко selenium-wire, помоћу onAuthRequired екстензије, или пређите на Playwright, који директно прихвата корисничко име и лозинку.
Може ли selenium-wire да промени прокси без поновног покретања прегледача?
Да. Доделите нови речник, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, и сви наредни захтеви користиће нови upstream прокси.
Да ли екстензија за аутентификацију ради у headless Chrome режиму?
Да, уз --headless=new. Стари --headless режим није учитавао екстензије на исти начин.
Selenium јавља тајмаут на свакој страници преко проксија. Шта даље?
Учитајте крајњу тачку за IP адресу помоћу curl алата са истим акредитивима. Ако ни curl не успе, проблем је у вези или порту; водич за прокси тајмаут наводи шта треба проверити.
Извори
Стабилне IP адресе за Selenium сесије
Приватни IPv4 у 7 земаља и статички ISP у САД и Вијетнаму, са корисничким именом и лозинком, неограниченим протоком и једним корисником по IP адреси.
Погледајте актуелне цене за САД