Selenium WebDriver і проксі з аўтарызацыяй: працоўныя варыянты
Ад інжынернай каманды ProxyV4 · Updated:
Для аўтарызацыі проксі ў Selenium патрэбна абыходнае рашэнне, бо сцяг --proxy-server=http://ip:port у ChromeDriver не можа перадаваць імя карыстальніка і пароль; Chrome скідае ўбудаваныя user:pass і паказвае акно ўваходу, якое WebDriver не здольны запоўніць. Два надзейныя варыянты — гэта selenium-wire, які кіруе аўтарызацыяй у ProxyV4 праз Python, і невялікае пашырэнне для Chrome, якое адказвае на onAuthRequired на любой мове, што падтрымліваецца Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 $
- Ад 3 IP1,70 $
- Ад 10 IP1,60 $
- Ад 25 IP1,50 $
- Ад 50 IP1,40 $
- Ад 100 IP1,30 $
- Ад 200 IP1,20 $
- Ад 500 IP1,10 $
- 1 IP2,25 $
- Ад 3 IP2,10 $
- Ад 10 IP2,00 $
- Ад 25 IP1,90 $
- Ад 50 IP1,80 $
- Ад 100 IP1,70 $
- Ад 200 IP1,60 $
- Ад 500 IP1,50 $
Параўнанне варыянтаў
| Метад | Як наладзіць | Каму падыходзіць |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Найхутчэйшы спосаб у Python; проксі можна змяняць проста падчас працы браўзера |
| Пашырэнне для аўтарызацыі | ZIP-архіў пашырэння, фонавы скрыпт якога апрацоўвае chrome.webRequest.onAuthRequired | Аднолькава добра для Java, C#, Python і undetected-chromedriver |
| Пераход на Playwright | browser.newContext({ proxy: { server, username, password } }) | Для новых праектаў; аўтарызацыя проксі ўбудаваная, пашырэнні не патрэбныя |
Што адбываецца са звычайным --proxy-server
Chrome бярэ адрас проксі з каманднага радка, але ігнаруе любыя ўліковыя даныя, пазначаныя ў ім. Калі проксі вяртае статус 407, Chrome адкрывае стандартнае сістэмнае акно ўваходу. Гэтае акно знаходзіцца па-за межамі DOM старонкі, таму find_element не можа яго знайсці, і скрыпт спыняецца праз таймаўт. Такім чынам, кожны працоўны метад перадае даныя для аўтарызацыі асобна ад гэтага сцяга.
Звярніце ўвагу, што selenium-wire больш не падтрымліваецца актыўна. Бібліятэка ўсё яшчэ працуе ў многіх выпадках, але для доўгатэрміновых праектаў надзейней выкарыстоўваць пашырэнне або Playwright.
Як забяспечыць эфектыўную працу Selenium з проксі
- Усталюйце
options.page_load_strategy = 'eager', каб скрыпт працягваў працу адразу пасля гатоўнасці DOM, а не чакаў загрузкі павольных іншых скрыптоў - Для фонавага рэжыму ў Chrome 109 і навейшых версіях выкарыстоўвайце
--headless=new; тады пашырэнні, уключаючы модуль аўтарызацыі, працуюць як у звычайным акне - Адключыце загрузку выяў у наладах Chrome, калі вам патрэбны толькі тэкст, напрыклад цэны або назвы
- Абгарніце
driver.quit()у блокtry / finally, каб пры збоі не заставалася вісець працэсаў Chrome
Перад маштабаваннем
Кожная сесія WebDriver — гэта паўнавартасны браўзер, таму вылучайце кожнай сесіі асобны IP, калі сайт звязвае акаўнты па адрасе. Прыватны IPv4 ад ProxyV4 здаецца ў арэнду аднаму кліенту і захоўвае свой адрас пры падаўжэнні, што дазваляе трымаць доўгатэрміновыя тэставыя акаўнты на адным і тым жа IP. Спачатку праверце новыя проксі праз проксі-чэкер, каб дрэнная лінія не выглядала як незразумелы таймаўт Selenium.
Калі запуск усё яшчэ адкрывае старонкі з уласнага IP сервера або спыняецца праз памылку тунэлявання, у раздзеле Selenium дакумента проксі не працуе па парадку пералічаны асноўныя прычыны.
Крок за крокам
- 1
Усталюйце selenium-wire
У сваім віртуальным асяроддзі выканайце
pip install selenium-wire. - 2
Апішыце проксі
Сфармуйце
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}на аснове вашага заказу ў ProxyV4. - 3
Запусціце Chrome з гэтымі параметрамі
Стварыце драйвер з дапамогай
driver = webdriver.Chrome(seleniumwire_options=sw_options), імпартаваўшыwebdriverзseleniumwire. - 4
Праверце выходны IP
Выклічце
driver.get('https://proxyv4.com/api/my-ip')і пераканайцеся, што на старонцы паказаны адрас проксі.
Частыя пытанні
Чаму ChromeOptions ігнаруе --proxy-server=http://user:pass@ip:port?
Chrome адмыслова выдаляе ўліковыя даныя са значэння --proxy-server. Перадавайце іх праз selenium-wire, пашырэнне з onAuthRequired або перайдзіце на Playwright, які прымае імя карыстальніка і пароль наўпрост.
Ці можа selenium-wire змяняць проксі без перазапуску браўзера?
Так. Прызначце новы слоўнік: driver.proxy = {'http': 'http://...', 'https': 'http://...'}, і ўсе наступныя запыты будуць выкарыстоўваць новы проксі.
Ці працуе пашырэнне аўтарызацыі ў headless-рэжыме Chrome?
Так, са сцягам --headless=new. Стары рэжым --headless не загружаў пашырэнні належным чынам.
Selenium выдае таймаўт на кожнай старонцы праз проксі. Што рабіць?
Адпраўце запыт да эндпойнта праверкі IP праз curl з тымі ж уліковымі данымі. Калі curl таксама вяртае памылку, праблема ў лініі або порце; у інструкцыі па таймаўтах проксі пералічана, што трэба праверыць.
Крыніцы
Стабільныя IP для сесій Selenium
Прыватныя IPv4 у 7 краінах і статычныя ISP у ЗША і В'етнаме, з лагінам і паролем, без ліміту трафіка і па адным кліенту на IP.
Паглядзець актуальныя цэны ў ЗША