Selenium WebDriver және аутентификациясы бар проксилер: қандай шешімдер жұмыс істейді
ProxyV4 инженерлік тобынан · Updated:
Selenium прокси аутентификациясы айналып өту шешімін қажет етеді, өйткені ChromeDriver-дің --proxy-server=http://ip:port жалаушасы пайдаланушы аты мен құпия сөзді қабылдай алмайды; Chrome кірістірілген user:pass мәнін елемей тастап, WebDriver толтыра алмайтын кіру диалогын көрсетеді. Сенімді екі шешім бар: Python-да ProxyV4 логинін өңдейтін selenium-wire және Selenium-нің кез келген бағдарламалау тілінде onAuthRequired сұрауына жауап беретін шағын Chrome кеңейтімі.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP2,25 $
- 3+ IP2,10 $
- 10+ IP2,00 $
- 25+ IP1,90 $
- 50+ IP1,80 $
- 100+ IP1,70 $
- 200+ IP1,60 $
- 500+ IP1,50 $
Нұсқаларды салыстыру
| Әдіс | Қалай бапталады | Қай жағдайда қолайлы |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Python-дағы ең жылдам жол; проксиді браузер ашық тұрғанда да өзгертуге болады |
| Аутентификация кеңейтімі | Фондық сценарийі chrome.webRequest.onAuthRequired оқиғасын өңдейтін zip-кеңейтім | Java, C#, Python және undetected-chromedriver үшін бірдей жарамды |
| Playwright-ке көшу | browser.newContext({ proxy: { server, username, password } }) | Жаңа жобалар үшін; проксиге кіру кірістірілген, ешқандай кеңейтім қажет емес |
Әдеттегі --proxy-server жалаушасымен не болады
Chrome прокси мекенжайын командалық жолдан алады, бірақ онда жазылған кез келген есептік деректерді елемейді. Прокси 407 қатесімен жауап бергенде, Chrome жүйелік кіру терезесін ашады. Бұл терезе беттің DOM құрылымынан тыс орналасқан, сондықтан find_element оны көре алмайды да, сценарий тайм-аут аяқталғанша күтіп тұра береді. Сондықтан жұмыс істейтін барлық әдістер есептік деректерді жалаушадан басқа жерден береді.
Ескеріңіз, selenium-wire жобасына енді белсенді қолдау көрсетілмейді. Ол көптеген баптауларда әлі де жұмыс істейді, бірақ ұзақ мерзімді жобалар үшін кеңейтім әдісі немесе Playwright әлдеқайда сенімдірек таңдау болып табылады.
Проксиі бар Selenium жұмысын тиімді сақтау
options.page_load_strategy = 'eager'мәнін орнатыңыз, сонда сценарий баяу бөгде скрипттерді күтпей, DOM дайын болған бойда жұмысын жалғастырады- Chrome 109 немесе одан кейінгі нұсқаларында headless режимде іске қосу үшін
--headless=newжалаушасын пайдаланыңыз; кеңейтімдер, соның ішінде аутентификация кеңейтімі, кәдімгі терезедегідей жұмыс істейді - Тек бағалар немесе тақырыптар сияқты мәтін қажет болса, Chrome баптауларында суреттердің жүктелуін өшіріңіз
- Ақаулық кезінде Chrome процестері жадыда қалып қоймауы үшін
driver.quit()әдісінtry / finallyблогына салыңыз
Ауқымды кеңейту алдында
Әр WebDriver сессиясы толыққанды браузер болып табылады, сондықтан сайт аккаунттарды мекенжай бойынша байланыстыратын болса, әр сессияға жеке IP беріңіз. ProxyV4 жеке IPv4 проксиі бір клиентке ғана жалға беріледі және мерзімін ұзартқанда өз мекенжайын сақтайды, бұл ұзақ мерзімді сынақ аккаунттарының бір IP-де қалуына мүмкіндік береді. Сапасыз байланыс Selenium күту уақытының түсініксіз қатесіне айналмауы үшін, алдымен жаңа проксилерді прокси тексеру құралы арқылы тексеріп алыңыз.
Егер іске қосу әлі де беттерді сервердің өз IP мекенжайынан ашса немесе туннель қатесімен тоқтап қалса, прокси жұмыс істемейді нұсқаулығының Selenium бөлімінде негізгі себептер ретімен көрсетілген.
Қадамдық нұсқаулық
- 1
selenium-wire орнату
Виртуалды ортаңызда
pip install selenium-wireпәрменін іске қосыңыз. - 2
Проксиді сипаттау
ProxyV4 тапсырысыңыздағы деректер негізінде
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}құрылымын жасаңыз. - 3
Chrome-ды осы баптаулармен іске қосу
seleniumwireішіненwebdriverимпорттап,driver = webdriver.Chrome(seleniumwire_options=sw_options)көмегімен драйверді жасаңыз. - 4
Шығыс IP-ді тексеру
driver.get('https://proxyv4.com/api/my-ip')шақырып, бетте прокси мекенжайы көрсетілгеніне көз жеткізіңіз.
Жиі қойылатын сұрақтар
Неліктен ChromeOptions ішінде --proxy-server=http://user:pass@ip:port еленбейді?
Chrome архитектурасы бойынша есептік деректерді --proxy-server мәнінен алып тастайды. Оларды selenium-wire, onAuthRequired кеңейтімі арқылы беріңіз немесе логин мен құпия сөзді тікелей қабылдайтын Playwright құралына көшіңіз.
selenium-wire браузерді қайта іске қоспай-ақ проксиді өзгерте ала ма?
Иә. driver.proxy = {'http': 'http://...', 'https': 'http://...'} түрінде жаңа сөздік тағайындаңыз, сонда кейінгі сұраулар жаңа кіріс проксиін пайдаланады.
Аутентификация кеңейтімі headless Chrome режимінде жұмыс істей ме?
Иә, --headless=new жалаушасымен жұмыс істейді. Ескі --headless режимі кеңейтімдерді дәл олай жүктемейтін.
Прокси арқылы Selenium-де әрбір бетте тайм-аут пайда болады. Не істеу керек?
Дәл сол есептік деректерді пайдаланып, cURL арқылы IP эндпоинтін жүктеп көріңіз. Егер cURL де қате берсе, мәселе желіде немесе портта; прокси тайм-ауты бойынша нұсқаулықта нені тексеру керектігі көрсетілген.
Дереккөздер
Selenium сессияларына арналған тұрақты IP мекенжайлары
7 елдегі жеке IPv4 және АҚШ пен Вьетнамдағы статикалық ISP: логин мен құпия сөзбен, трафик шектеусіз және бір IP бір клиентке.
АҚШ бойынша өзекті бағаларды көру