Selenium WebDriver жана аутентификациялуу проксилер: кайсы ыкмалар иштейт
ProxyV4 инженердик тобу тарабынан · Updated:
Selenium'де прокси аутентификациясы айланып өтүүнү талап кылат, анткени ChromeDriver'дин --proxy-server=http://ip:port желеги логин менен сырсөздү өткөрө албайт; Chrome саптагы user:pass маанисин таштап салып, WebDriver толтура албай турган кирүү терезесин көрсөтөт. Ишенимдүү эки чечим бар: Python'до ProxyV4 логинин иштеткен selenium-wire жана каалаган Selenium тилинде onAuthRequired окуясына жооп берген чакан Chrome кеңейтүүсү.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP2,25 USD
- 3+ IP2,10 USD
- 10+ IP2,00 USD
- 25+ IP1,90 USD
- 50+ IP1,80 USD
- 100+ IP1,70 USD
- 200+ IP1,60 USD
- 500+ IP1,50 USD
Ыкмаларды салыштыруу
| Ыкма | Кантип конфигурацияланат | Кимге ылайыктуу |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Python'до эң тез жол; браузер ачык турганда проксини алмаштырууга болот |
| Auth кеңейтүүсү | Фондук скрипти chrome.webRequest.onAuthRequired иштеткен zip-кеңейтүү | Java, C#, Python жана undetected-chromedriver үчүн бирдей ылайыктуу |
| Playwright'ка өтүү | browser.newContext({ proxy: { server, username, password } }) | Жаңы долбоорлор үчүн; прокси логини орнотулган, кеңейтүү талап кылынбайт |
Жөнөкөй --proxy-server колдонгондо эмне болот
Chrome буйрук сабынан прокси дарегин алат, бирок ага жазылган кирүү маалыматтарын тоготпойт. Прокси 407 жообун кайтарганда, Chrome тутумдук кирүү терезесин ачат. Бул терезе барактын DOM'унан тышкары болгондуктан, find_element аны көрө албайт жана скрипт убакыт бүткөнчө (таймаут) күтүп калат. Ошондуктан бардык иштеген ыкмалар кирүү дайындарын желектен башка жер аркылуу берет.
Эсиңизде болсун, selenium-wire мындан ары жигердүү колдоого алынбайт. Ал дагы эле көптөгөн орнотуулар үчүн иштейт, бирок узак мөөнөттүү долбоорлор үчүн кеңейтүү ыкмасы же Playwright коопсузураак тандоо болуп саналат.
Прокси аркылуу Selenium ишин натыйжалуу кармоо
- Жай иштеген бөтөн скрипттерди күтпөй, DOM даяр болгондон кийин скрипт ишин улантышы үчүн
options.page_load_strategy = 'eager'кылып орнотуңуз - Chrome 109 же андан кийинки версияларында headless иштетүү үчүн
--headless=newколдонуңуз; кеңейтүүлөр, анын ичинде auth кеңейтүүсү, кадимки терезедегидей иштейт - Баалар же аталыштар сыяктуу тексттик гана маалымат керек болгондо, Chrome жөндөөлөрүнөн сүрөттөрдү жүктөөнү өчүрүп коюңуз
- Капыстан бузулуп токтоп калуу Chrome процесстерин калтырып кетпеши үчүн,
driver.quit()чакырыгынtry / finallyблогуна салыңыз
Масштабды көбөйтүүдөн мурун
Ар бир WebDriver сессиясы толук кандуу браузер болуп саналат, ошондуктан сайт аккаунттарды дарек боюнча байланыштырса, ар бир сессияга өзүнчө IP бериңиз. ProxyV4 жеке IPv4 бир кардарга гана ижарага берилет жана мөөнөтүн узартканда өз дарегин сактайт, бул узак мөөнөттүү тесттик аккаунттарды бир эле IP даректе кармап турат. Начар байланыш түшүнүксүз Selenium timeout катасы катары чыкпашы үчүн, жаңы проксилерди алгач прокси текшергич аркылуу өткөрүңүз.
Эгерде ишке киргизүүдө барактар дагы эле сервердин өз IP дарегинен ачылса же туннель катасы келип чыкса, прокси иштебей жатат барагынын Selenium бөлүмүндө негизги себептер кезеги менен көрсөтүлгөн.
Кадам-кадам боюнча
- 1
selenium-wire орнотуу
Виртуалдык чөйрөңүздө
pip install selenium-wireбуйругун иштетиңиз. - 2
Проксини сыпаттоо
ProxyV4 буйрутмаңыздан
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}түзүңүз. - 3
Chrome'ду ошол параметрлер менен иштетүү
seleniumwireичиненwebdriverимпорттоп,driver = webdriver.Chrome(seleniumwire_options=sw_options)аркылуу драйверди түзүңүз. - 4
Чыгуучу IP'ни текшерүү
driver.get('https://proxyv4.com/api/my-ip')чакырып, баракта прокси дареги көрүнгөнүн текшериңиз.
Көп берилүүчү суроолор
Эмне үчүн ChromeOptions'до --proxy-server=http://user:pass@ip:port тоготулбайт?
Chrome атайын түрдө --proxy-server маанисинен кирүү маалыматтарын өчүрүп салат. Аларды selenium-wire, onAuthRequired кеңейтүүсү аркылуу бериңиз же логин менен сырсөздү түз кабыл алган Playwright кызматына өтүңүз.
selenium-wire браузерди кайра иштетпей туруп проксини алмаштыра алабы?
Ооба. Жаңы dict ыйгарыңыз: driver.proxy = {'http': 'http://...', 'https': 'http://...'}, ошондо кийинки сурамдар жаңы проксини колдонот.
Auth кеңейтүүсү headless Chrome'до иштейби?
Ооба, --headless=new менен иштейт. Эски --headless режими кеңейтүүлөрдү мындай жүктөчү эмес.
Selenium прокси аркылуу ар бир баракта таймаут берип жатат. Эмне кылуу керек?
Ошол эле кирүү маалыматтарын колдонуп, IP түйүнүн curl менен жүктөңүз. Эгер curl да ката берсе, маселе линияда же портто; прокси таймауту боюнча колдонмо эмнелерди текшерүү керектигин тизмелейт.
Булактар
Selenium сессиялары үчүн туруктуу IP даректер
Колдонуучу жана сырсөз менен, чектөөсүз жана бир IP'ге бир кардар: 7 өлкөдө жеке IPv4 жана АКШ менен Вьетнамда статикалык ISP.
АКШдагы реалдуу бааларды көрүү