ProxyV4

Selenium WebDriver және аутентификациясы бар проксилер: қандай шешімдер жұмыс істейді

· Updated:

Selenium прокси аутентификациясы айналып өту шешімін қажет етеді, өйткені ChromeDriver-дің --proxy-server=http://ip:port жалаушасы пайдаланушы аты мен құпия сөзді қабылдай алмайды; Chrome кірістірілген user:pass мәнін елемей тастап, WebDriver толтыра алмайтын кіру диалогын көрсетеді. Сенімді екі шешім бар: Python-да ProxyV4 логинін өңдейтін selenium-wire және Selenium-нің кез келген бағдарламалау тілінде onAuthRequired сұрауына жауап беретін шағын Chrome кеңейтімі.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Жеке IPv4 (дата-орталық)
🇺🇸 АҚШ
Қолжетімді
Бастап
1,10 $ / IP / айына
Көлемдік жеңілдіктер
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
АҚШ сатып алу
Статикалық резиденциялық ISP
🇺🇸 АҚШ
Қолжетімді
Бастап
1,50 $ / IP / айына
Көлемдік жеңілдіктер
  • 1 IP2,25 $
  • 3+ IP2,10 $
  • 10+ IP2,00 $
  • 25+ IP1,90 $
  • 50+ IP1,80 $
  • 100+ IP1,70 $
  • 200+ IP1,60 $
  • 500+ IP1,50 $
АҚШ сатып алу
Платформаларға арналған проксилер:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Нұсқаларды салыстыру

ӘдісҚалай бапталадыҚай жағдайда қолайлы
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Python-дағы ең жылдам жол; проксиді браузер ашық тұрғанда да өзгертуге болады
Аутентификация кеңейтіміФондық сценарийі chrome.webRequest.onAuthRequired оқиғасын өңдейтін zip-кеңейтімJava, C#, Python және undetected-chromedriver үшін бірдей жарамды
Playwright-ке көшуbrowser.newContext({ proxy: { server, username, password } })Жаңа жобалар үшін; проксиге кіру кірістірілген, ешқандай кеңейтім қажет емес

Әдеттегі --proxy-server жалаушасымен не болады

Chrome прокси мекенжайын командалық жолдан алады, бірақ онда жазылған кез келген есептік деректерді елемейді. Прокси 407 қатесімен жауап бергенде, Chrome жүйелік кіру терезесін ашады. Бұл терезе беттің DOM құрылымынан тыс орналасқан, сондықтан find_element оны көре алмайды да, сценарий тайм-аут аяқталғанша күтіп тұра береді. Сондықтан жұмыс істейтін барлық әдістер есептік деректерді жалаушадан басқа жерден береді.

Ескеріңіз, selenium-wire жобасына енді белсенді қолдау көрсетілмейді. Ол көптеген баптауларда әлі де жұмыс істейді, бірақ ұзақ мерзімді жобалар үшін кеңейтім әдісі немесе Playwright әлдеқайда сенімдірек таңдау болып табылады.

Проксиі бар Selenium жұмысын тиімді сақтау

  • options.page_load_strategy = 'eager' мәнін орнатыңыз, сонда сценарий баяу бөгде скрипттерді күтпей, DOM дайын болған бойда жұмысын жалғастырады
  • Chrome 109 немесе одан кейінгі нұсқаларында headless режимде іске қосу үшін --headless=new жалаушасын пайдаланыңыз; кеңейтімдер, соның ішінде аутентификация кеңейтімі, кәдімгі терезедегідей жұмыс істейді
  • Тек бағалар немесе тақырыптар сияқты мәтін қажет болса, Chrome баптауларында суреттердің жүктелуін өшіріңіз
  • Ақаулық кезінде Chrome процестері жадыда қалып қоймауы үшін driver.quit() әдісін try / finally блогына салыңыз

Ауқымды кеңейту алдында

Әр WebDriver сессиясы толыққанды браузер болып табылады, сондықтан сайт аккаунттарды мекенжай бойынша байланыстыратын болса, әр сессияға жеке IP беріңіз. ProxyV4 жеке IPv4 проксиі бір клиентке ғана жалға беріледі және мерзімін ұзартқанда өз мекенжайын сақтайды, бұл ұзақ мерзімді сынақ аккаунттарының бір IP-де қалуына мүмкіндік береді. Сапасыз байланыс Selenium күту уақытының түсініксіз қатесіне айналмауы үшін, алдымен жаңа проксилерді прокси тексеру құралы арқылы тексеріп алыңыз.

Егер іске қосу әлі де беттерді сервердің өз IP мекенжайынан ашса немесе туннель қатесімен тоқтап қалса, прокси жұмыс істемейді нұсқаулығының Selenium бөлімінде негізгі себептер ретімен көрсетілген.

Қадамдық нұсқаулық

  1. 1

    selenium-wire орнату

    Виртуалды ортаңызда pip install selenium-wire пәрменін іске қосыңыз.

  2. 2

    Проксиді сипаттау

    ProxyV4 тапсырысыңыздағы деректер негізінде sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} құрылымын жасаңыз.

  3. 3

    Chrome-ды осы баптаулармен іске қосу

    seleniumwire ішінен webdriver импорттап, driver = webdriver.Chrome(seleniumwire_options=sw_options) көмегімен драйверді жасаңыз.

  4. 4

    Шығыс IP-ді тексеру

    driver.get('https://proxyv4.com/api/my-ip') шақырып, бетте прокси мекенжайы көрсетілгеніне көз жеткізіңіз.

Жиі қойылатын сұрақтар

Неліктен ChromeOptions ішінде --proxy-server=http://user:pass@ip:port еленбейді?

Chrome архитектурасы бойынша есептік деректерді --proxy-server мәнінен алып тастайды. Оларды selenium-wire, onAuthRequired кеңейтімі арқылы беріңіз немесе логин мен құпия сөзді тікелей қабылдайтын Playwright құралына көшіңіз.

selenium-wire браузерді қайта іске қоспай-ақ проксиді өзгерте ала ма?

Иә. driver.proxy = {'http': 'http://...', 'https': 'http://...'} түрінде жаңа сөздік тағайындаңыз, сонда кейінгі сұраулар жаңа кіріс проксиін пайдаланады.

Аутентификация кеңейтімі headless Chrome режимінде жұмыс істей ме?

Иә, --headless=new жалаушасымен жұмыс істейді. Ескі --headless режимі кеңейтімдерді дәл олай жүктемейтін.

Прокси арқылы Selenium-де әрбір бетте тайм-аут пайда болады. Не істеу керек?

Дәл сол есептік деректерді пайдаланып, cURL арқылы IP эндпоинтін жүктеп көріңіз. Егер cURL де қате берсе, мәселе желіде немесе портта; прокси тайм-ауты бойынша нұсқаулықта нені тексеру керектігі көрсетілген.

Дереккөздер

Selenium сессияларына арналған тұрақты IP мекенжайлары

7 елдегі жеке IPv4 және АҚШ пен Вьетнамдағы статикалық ISP: логин мен құпия сөзбен, трафик шектеусіз және бір IP бір клиентке.

АҚШ бойынша өзекті бағаларды көру

Related articles

Платформаларға арналған проксилер
Веб-скрейпингке арналған проксилер: шексіз трафигі бар бекітілген IP пулы
Python, Scrapy, Playwright және Selenium үшін веб-скрейпинг проксилері: жеке IPv4 және статикалық ISP пулы, шексіз трафик, әр IP үшін бекітілген баға.
Проксиді баптау
Playwright прокси аутентификациясы: әр контекстке бір статикалық IP
Node.js немесе Python-да әр Playwright контекстіне аутентификациялы HTTP(S) прокси беріңіз, уақыт пен тілді IP-ге сай етіп, шығыс мекенжайды тексеріңіз.
Проксиді баптау
Python requests аутентификацияланған прокси арқылы, қадам бойынша
Python сұрауларын аутентификацияланған HTTP(S) прокси арқылы жіберіңіз: proxies жасау, Session-ге қосу, құпия сөзді кодтау, тізімді ауыстыру, IP тексеру.
Проксиді баптау
Аутентификациясы бар проксимен Puppeteer: іске қосу жалаушасы мен логин
Puppeteer прокси аутентификациясы, жұмыс мысалы: мекенжайға --proxy-server, логинге page.authenticate(), содан кейін SOCKS5, контекстер мен түзетулер.
Платформаларға арналған проксилер
SEO позицияларын бақылауға арналған проксилер: жергілікті іздеуші көретін нәтижелер беті
Позициялар, жергілікті топтама мен жарнама тұрғындар көретіндей болуы үшін АҚШ, Ұлыбритания, Вьетнам, Жапония және тағы 4 нарықтағы жеке IPv4 SEO проксилері.
Платформаларға арналған проксилер
Әр аккаунтқа тұрақты мекенжай беретін Amazon сатушы проксилері
Amazon сатушы проксилері (Seller Central, KDP, Merch): әр аккаунтқа АҚШ статикалық ISP не Ұлыбритания/Жапония жеке IPv4, тек сізге беріліп, ұзартуда сақталады.
IPV4 · united states
Скрейпинг, позицияларды бақылау және жарнаманы тексеруге арналған АҚШ-тың жеке IPv4 прокси пулы
АҚШ жеке IPv4 проксилерін сатып алыңыз: статикалық америкалық ДЦ IP, бір клиентке бір IP, шексіз трафик. Скрейпинг, SERP және АҚШ жарнамасын тексеру үшін.
ISP · united states
АҚШ-тың статикалық ISP проксиі: ешқашан өзгермейтін, үйге тіркелген IP
Тұрмыстық провайдерлерге тіркелген АҚШ статикалық ISP проксилері. Amazon сатушылары, жарнама және Instagram аккаунттарына арналған тұрақты америкалық IP.