ProxyV4

Selenium WebDriver і проксі з аўтарызацыяй: працоўныя варыянты

· Updated:

Для аўтарызацыі проксі ў Selenium патрэбна абыходнае рашэнне, бо сцяг --proxy-server=http://ip:port у ChromeDriver не можа перадаваць імя карыстальніка і пароль; Chrome скідае ўбудаваныя user:pass і паказвае акно ўваходу, якое WebDriver не здольны запоўніць. Два надзейныя варыянты — гэта selenium-wire, які кіруе аўтарызацыяй у ProxyV4 праз Python, і невялікае пашырэнне для Chrome, якое адказвае на onAuthRequired на любой мове, што падтрымліваецца Selenium.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Прыватныя IPv4 (датацэнтр)
🇺🇸 Злучаныя Штаты
У наяўнасці
Ад
1,10 $ / IP / месяц
Зніжкі за аб'ём
  • 1 IP1,85 $
  • Ад 3 IP1,70 $
  • Ад 10 IP1,60 $
  • Ад 25 IP1,50 $
  • Ад 50 IP1,40 $
  • Ад 100 IP1,30 $
  • Ад 200 IP1,20 $
  • Ад 500 IP1,10 $
Купіць Злучаныя Штаты
Статычныя рэзідэнцкія ISP
🇺🇸 Злучаныя Штаты
У наяўнасці
Ад
1,50 $ / IP / месяц
Зніжкі за аб'ём
  • 1 IP2,25 $
  • Ад 3 IP2,10 $
  • Ад 10 IP2,00 $
  • Ад 25 IP1,90 $
  • Ад 50 IP1,80 $
  • Ад 100 IP1,70 $
  • Ад 200 IP1,60 $
  • Ад 500 IP1,50 $
Купіць Злучаныя Штаты
Проксі паводле платформаў:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Параўнанне варыянтаў

МетадЯк наладзіцьКаму падыходзіць
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Найхутчэйшы спосаб у Python; проксі можна змяняць проста падчас працы браўзера
Пашырэнне для аўтарызацыіZIP-архіў пашырэння, фонавы скрыпт якога апрацоўвае chrome.webRequest.onAuthRequiredАднолькава добра для Java, C#, Python і undetected-chromedriver
Пераход на Playwrightbrowser.newContext({ proxy: { server, username, password } })Для новых праектаў; аўтарызацыя проксі ўбудаваная, пашырэнні не патрэбныя

Што адбываецца са звычайным --proxy-server

Chrome бярэ адрас проксі з каманднага радка, але ігнаруе любыя ўліковыя даныя, пазначаныя ў ім. Калі проксі вяртае статус 407, Chrome адкрывае стандартнае сістэмнае акно ўваходу. Гэтае акно знаходзіцца па-за межамі DOM старонкі, таму find_element не можа яго знайсці, і скрыпт спыняецца праз таймаўт. Такім чынам, кожны працоўны метад перадае даныя для аўтарызацыі асобна ад гэтага сцяга.

Звярніце ўвагу, што selenium-wire больш не падтрымліваецца актыўна. Бібліятэка ўсё яшчэ працуе ў многіх выпадках, але для доўгатэрміновых праектаў надзейней выкарыстоўваць пашырэнне або Playwright.

Як забяспечыць эфектыўную працу Selenium з проксі

  • Усталюйце options.page_load_strategy = 'eager', каб скрыпт працягваў працу адразу пасля гатоўнасці DOM, а не чакаў загрузкі павольных іншых скрыптоў
  • Для фонавага рэжыму ў Chrome 109 і навейшых версіях выкарыстоўвайце --headless=new; тады пашырэнні, уключаючы модуль аўтарызацыі, працуюць як у звычайным акне
  • Адключыце загрузку выяў у наладах Chrome, калі вам патрэбны толькі тэкст, напрыклад цэны або назвы
  • Абгарніце driver.quit() у блок try / finally, каб пры збоі не заставалася вісець працэсаў Chrome

Перад маштабаваннем

Кожная сесія WebDriver — гэта паўнавартасны браўзер, таму вылучайце кожнай сесіі асобны IP, калі сайт звязвае акаўнты па адрасе. Прыватны IPv4 ад ProxyV4 здаецца ў арэнду аднаму кліенту і захоўвае свой адрас пры падаўжэнні, што дазваляе трымаць доўгатэрміновыя тэставыя акаўнты на адным і тым жа IP. Спачатку праверце новыя проксі праз проксі-чэкер, каб дрэнная лінія не выглядала як незразумелы таймаўт Selenium.

Калі запуск усё яшчэ адкрывае старонкі з уласнага IP сервера або спыняецца праз памылку тунэлявання, у раздзеле Selenium дакумента проксі не працуе па парадку пералічаны асноўныя прычыны.

Крок за крокам

  1. 1

    Усталюйце selenium-wire

    У сваім віртуальным асяроддзі выканайце pip install selenium-wire.

  2. 2

    Апішыце проксі

    Сфармуйце sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} на аснове вашага заказу ў ProxyV4.

  3. 3

    Запусціце Chrome з гэтымі параметрамі

    Стварыце драйвер з дапамогай driver = webdriver.Chrome(seleniumwire_options=sw_options), імпартаваўшы webdriver з seleniumwire.

  4. 4

    Праверце выходны IP

    Выклічце driver.get('https://proxyv4.com/api/my-ip') і пераканайцеся, што на старонцы паказаны адрас проксі.

Частыя пытанні

Чаму ChromeOptions ігнаруе --proxy-server=http://user:pass@ip:port?

Chrome адмыслова выдаляе ўліковыя даныя са значэння --proxy-server. Перадавайце іх праз selenium-wire, пашырэнне з onAuthRequired або перайдзіце на Playwright, які прымае імя карыстальніка і пароль наўпрост.

Ці можа selenium-wire змяняць проксі без перазапуску браўзера?

Так. Прызначце новы слоўнік: driver.proxy = {'http': 'http://...', 'https': 'http://...'}, і ўсе наступныя запыты будуць выкарыстоўваць новы проксі.

Ці працуе пашырэнне аўтарызацыі ў headless-рэжыме Chrome?

Так, са сцягам --headless=new. Стары рэжым --headless не загружаў пашырэнні належным чынам.

Selenium выдае таймаўт на кожнай старонцы праз проксі. Што рабіць?

Адпраўце запыт да эндпойнта праверкі IP праз curl з тымі ж уліковымі данымі. Калі curl таксама вяртае памылку, праблема ў лініі або порце; у інструкцыі па таймаўтах проксі пералічана, што трэба праверыць.

Крыніцы

Стабільныя IP для сесій Selenium

Прыватныя IPv4 у 7 краінах і статычныя ISP у ЗША і В'етнаме, з лагінам і паролем, без ліміту трафіка і па адным кліенту на IP.

Паглядзець актуальныя цэны ў ЗША

Related articles

Проксі паводле платформаў
Проксі для вэб-скрэйпінгу: фіксаваны пул IP з неабмежаваным трафікам
Проксі для вэб-скрэйпінгу на Python, Scrapy, Playwright і Selenium: пул прыватных IPv4 і статычных ISP-адрасоў, безлімітны трафік, фіксаваная цана за IP.
Налада проксі
Аўтэнтыфікацыя проксі ў Playwright: адзін статычны IP на кантэкст
Дадавайце HTTP(S)-проксі з аўтэнтыфікацыяй для кожнага кантэксту Playwright у Node.js ці Python, падбірайце таймзону і лакаль пад IP і правярайце выхадны адрас.
Налада проксі
Запыты Python праз проксі з аўтэнтыфікацыяй: крок за крокам
Адпраўляйце запыты Python праз HTTP(S)-проксі з аўтэнтыфікацыяй: збярыце слоўнік proxies, дадайце ў Session, кадуйце паролі, ратуйце спіс і праверце свой IP.
Налада проксі
Puppeteer з аўтэнтыфікаваным проксі: сцяг запуску плюс лагін
Аўтэнтыфікацыя проксі ў Puppeteer: прыклад з --proxy-server для адраса і page.authenticate() для лагіна, а таксама SOCKS5, кантэксты і выпраўленне памылак.
Проксі паводле платформаў
Проксі для SEO-трэкінгу: бачце старонку вынікаў такой, якой яе бачыць мясцовы карыстальнік
SEO-проксі з прыватнымі IPv4 у ЗША, Вялікабрытаніі, В'етнаме, Японіі і яшчэ 4 краінах: пазіцыі, лакальныя блокі і рэклама дакладна як у мясцовых жыхароў.
Проксі паводле платформаў
Проксі для прадаўцоў Amazon: пастаянны адрас для кожнага акаўнта
Проксі Amazon для Seller Central, KDP і Merch: статычны ISP ЗША ці прыватны IPv4 Вялікабрытаніі/Японіі. Арэнда ў адны рукі і захаванне пры падаўжэнні.
IPV4 · united states
Пул прыватных IPv4-проксі ЗША для скрапінгу, адсочвання пазіцый і праверкі рэкламы
Купляйце прыватныя IPv4-проксі ЗША: статычныя IP дата-цэнтраў, адзін кліент на IP, безлімітны трафік. Для скрапінгу, адсочвання SERP і праверкі рэкламы.
ISP · united states
Статычны ISP-проксі ЗША: дамашні зарэгістраваны IP, які ніколі не змяняецца
Статычныя ISP-проксі ЗША ад хатніх правайдэраў. Адзін фіксаваны амерыканскі IP на акаўнт для прадаўцоў Amazon, рэкламных кабінетаў і Instagram.