ProxyV4

Puppeteer з аўтэнтыфікаваным проксі: сцяг запуску плюс лагін

· Updated:

Аўтэнтыфікацыя проксі ў Puppeteer адбываецца ў двух месцах: адрас проксі перадаецца ў сцяг запуску --proxy-server=http://ip:port, а імя карыстальніка і пароль — у await page.authenticate({ username, password }). Chrome адказвае на 407-запыт проксі гэтымі ўліковымі данымі праз DevTools Protocol, таму ваш скрыпт Node.js можа выкарыстоўваць IP ад ProxyV4 без пашырэння для браўзера.

Puppeteer · HTTP
--proxy-server=http://ip:port + page.authenticate({ username, password })
Прыватныя IPv4 (датацэнтр)
🇺🇸 Злучаныя Штаты
У наяўнасці
Ад
1,10 $ / IP / месяц
Зніжкі за аб'ём
  • 1 IP1,85 $
  • Ад 3 IP1,70 $
  • Ад 10 IP1,60 $
  • Ад 25 IP1,50 $
  • Ад 50 IP1,40 $
  • Ад 100 IP1,30 $
  • Ад 200 IP1,20 $
  • Ад 500 IP1,10 $
Купіць Злучаныя Штаты
Прыватныя IPv4 (датацэнтр)
🇸🇬 Сінгапур
У наяўнасці
Ад
1,10 $ / IP / месяц
Зніжкі за аб'ём
  • 1 IP1,85 $
  • Ад 3 IP1,70 $
  • Ад 10 IP1,60 $
  • Ад 25 IP1,50 $
  • Ад 50 IP1,40 $
  • Ад 100 IP1,30 $
  • Ад 200 IP1,20 $
  • Ад 500 IP1,10 $
Купіць Сінгапур
Проксі паводле платформаў:Web Scraping & CrawlingSEO & SERP TrackingYouTube

Аўтэнтыфікацыя проксі ў Puppeteer: поўны прыклад

Перадайце адрас проксі ў --proxy-server, а даныя для ўваходу — праз page.authenticate() перад першым пераходам. Гэты скрыпт робіць менавіта гэта і выводзіць выхадны IP, каб вы маглі пацвердзіць працу проксі за адзін запуск:

// npm i puppeteer
const puppeteer = require('puppeteer');

const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };

(async () => {
  const browser = await puppeteer.launch({
    args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
  });
  try {
    const page = await browser.newPage();
    await page.authenticate({ username: PROXY.username, password: PROXY.password });
    const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
    console.log(res.status(), await page.evaluate(() => document.body.innerText));
  } finally {
    await browser.close();
  }
})();

Вывад павінен паказаць статус 200 і IP проксі. Статус 407, ERR_TUNNEL_CONNECTION_FAILED або ваш уласны IP азначаюць, што адна з дзвюх частак адсутнічае; на старонцы проксі не працуе пералічаны тыповыя прычыны для кожнага інструмента.

Чаму лагін не перадаецца ў сцягу

Chrome не прымае ўліковыя даныя ўнутры --proxy-server. Калі вы пазначыце --proxy-server=http://user:pass@ip:port, браўзер не зможа выкарыстаць гэтае значэнне, і запыты завершацца памылкай, звычайна з ERR_NO_SUPPORTED_PROXIES. Пакідайце ў сцягу толькі адрас і порт, а даныя для ўваходу перадавайце старонцы.

ПарадакВыклікШто робіць
1puppeteer.launch({ args: ['--proxy-server=http://ip:port'] })Паведамляе Chrome, які проксі павінен выкарыстоўваць кожны запыт
2await page.authenticate({ username, password })Перадае ўліковыя даныя, калі проксі адказвае 407
3await page.goto(url, { waitUntil: 'domcontentloaded' })Загружае мэтавы адрас праз аўтэнтыфікаваны проксі

Укладкі, кантэксты і некалькі IP

  • page.authenticate() задаецца для кожнай старонкі: кожная ўкладка з browser.newPage() патрабуе ўласнага выкліку перад першым goto()
  • Сцяг запуску фіксуе адзін проксі для ўсяго браўзера. Каб выкарыстоўваць розныя IP для розных кантэкстаў у адным працэсе Chrome, прапусціце кожны http://user:pass@ip:port праз anonymizeProxy() з пакета proxy-chain і перадайце вынік як proxyServer у browser.createBrowserContext({ proxyServer })
  • Налада працуе аднолькава з puppeteer-extra і puppeteer-extra-plugin-stealth
  • Заўсёды завяршайце працу выклікам browser.close(), у тым ліку пры ўзнікненні памылак, інакш headless-працэсы Chrome будуць запасіцца на серверы

Puppeteer з проксі SOCKS5

Chrome можа выкарыстоўваць проксі SOCKS5 (--proxy-server=socks5://IP:PORT), але не можа выконваць у ім аўтарызацыю, а page.authenticate() не ўжываецца да SOCKS. З проксі ProxyV4 (SOCKS5 прапануецца за межамі В'етнама; IP В'етнама працуюць толькі па HTTP) у вас ёсць два простыя варыянты: пераключыць заказ у рэжым HTTP або дуальны рэжым і выкарыстаць прыведзены вышэй прыклад альбо дазволіць proxy-chain адкрыць лакальны форвардэр без пароля, які выканае ўваход за вас:

const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);

Аўтарызацыя праз белы спіс IP — гэта трэці спосаб: дадайце публічны IP машыны ў заказ, і Chrome падключыцца без якіх-небудзь уліковых даных.

Выбар IP для пула Puppeteer

Headless Chrome спампоўвае старонкі цалкам, са скрыптамі і відарысамі, таму лімітаваны трафік хутка вычэрпваецца. Прыватныя IPv4 і статычныя ISP-проксі ProxyV4 не маюць абмежаванняў па трафіку, кожны IP абслугоўвае толькі аднаго кліента, а пры падаўжэнні захоўваецца той жа адрас, што важна пры прывязцы да сесіі або дазвольнага спіса. Параўнайце прадукт прыватных IPv4 з прадуктам статычных ISP, калі мэтавы сайт па-рознаму ставіцца да дыяпазонаў дата-цэнтраў.

Крок за крокам

  1. 1

    Запусціце Chrome з адрасам проксі

    Запусціце браўзер з дапамогай const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, выкарыстоўваючы IP і порт з вашай замовы ProxyV4.

  2. 2

    Аўтарызуйце ўкладку

    Адкрыйце старонку з дапамогай const page = await browser.newPage(); і выклічце await page.authenticate({ username: 'USER', password: 'PASS' }); перад любым пераходам.

  3. 3

    Праверце выходны IP

    Перайдзіце па адрасе з дапамогай await page.goto('https://proxyv4.com/api/my-ip'); і пераканайцеся, што ў адказе адлюстроўваецца адрас проксі.

  4. 4

    Закрыйце браўзер

    Завяршыце працу выклікам await browser.close();, каб не пакідаць запушчаных працэсаў Chrome.

Частыя пытанні

Што выклікае ERR_NO_SUPPORTED_PROXIES у Puppeteer?

Уліковыя даныя ўнутры сцяга, як у --proxy-server=http://user:pass@ip:port. Выкарыстоўвайце --proxy-server=http://ip:port і перадавайце імя карыстальніка і пароль праз page.authenticate().

Першая ўкладка працуе, але новая атрымлівае HTTP 407. Чаму?

Аўтэнтыфікацыя захоўваецца для кожнай старонкі асобна. Выклікайце await newTab.authenticate({ username, password }) для кожнай новай старонкі перад пераходам па адрасе.

Ці можа адзін браўзер Puppeteer выкарыстоўваць некалькі проксі адначасова?

Толькі праз сцяг запуску — не. Выкарыстоўвайце proxy-chain, каб ператварыць кожны аўтэнтыфікаваны проксі ў лакальны адрас і даць кожнаму кантэксту браўзера свой proxyServer, альбо запускайце па адным браўзеры на кожны проксі.

Як праверыць шмат проксі перад перадачай у Puppeteer?

Устаўце іх у чэкер проксі; ён апрацоўвае да 100 адрасоў за раз і не захоўвае паролі.

Чаму page.authenticate() не працуе з маім проксі SOCKS5?

Chrome не падтрымлівае аўтарызацыю па імені карыстальніка і паролі для SOCKS5, таму Puppeteer няма на што адказваць. Выкарыстоўвайце рэжым HTTP у заказе, лакальны форвардэр з proxy-chain або аўтарызацыю па белым спісе IP.

Крыніцы

Бязлімітныя IP для headless Chrome

Прыватныя IPv4 у 7 краінах плюс статычныя ISP у ЗША і В'етнаме, выдаюцца аўтаматычна пасля аплаты, адзін кліент на IP.

Паглядзець актуальныя цэны ў ЗША

Related articles

Проксі паводле платформаў
Проксі для вэб-скрэйпінгу: фіксаваны пул IP з неабмежаваным трафікам
Проксі для вэб-скрэйпінгу на Python, Scrapy, Playwright і Selenium: пул прыватных IPv4 і статычных ISP-адрасоў, безлімітны трафік, фіксаваная цана за IP.
Налада проксі
Аўтэнтыфікацыя проксі ў Playwright: адзін статычны IP на кантэкст
Дадавайце HTTP(S)-проксі з аўтэнтыфікацыяй для кожнага кантэксту Playwright у Node.js ці Python, падбірайце таймзону і лакаль пад IP і правярайце выхадны адрас.
Налада проксі
Проксі з аўтэнтыфікацыяй у Node.js: Axios, убудаваны fetch і Got
Накіроўвайце запыты Node.js і TypeScript праз HTTP(S)-проксі з аўтэнтыфікацыяй: https-proxy-agent для Axios, undici ProxyAgent для fetch і hpagent для Got.
Бясплатныя інструменты
Пераўтварыце спіс проксі ў фармат, неабходны вашаму інструменту
Канвертуйце спісы проксі ў браўзеры паміж ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, масівамі JSON і файламі імпарту FoxyProxy масава.
Проксі паводле платформаў
Проксі для SEO-трэкінгу: бачце старонку вынікаў такой, якой яе бачыць мясцовы карыстальнік
SEO-проксі з прыватнымі IPv4 у ЗША, Вялікабрытаніі, В'етнаме, Японіі і яшчэ 4 краінах: пазіцыі, лакальныя блокі і рэклама дакладна як у мясцовых жыхароў.
Проксі паводле платформаў
Проксі для YouTube: абараніце астатнія каналы ад страйку на адным
Проксі для YouTube для аўтараў і каманд: па адным статычным ISP ці IPv4 на канал, каб страйк або блакіроўка аднаго канала ніяк не закранулі астатнія.
IPV4 · united states
Пул прыватных IPv4-проксі ЗША для скрапінгу, адсочвання пазіцый і праверкі рэкламы
Купляйце прыватныя IPv4-проксі ЗША: статычныя IP дата-цэнтраў, адзін кліент на IP, безлімітны трафік. Для скрапінгу, адсочвання SERP і праверкі рэкламы.
IPV4 · singapore
Прыватны IPv4-проксі Сінгапура: адзін фіксаваны IP на краму і рэкламны акаўнт
Прыватныя IPv4-проксі Сінгапура: статычны дата-цэнтр IP у адны рукі для крам Lazada і Shopee SG, сінгапурскіх рэкламных акаўнтаў і рэгіянальнай аўтаматызацыі.