Puppeteer з аўтэнтыфікаваным проксі: сцяг запуску плюс лагін
Ад інжынернай каманды ProxyV4 · Updated:
Аўтэнтыфікацыя проксі ў Puppeteer адбываецца ў двух месцах: адрас проксі перадаецца ў сцяг запуску --proxy-server=http://ip:port, а імя карыстальніка і пароль — у await page.authenticate({ username, password }). Chrome адказвае на 407-запыт проксі гэтымі ўліковымі данымі праз DevTools Protocol, таму ваш скрыпт Node.js можа выкарыстоўваць IP ад ProxyV4 без пашырэння для браўзера.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1,85 $
- Ад 3 IP1,70 $
- Ад 10 IP1,60 $
- Ад 25 IP1,50 $
- Ад 50 IP1,40 $
- Ад 100 IP1,30 $
- Ад 200 IP1,20 $
- Ад 500 IP1,10 $
- 1 IP1,85 $
- Ад 3 IP1,70 $
- Ад 10 IP1,60 $
- Ад 25 IP1,50 $
- Ад 50 IP1,40 $
- Ад 100 IP1,30 $
- Ад 200 IP1,20 $
- Ад 500 IP1,10 $
Аўтэнтыфікацыя проксі ў Puppeteer: поўны прыклад
Перадайце адрас проксі ў --proxy-server, а даныя для ўваходу — праз page.authenticate() перад першым пераходам. Гэты скрыпт робіць менавіта гэта і выводзіць выхадны IP, каб вы маглі пацвердзіць працу проксі за адзін запуск:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();Вывад павінен паказаць статус 200 і IP проксі. Статус 407, ERR_TUNNEL_CONNECTION_FAILED або ваш уласны IP азначаюць, што адна з дзвюх частак адсутнічае; на старонцы проксі не працуе пералічаны тыповыя прычыны для кожнага інструмента.
Чаму лагін не перадаецца ў сцягу
Chrome не прымае ўліковыя даныя ўнутры --proxy-server. Калі вы пазначыце --proxy-server=http://user:pass@ip:port, браўзер не зможа выкарыстаць гэтае значэнне, і запыты завершацца памылкай, звычайна з ERR_NO_SUPPORTED_PROXIES. Пакідайце ў сцягу толькі адрас і порт, а даныя для ўваходу перадавайце старонцы.
| Парадак | Выклік | Што робіць |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Паведамляе Chrome, які проксі павінен выкарыстоўваць кожны запыт |
| 2 | await page.authenticate({ username, password }) | Перадае ўліковыя даныя, калі проксі адказвае 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Загружае мэтавы адрас праз аўтэнтыфікаваны проксі |
Укладкі, кантэксты і некалькі IP
page.authenticate()задаецца для кожнай старонкі: кожная ўкладка зbrowser.newPage()патрабуе ўласнага выкліку перад першымgoto()- Сцяг запуску фіксуе адзін проксі для ўсяго браўзера. Каб выкарыстоўваць розныя IP для розных кантэкстаў у адным працэсе Chrome, прапусціце кожны
http://user:pass@ip:portпразanonymizeProxy()з пакетаproxy-chainі перадайце вынік якproxyServerуbrowser.createBrowserContext({ proxyServer }) - Налада працуе аднолькава з
puppeteer-extraіpuppeteer-extra-plugin-stealth - Заўсёды завяршайце працу выклікам
browser.close(), у тым ліку пры ўзнікненні памылак, інакш headless-працэсы Chrome будуць запасіцца на серверы
Puppeteer з проксі SOCKS5
Chrome можа выкарыстоўваць проксі SOCKS5 (--proxy-server=socks5://IP:PORT), але не можа выконваць у ім аўтарызацыю, а page.authenticate() не ўжываецца да SOCKS. З проксі ProxyV4 (SOCKS5 прапануецца за межамі В'етнама; IP В'етнама працуюць толькі па HTTP) у вас ёсць два простыя варыянты: пераключыць заказ у рэжым HTTP або дуальны рэжым і выкарыстаць прыведзены вышэй прыклад альбо дазволіць proxy-chain адкрыць лакальны форвардэр без пароля, які выканае ўваход за вас:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);Аўтарызацыя праз белы спіс IP — гэта трэці спосаб: дадайце публічны IP машыны ў заказ, і Chrome падключыцца без якіх-небудзь уліковых даных.
Выбар IP для пула Puppeteer
Headless Chrome спампоўвае старонкі цалкам, са скрыптамі і відарысамі, таму лімітаваны трафік хутка вычэрпваецца. Прыватныя IPv4 і статычныя ISP-проксі ProxyV4 не маюць абмежаванняў па трафіку, кожны IP абслугоўвае толькі аднаго кліента, а пры падаўжэнні захоўваецца той жа адрас, што важна пры прывязцы да сесіі або дазвольнага спіса. Параўнайце прадукт прыватных IPv4 з прадуктам статычных ISP, калі мэтавы сайт па-рознаму ставіцца да дыяпазонаў дата-цэнтраў.
Крок за крокам
- 1
Запусціце Chrome з адрасам проксі
Запусціце браўзер з дапамогай
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, выкарыстоўваючы IP і порт з вашай замовы ProxyV4. - 2
Аўтарызуйце ўкладку
Адкрыйце старонку з дапамогай
const page = await browser.newPage();і выклічцеawait page.authenticate({ username: 'USER', password: 'PASS' });перад любым пераходам. - 3
Праверце выходны IP
Перайдзіце па адрасе з дапамогай
await page.goto('https://proxyv4.com/api/my-ip');і пераканайцеся, што ў адказе адлюстроўваецца адрас проксі. - 4
Закрыйце браўзер
Завяршыце працу выклікам
await browser.close();, каб не пакідаць запушчаных працэсаў Chrome.
Частыя пытанні
Што выклікае ERR_NO_SUPPORTED_PROXIES у Puppeteer?
Уліковыя даныя ўнутры сцяга, як у --proxy-server=http://user:pass@ip:port. Выкарыстоўвайце --proxy-server=http://ip:port і перадавайце імя карыстальніка і пароль праз page.authenticate().
Першая ўкладка працуе, але новая атрымлівае HTTP 407. Чаму?
Аўтэнтыфікацыя захоўваецца для кожнай старонкі асобна. Выклікайце await newTab.authenticate({ username, password }) для кожнай новай старонкі перад пераходам па адрасе.
Ці можа адзін браўзер Puppeteer выкарыстоўваць некалькі проксі адначасова?
Толькі праз сцяг запуску — не. Выкарыстоўвайце proxy-chain, каб ператварыць кожны аўтэнтыфікаваны проксі ў лакальны адрас і даць кожнаму кантэксту браўзера свой proxyServer, альбо запускайце па адным браўзеры на кожны проксі.
Як праверыць шмат проксі перад перадачай у Puppeteer?
Устаўце іх у чэкер проксі; ён апрацоўвае да 100 адрасоў за раз і не захоўвае паролі.
Чаму page.authenticate() не працуе з маім проксі SOCKS5?
Chrome не падтрымлівае аўтарызацыю па імені карыстальніка і паролі для SOCKS5, таму Puppeteer няма на што адказваць. Выкарыстоўвайце рэжым HTTP у заказе, лакальны форвардэр з proxy-chain або аўтарызацыю па белым спісе IP.
Крыніцы
Бязлімітныя IP для headless Chrome
Прыватныя IPv4 у 7 краінах плюс статычныя ISP у ЗША і В'етнаме, выдаюцца аўтаматычна пасля аплаты, адзін кліент на IP.
Паглядзець актуальныя цэны ў ЗША