Puppeteer з проксі з аутентифікацією: прапорець запуску та логін
Від інженерної команди ProxyV4 · Updated:
Аутентифікація проксі в Puppeteer відбувається у двох місцях: адреса проксі вказується у прапорці запуску --proxy-server=http://ip:port, а ім'я користувача та пароль передаються в await page.authenticate({ username, password }). Chrome відповідає на запит 407 від проксі цими обліковими даними через DevTools Protocol, тож ваш скрипт на Node.js може використовувати IP від ProxyV4 без розширення для браузера.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1,85 USD
- Від 3 IP1,70 USD
- Від 10 IP1,60 USD
- Від 25 IP1,50 USD
- Від 50 IP1,40 USD
- Від 100 IP1,30 USD
- Від 200 IP1,20 USD
- Від 500 IP1,10 USD
- 1 IP1,85 USD
- Від 3 IP1,70 USD
- Від 10 IP1,60 USD
- Від 25 IP1,50 USD
- Від 50 IP1,40 USD
- Від 100 IP1,30 USD
- Від 200 IP1,20 USD
- Від 500 IP1,10 USD
Аутентифікація проксі в Puppeteer: повний приклад
Передайте адресу проксі у --proxy-server, а дані для входу через page.authenticate() перед першим переходом. Цей скрипт робить саме це і виводить вихідну IP-адресу, тож ви можете перевірити проксі за один запуск:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();У виводі має відображатися статус 200 та IP-адреса проксі. Статус 407, ERR_TUNNEL_CONNECTION_FAILED або ваша власна IP-адреса означають, що відсутня одна з двох частин; у статті проксі не працює наведено типові причини для кожного інструмента.
Чому дані для входу не є частиною прапорця
Chrome не приймає облікові дані всередині --proxy-server. Якщо вказати --proxy-server=http://user:pass@ip:port, браузер не зможе використати це значення, і запити завершаться помилкою, зазвичай із кодом ERR_NO_SUPPORTED_PROXIES. Залишайте в прапорці лише адресу та порт, а дані для входу передавайте сторінці.
| Порядок | Виклик | Що робить |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Вказує Chrome, який проксі використовувати для кожного запиту |
| 2 | await page.authenticate({ username, password }) | Передає облікові дані, коли проксі повертає 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Завантажує цільову сторінку через проксі з аутентифікацією |
Вкладки, контексти та кілька IP-адрес
page.authenticate()встановлюється для кожної сторінки окремо: кожна вкладка зі створеногоbrowser.newPage()потребує власного виклику перед першимgoto()- Прапорець запуску фіксує один проксі для всього браузера. Щоб мати різну IP-адресу для кожного контексту в одному процесі Chrome, пропустіть кожен
http://user:pass@ip:portчерезanonymizeProxy()з пакетаproxy-chainі передайте результат якproxyServerуbrowser.createBrowserContext({ proxyServer }) - Налаштування працює аналогічно з
puppeteer-extraтаpuppeteer-extra-plugin-stealth - Завжди завершуйте роботу викликом
browser.close(), включно з гілками обробки помилок, інакше процеси headless Chrome накопичуватимуться на сервері
Puppeteer із проксі SOCKS5
Chrome може використовувати SOCKS5-проксі (--proxy-server=socks5://IP:PORT), але не вміє авторизуватися на ньому, а page.authenticate() не застосовується до SOCKS. Із проксі від ProxyV4 (SOCKS5 пропонується за межами В'єтнаму; в'єтнамські IP підтримують лише HTTP) у вас є два зручні варіанти: перемкнути замовлення на HTTP або подвійний режим і використати наведений вище приклад, або дозволити proxy-chain відкрити локальний форвардер без пароля, який виконуватиме вхід за вас:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);Авторизація за білим списком IP — третій спосіб: додайте публічну IP-адресу машини до замовлення, і Chrome підключатиметься без будь-яких облікових даних.
Вибір IP-адрес для пулу Puppeteer
Headless Chrome завантажує сторінки повністю разом зі скриптами та зображеннями, тому лімітований трафік швидко вичерпується. Приватні IPv4 та статичні ISP-проксі від ProxyV4 не мають обліку трафіку, кожен IP надається тільки одному клієнту, а продовження зберігає ту саму адресу, що важливо, якщо до неї прив'язана сесія або білий список. Порівняйте приватні IPv4-проксі зі статичними ISP-проксі, якщо цільовий сайт по-різному ставиться до діапазонів дата-центрів.
Покрокова інструкція
- 1
Запустіть Chrome з адресою проксі
Запустіть браузер за допомогою
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, використовуючи IP та порт із вашого замовлення ProxyV4. - 2
Авторизуйте вкладку
Відкрийте сторінку через
const page = await browser.newPage();і викличтеawait page.authenticate({ username: 'USER', password: 'PASS' });перед будь-яким переходом. - 3
Перевірте вихідний IP
Перейдіть за посиланням за допомогою
await page.goto('https://proxyv4.com/api/my-ip');і переконайтеся, що у відповіді відображається адреса проксі. - 4
Закрийте браузер
Завершіть роботу через
await browser.close();, щоб не залишити запущених процесів Chrome.
Часті запитання
Через що виникає ERR_NO_SUPPORTED_PROXIES у Puppeteer?
Облікові дані всередині прапорця, як-от --proxy-server=http://user:pass@ip:port. Використовуйте --proxy-server=http://ip:port і передавайте ім'я користувача та пароль через page.authenticate().
Перша вкладка працює, але нова отримує HTTP 407. Чому?
Аутентифікація зберігається для кожної сторінки окремо. Викликайте await newTab.authenticate({ username, password }) для кожної нової сторінки перед переходом.
Чи може один браузер Puppeteer використовувати кілька проксі одночасно?
Лише за допомогою прапорця запуску — ні. Використовуйте proxy-chain, щоб перетворити кожен проксі з аутентифікацією на локальну адресу та надати кожному контексту браузера власний proxyServer, або запускайте окремий браузер для кожного проксі.
Як протестувати багато проксі перед їх передачею в Puppeteer?
Вставте їх у проксі-чекер; він обробляє до 100 адрес одночасно та не зберігає паролі.
Чому page.authenticate() не працює з моїм SOCKS5-проксі?
Chrome не підтримує авторизацію за логіном і паролем для SOCKS5, тому Puppeteer не має на що відповідати. Використовуйте режим HTTP вашого замовлення, локальний форвардер із proxy-chain або авторизацію за білим списком IP.
Джерела
Безлімітні IP для headless Chrome
Приватні IPv4 у 7 країнах і статичні ISP у США та В'єтнамі з автоматичною видачею після оплати, один клієнт на IP.
Переглянути актуальні ціни для США