Puppeteer с прокси с автентикация: флаг за стартиране плюс вход
От инженерния екип на ProxyV4 · Updated:
Автентикацията на прокси в Puppeteer става на две места: адресът на проксито се задава във флага за стартиране --proxy-server=http://ip:port, а потребителското име и паролата се подават в await page.authenticate({ username, password }). Chrome отговаря на заявката 407 от проксито с тези данни през DevTools Protocol, така че вашият Node.js скрипт може да използва ProxyV4 IP без разширение за браузър.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1,85 щ.д.
- 3+ IP адреса1,70 щ.д.
- 10+ IP адреса1,60 щ.д.
- 25+ IP адреса1,50 щ.д.
- 50+ IP адреса1,40 щ.д.
- 100+ IP адреса1,30 щ.д.
- 200+ IP адреса1,20 щ.д.
- 500+ IP адреса1,10 щ.д.
- 1 IP1,85 щ.д.
- 3+ IP адреса1,70 щ.д.
- 10+ IP адреса1,60 щ.д.
- 25+ IP адреса1,50 щ.д.
- 50+ IP адреса1,40 щ.д.
- 100+ IP адреса1,30 щ.д.
- 200+ IP адреса1,20 щ.д.
- 500+ IP адреса1,10 щ.д.
Автентикация на прокси в Puppeteer: пълен пример
Подайте адреса на проксито в --proxy-server, а данните за вход чрез page.authenticate() преди първата навигация. Този скрипт прави точно това и извежда изходния IP адрес, за да потвърдите проксито с едно пускане:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();Резултатът трябва да показва статус 200 и IP адреса на проксито. Статус 407, ERR_TUNNEL_CONNECTION_FAILED или вашият собствен IP адрес означава, че липсва една от двете части; в проксито не работи са посочени обичайните причини за всеки инструмент.
Защо данните за вход не са част от флага
Chrome не приема данни за вход вътре в --proxy-server. Ако напишете --proxy-server=http://user:pass@ip:port, браузърът не може да използва стойността и заявките се провалят, обикновено с ERR_NO_SUPPORTED_PROXIES. Ограничете флага само до адрес и порт, а данните за вход подайте на страницата.
| Ред | Извикване | Какво прави |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Указва на Chrome кое прокси да използва всяка заявка |
| 2 | await page.authenticate({ username, password }) | Подава данните за вход, когато проксито върне 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Зарежда целевия адрес през автентикираното прокси |
Табове, контексти и повече от един IP адрес
page.authenticate()се задава за всяка страница: всеки таб отbrowser.newPage()се нуждае от собствено извикване преди първияgoto()- Флагът за стартиране фиксира едно прокси за целия браузър. За различен IP адрес за всеки контекст в един процес на Chrome, прекарайте всяко
http://user:pass@ip:portпрезanonymizeProxy()от пакетаproxy-chainи подайте резултата катоproxyServerнаbrowser.createBrowserContext({ proxyServer }) - Настройката работи по същия начин и с
puppeteer-extraиpuppeteer-extra-plugin-stealth - Винаги завършвайте с
browser.close(), включително при възникване на грешки, в противен случай headless процесите на Chrome ще се натрупат на сървъра
Puppeteer със SOCKS5 прокси
Chrome може да използва SOCKS5 прокси (--proxy-server=socks5://IP:PORT), но не поддържа вход в него, а page.authenticate() не важи за SOCKS. С прокси от ProxyV4 (SOCKS5 се предлага извън Виетнам; виетнамските IP адреси са само HTTP) имате два чисти варианта: превключете поръчката на HTTP или двоен режим и използвайте примера по-горе, или оставете proxy-chain да отвори локален пренасочващ сървър без парола, който да влезе вместо вас:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);Входът чрез бял списък с IP адреси е трети начин: добавете публичния IP адрес на машината към поръчката и Chrome ще се свърже без никакви данни за вход.
Избор на IP адреси за Puppeteer инстанции
Headless Chrome изтегля цели страници, скриптове и изображения, така че ограниченият трафик се натрупва бързо. Индивидуалните IPv4 и статичните ISP проксита на ProxyV4 нямат ограничение на трафика, всеки IP адрес обслужва само един клиент, а подновяването запазва същия адрес, което е важно, когато към него е обвързана сесия или списък с разрешени адреси. Сравнете продукта за частни IPv4 със статичния ISP продукт, ако целевият сайт третира диапазоните от центрове за данни по различен начин.
Стъпка по стъпка
- 1
Стартирайте Chrome с адреса на проксито
Стартирайте браузъра с
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, използвайки IP адреса и порта от вашата поръчка в ProxyV4. - 2
Автентикирайте таба
Отворете страница с
const page = await browser.newPage();и извикайтеawait page.authenticate({ username: 'USER', password: 'PASS' });преди всяка навигация. - 3
Проверете изходното IP
Навигирайте с
await page.goto('https://proxyv4.com/api/my-ip');и се уверете, че отговорът показва адреса на проксито. - 4
Затворете браузъра
Завършете с
await browser.close();, за да не остават работещи процеси на Chrome.
Често задавани въпроси
Какво причинява ERR_NO_SUPPORTED_PROXIES в Puppeteer?
Данни за вход вътре във флага, като в --proxy-server=http://user:pass@ip:port. Използвайте --proxy-server=http://ip:port и предайте потребителското име и паролата чрез page.authenticate().
Първият ми таб работи, но нов таб връща HTTP 407. Защо?
Автентикацията се съхранява за всяка страница поотделно. Извиквайте await newTab.authenticate({ username, password }) за всяка нова отворена страница, преди тя да навигира.
Може ли един Puppeteer браузър да използва няколко проксита едновременно?
Не и само чрез флага за стартиране. Използвайте proxy-chain, за да превърнете всяко автентикирано прокси в локален адрес и задайте собствен proxyServer за всеки браузърен контекст, или стартирайте по един браузър за всяко прокси.
Как да тествам множество проксита, преди да ги подам на Puppeteer?
Поставете ги в инструмента за проверка на прокси; той обработва до 100 наведнъж и не съхранява пароли.
Защо page.authenticate() не работи с моето SOCKS5 прокси?
Chrome не поддържа вход с потребителско име и парола за SOCKS5, така че няма на какво Puppeteer да отговори. Използвайте HTTP режима на поръчката, локален пренасочващ сървър от proxy-chain или вход чрез бял списък с IP адреси.
Източници
Неограничен трафик за headless Chrome
Индивидуални IPv4 в 7 държави плюс статични ISP в САЩ и Виетнам, издавани автоматично след плащане, един клиент на IP.
Вижте актуалните цени за САЩ