Puppeteer са аутентификованим проксијем: заставица при покретању и пријава
Аутор: Инжењерски тим ProxyV4 · Updated:
Аутентификација проксија у Puppeteer-у обавља се на два места: адреса проксија се поставља у заставицу при покретању --proxy-server=http://ip:port, а корисничко име и лозинка у await page.authenticate({ username, password }). Chrome одговара на 407 захтев проксија тим подацима путем DevTools Protocol-а, па ваша Node.js скрипта може да користи ProxyV4 IP без екстензије за прегледач.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1,85 US$
- 3+ IP адреса1,70 US$
- 10+ IP адреса1,60 US$
- 25+ IP адреса1,50 US$
- 50+ IP адреса1,40 US$
- 100+ IP адреса1,30 US$
- 200+ IP адреса1,20 US$
- 500+ IP адреса1,10 US$
- 1 IP1,85 US$
- 3+ IP адреса1,70 US$
- 10+ IP адреса1,60 US$
- 25+ IP адреса1,50 US$
- 50+ IP адреса1,40 US$
- 100+ IP адреса1,30 US$
- 200+ IP адреса1,20 US$
- 500+ IP адреса1,10 US$
Аутентификација проксија у Puppeteer-у: комплетан пример
Проследите адресу проксија у --proxy-server и податке за пријаву кроз page.authenticate() пре прве навигације. Ова скрипта ради управо то и исписује излазну IP адресу, тако да можете да потврдите прокси у једном покретању:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();Излаз би требало да прикаже статус 200 и IP адресу проксија. Статус 407, ERR_TUNNEL_CONNECTION_FAILED или ваша сопствена IP адреса значе да недостаје једна од две половине; прокси не ради наводи уобичајене узроке по алатима.
Зашто пријава није део заставице
Chrome не прихвата пријавне податке унутар --proxy-server. Ако упишете --proxy-server=http://user:pass@ip:port, прегледач не може да користи ту вредност и захтеви падају, обично са ERR_NO_SUPPORTED_PROXIES. Задржите заставицу само за адресу и порт, а пријаву препустите страници.
| Редослед | Позив | Шта ради |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Говори Chrome-у који прокси сваки захтев треба да користи |
| 2 | await page.authenticate({ username, password }) | Шаље пријавне податке када прокси одговори са 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Учитава одредиште кроз аутентификовани прокси |
Картице, контексти и више IP адреса
page.authenticate()се подешава по страници: свакој картици изbrowser.newPage()потребан је сопствени позив пре првогgoto()- Заставица за покретање фиксира један прокси за цео прегледач. За различиту IP адресу по контексту у једном Chrome процесу, пропустите сваки
http://user:pass@ip:portкрозanonymizeProxy()из пакетаproxy-chainи проследите резултат каоproxyServerуbrowser.createBrowserContext({ proxyServer }) - Подешавање ради идентично и са
puppeteer-extraиpuppeteer-extra-plugin-stealth - Увек завршите са
browser.close(), укључујући и у случају грешке, иначе се headless Chrome процеси гомилају на серверу
Puppeteer са SOCKS5 проксијем
Chrome може да користи SOCKS5 прокси (--proxy-server=socks5://IP:PORT), али не може да се пријави на њега, а page.authenticate() се не односи на SOCKS. Уз ProxyV4 прокси (SOCKS5 се нуди ван Вијетнама; IP адресе из Вијетнама су само HTTP) имате две чисте опције: пребаците поруџбину на HTTP или дуални режим и користите горњи пример, или препустите да proxy-chain отвори локални преусмеривач без лозинке који се пријављује уместо вас:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);Пријава путем беле листе IP адреса је трећи начин: додајте јавну IP адресу машине у поруџбину и Chrome се повезује без икаквих пријавних података.
Избор IP адреса за Puppeteer флоту
Headless Chrome преузима комплетне странице, скрипте и слике, па се мерени саобраћај брзо троши. ProxyV4 приватни IPv4 и статички ISP проксији немају мерење протока, свака IP адреса служи само једном кориснику, а обнављање задржава исту адресу, што је важно када је сесија или листа дозвола везана за њу. Упоредите приватни IPv4 производ са статичким ISP производом ако циљни сајт другачије третира опсеге дата центара.
Корак по корак
- 1
Покрените Chrome са адресом проксија
Покрените прегледач помоћу
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, користећи IP и порт из ваше ProxyV4 поруџбине. - 2
Аутентификујте картицу
Отворите страницу помоћу
const page = await browser.newPage();и позовитеawait page.authenticate({ username: 'USER', password: 'PASS' });пре било какве навигације. - 3
Прочитајте излазну IP адресу
Пређите на страницу помоћу
await page.goto('https://proxyv4.com/api/my-ip');и проверите да ли одговор приказује адресу проксија. - 4
Затворите прегледач
Завршите рад позивом
await browser.close();како ниједан Chrome процес не би остао активан.
Често постављана питања
Шта узрокује ERR_NO_SUPPORTED_PROXIES у Puppeteer-у?
Пријавни подаци унутар заставице, као у --proxy-server=http://user:pass@ip:port. Користите --proxy-server=http://ip:port и проследите корисничко име и лозинку преко page.authenticate().
Моја прва картица ради, али нова картица добија HTTP 407. Зашто?
Аутентификација се чува по страници. Позовите await newTab.authenticate({ username, password }) на свакој отвореној страници пре него што почне навигација.
Може ли један Puppeteer прегледач користити више проксија истовремено?
Не само преко заставице за покретање. Користите proxy-chain да сваки аутентификовани прокси претворите у локалну адресу и сваком контексту прегледача доделите сопствени proxyServer, или покрените по један прегледач по проксију.
Како да тестирам више проксија пре него што их доделим Puppeteer-у?
Налепите их у проверу проксија; она обрађује до 100 одједном и не чува лозинке.
Зашто page.authenticate() не ради са мојим SOCKS5 проксијем?
Chrome не подржава пријаву корисничким именом и лозинком за SOCKS5, па Puppeteer нема на шта да одговори. Користите HTTP режим поруџбине, локални преусмеривач из proxy-chain пакета или пријаву преко беле листе IP адреса.
Извори
Неограничене IP адресе за headless Chrome
Приватни IPv4 у 7 земаља уз статички ISP у САД и Вијетнаму, аутоматски се издају након уплате, један корисник по IP адреси.
Проверите тренутне цене за САД