Puppeteer со автентицирано прокси: знаменце за стартување плус најава
Од инженерскиот тим на ProxyV4 · Updated:
Автентикацијата на прокси во Puppeteer се одвива на две места: адресата на проксито оди во знаменцето за стартување --proxy-server=http://ip:port, а корисничкото име и лозинката одат во await page.authenticate({ username, password }). Chrome одговара на барањето 407 од проксито со тие акредитиви преку DevTools протоколот, па вашата Node.js скрипта може да користи ProxyV4 IP без екстензија за прелистувач.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
Автентикација на прокси во Puppeteer: комплетен пример
Проследете ја прокси адресата во --proxy-server и податоците за најава преку page.authenticate() пред првата навигација. Оваа скрипта го прави токму тоа и ја печати излезната IP адреса, за да можете да го потврдите проксито во едно извршување:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();Излезот треба да прикаже статус 200 и IP адресата на проксито. Статус 407, ERR_TUNNEL_CONNECTION_FAILED или вашата сопствена IP адреса значи дека недостасува еден од двата дела; во проксито не работи се наведени вообичаените причини по алатка.
Зошто најавата не е дел од знаменцето
Chrome не прифаќа акредитиви внатре во --proxy-server. Доколку напишете --proxy-server=http://user:pass@ip:port, прелистувачот не може да ја искористи вредноста и барањата паѓаат, обично со ERR_NO_SUPPORTED_PROXIES. Задржете го знаменцето само за адресата и портата, а најавата препуштете ѝ ја на страницата.
| Редослед | Повик | Што прави |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Му кажува на Chrome кое прокси треба да го користи секое барање |
| 2 | await page.authenticate({ username, password }) | Ги доставува акредитивите кога проксито одговара со 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Ја вчитува целната страница преку автентицираното прокси |
Јазичиња, контексти и повеќе од една IP адреса
page.authenticate()се поставува по страница: секое јазиче одbrowser.newPage()има потреба од сопствен повик пред првотоgoto()- Знаменцето за стартување фиксира едно прокси за целиот прелистувач. За различна IP адреса по контекст во еден Chrome процес, пропуштете го секое
http://user:pass@ip:portпрекуanonymizeProxy()од пакетотproxy-chainи проследете го резултатот какоproxyServerвоbrowser.createBrowserContext({ proxyServer }) - Поставувањето работи идентично и со
puppeteer-extraиpuppeteer-extra-plugin-stealth - Секогаш завршувајте со
browser.close(), вклучително и при грешки, во спротивно headless Chrome процесите ќе се наталожат на серверот
Puppeteer со SOCKS5 прокси
Chrome може да користи SOCKS5 прокси (--proxy-server=socks5://IP:PORT), но не може да се најави на него, а page.authenticate() не важи за SOCKS. Со ProxyV4 прокси (SOCKS5 се нуди надвор од Виетнам; виетнамските IP адреси се само HTTP) имате две чисти опции: префрлете ја нарачката на HTTP или двоен режим и користете го примерот погоре, или дозволете proxy-chain да отвори локален препраќач без лозинка кој ќе се најавува наместо вас:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);Најавата преку бела листа на IP адреси е трет начин: додајте ја јавната IP адреса на машината во нарачката и Chrome ќе се поврзе без никакви акредитиви.
Избор на IP адреси за Puppeteer флота
Headless Chrome презема целосни страници, скрипти и слики, па мерениот сообраќај брзо се акумулира. Приватните IPv4 и статичните ISP проксија од ProxyV4 немаат ограничување на пропусниот опсег, секоја IP адреса опслужува само еден корисник, а обновувањето ја задржува истата адреса, што е важно кога сесијата или листата на дозволени адреси е поврзана со неа. Споредете го производот за приватни IPv4 со производот за статични ISP доколку целната веб-страница различно ги третира опсезите на датацентрите.
Чекор по чекор
- 1
Стартувајте го Chrome со адресата на проксито
Стартувајте го прелистувачот со
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, користејќи ги IP адресата и портата од вашата ProxyV4 нарачка. - 2
Автентицирајте го јазичето
Отворете страница со
const page = await browser.newPage();и повикајтеawait page.authenticate({ username: 'USER', password: 'PASS' });пред каква било навигација. - 3
Прочитајте ја излезната IP адреса
Отворете ја страницата со
await page.goto('https://proxyv4.com/api/my-ip');и проверете дали одговорот ја прикажува адресата на проксито. - 4
Исклучете го прелистувачот
Завршете со
await browser.close();за да не остане активен ниту еден Chrome процес.
Често поставувани прашања
Што предизвикува ERR_NO_SUPPORTED_PROXIES во Puppeteer?
Акредитивите внатре во знаменцето, како во --proxy-server=http://user:pass@ip:port. Користете --proxy-server=http://ip:port и проследете ги корисничкото име и лозинката преку page.authenticate().
Моето прво јазиче работи, но ново јазиче добива HTTP 407. Зошто?
Автентикацијата се зачувува по страница. Повикајте await newTab.authenticate({ username, password }) на секоја отворена страница пред да започне навигацијата.
Може ли еден Puppeteer прелистувач да користи повеќе прокси истовремено?
Не само преку знаменцето за стартување. Користете proxy-chain за да го претворите секое автентицирано прокси во локална адреса и доделете му на секој контекст на прелистувач сопствен proxyServer, или стартувајте по еден прелистувач за секое прокси.
Како да тестирам повеќе прокси пред да ги користам во Puppeteer?
Вметнете ги во проверувачот на прокси; тој обработува до 100 одеднаш и не зачувува лозинки.
Зошто page.authenticate() не работи со моето SOCKS5 прокси?
Chrome не поддржува најава со корисничко име и лозинка за SOCKS5, па Puppeteer нема на што да одговори. Користете го HTTP режимот на нарачката, локален препраќач од proxy-chain или најава преку бела листа на IP адреси.
Извори
Неограничени IP адреси за headless Chrome
Приватни IPv4 во 7 земји плус статички ISP во САД и Виетнам, издадени автоматски по плаќањето, еден корисник по IP адреса.
Проверете ги цените во живо за САД