Puppeteer me proxy të autentikuar: flamuri i nisjes plus hyrja
Nga ekipi inxhinierik i ProxyV4 · Updated:
Autentikimi i proxy-t në Puppeteer bëhet në dy vende: adresa e proxy-t vendoset te flamuri i nisjes --proxy-server=http://ip:port, ndërsa emri i përdoruesit dhe fjalëkalimi te await page.authenticate({ username, password }). Chrome i përgjigjet kërkesës 407 të proxy-t me ato kredenciale përmes DevTools Protocol, kështu që skripti juaj Node.js mund të përdorë një IP nga ProxyV4 pa pasur nevojë për shtesë në shfletues.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
Autentifikimi i proxy-t në Puppeteer: një shembull i plotë
Kaloni adresën e proxy-t në --proxy-server dhe hyrjen përmes page.authenticate() përpara navigimit të parë. Ky skript bën pikërisht këtë dhe printon IP-në dalëse, në mënyrë që të konfirmoni proxy-n me një ekzekutim të vetëm:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();Rezultati duhet të shfaqë statusin 200 dhe IP-në e proxy-t. Një 407, ERR_TUNNEL_CONNECTION_FAILED ose IP-ja juaj nënkupton se mungon njëra nga të dyja pjesët; te proxy që nuk punon renditen shkaqet e zakonshme për çdo mjet.
Pse hyrja nuk është pjesë e flamurit
Chrome nuk pranon kredenciale brenda --proxy-server. Nëse shkruani --proxy-server=http://user:pass@ip:port, shfletuesi nuk mund ta përdorë vlerën dhe kërkesat dështojnë, zakonisht me ERR_NO_SUPPORTED_PROXIES. Mbajeni flamurin vetëm me adresën dhe portën, dhe kalojani hyrjen faqes.
| Rendi | Thirrja | Çfarë bën |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | I tregon Chrome-it se cilin proxy duhet të përdorë çdo kërkesë |
| 2 | await page.authenticate({ username, password }) | Jep kredencialet kur proxy përgjigjet me 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Ngarkon objektivin përmes proxy-t të autentifikuar |
Skedat, kontekstet dhe më shumë se një IP
page.authenticate()vendoset për çdo faqe: çdo skedë ngabrowser.newPage()ka nevojë për thirrjen e saj përparagoto()të parë- Flamuri i nisjes përcakton një proxy për të gjithë shfletuesin. Për një IP të ndryshme për çdo kontekst brenda një procesi të vetëm të Chrome, kaloni secilin
http://user:pass@ip:portpërmesanonymizeProxy()nga paketaproxy-chaindhe kalojeni rezultatin siproxyServertebrowser.createBrowserContext({ proxyServer }) - Konfigurimi funksionon njësoj edhe me
puppeteer-extradhepuppeteer-extra-plugin-stealth - Përfundoni gjithmonë me
browser.close(), duke përfshirë edhe rastet me gabime, përndryshe proceset e headless Chrome do të grumbullohen në server
Puppeteer me një proxy SOCKS5
Chrome mund të përdorë një proxy SOCKS5 (--proxy-server=socks5://IP:PORT), por nuk mund të identifikohet në të, dhe page.authenticate() nuk zbatohet për SOCKS. Me një proxy nga ProxyV4 (SOCKS5 ofrohet jashtë Vietnamit; IP-të e Vietnamit janë vetëm HTTP) keni dy mundësi të pastra: kalojeni porosinë në modalitetin HTTP ose dual dhe përdorni shembullin e mësipërm, ose lini proxy-chain të hapë një përcjellës lokal pa fjalëkalim që identifikohet për ju:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);Hyrja me listë të bardhë të IP-ve është një mënyrë e tretë: shtoni IP-në publike të pajisjes te porosia dhe Chrome lidhet pa asnjë kredencial.
Zgjedhja e IP-ve për një flotë Puppeteer
Headless Chrome shkarkon faqe të plota, skripte dhe imazhe, kështu që trafiku i matur shtohet shpejt. Proxy-t privatë IPv4 dhe ISP statikë nga ProxyV4 nuk kanë kufizim apo matje të brezit të transmetimit, çdo IP i shërben vetëm një klienti dhe rinovimi ruan të njëjtën adresë, gjë që ka rëndësi kur një sesion ose listë e lejuar lidhet me të. Krahasoni produktin IPv4 privat me produktin ISP statik nëse faqja e synuar i trajton ndryshe diapazonët e qendrave të të dhënave.
Hap pas hapi
- 1
Nisni Chrome me adresën e proxy-t
Nisni shfletuesin me
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, duke përdorur IP-në dhe portën nga porosia juaj në ProxyV4. - 2
Autentikoni skedën
Hapni një faqe me
const page = await browser.newPage();dhe thërrisniawait page.authenticate({ username: 'USER', password: 'PASS' });para çdo navigimi. - 3
Lexoni IP-në dalëse
Navigoni me
await page.goto('https://proxyv4.com/api/my-ip');dhe kontrolloni që përgjigjja të shfaqë adresën e proxy-t. - 4
Mbyllni shfletuesin
Përfundoni me
await browser.close();në mënyrë që të mos mbetet asnjë proces Chrome në ekzekutim.
Pyetjet e shpeshta
Çfarë e shkakton ERR_NO_SUPPORTED_PROXIES në Puppeteer?
Kredencialet brenda flamurit, si tek --proxy-server=http://user:pass@ip:port. Përdorni --proxy-server=http://ip:port dhe kaloni emrin e përdoruesit dhe fjalëkalimin përmes page.authenticate().
Skeda ime e parë funksionon, por një skedë e re merr HTTP 407. Pse?
Autentifikimi ruhet për çdo faqe. Thirrni await newTab.authenticate({ username, password }) në çdo faqe që hapni përpara se ajo të navigojë.
A mund të përdorë një shfletues Puppeteer disa proxy njëkohësisht?
Jo vetëm përmes flamurit të nisjes. Përdorni proxy-chain për ta kthyer çdo proxy të autentifikuar në një adresë lokale dhe jepini çdo konteksti të shfletuesit një proxyServer më vete, ose nisni një shfletues për çdo proxy.
Si mund të testoj shumë proxy përpara se t'ia kaloj ato Puppeteer?
Ngjitini ato te kontrolluesi i proxy-ve; ai përpunon deri në 100 njëherësh dhe nuk ruan fjalëkalime.
Pse page.authenticate() nuk funksionon me proxy-n tim SOCKS5?
Chrome nuk mbështet hyrjen me emër përdoruesi dhe fjalëkalim për SOCKS5, kështu që nuk ka asgjë për t'iu përgjigjur nga Puppeteer. Përdorni modalitetin HTTP të porosisë, një përcjellës lokal nga proxy-chain, ose hyrjen me listë të bardhë të IP-ve.
Burimet
Adresa IP të pakufizuara për Chrome headless
IPv4 privat në 7 shtete plus ISP statik në SHBA dhe Vietnam, të lëshuara automatikisht pas pagesës, një klient për çdo IP.
Shikoni çmimet aktuale në SHBA