Puppeteer ar autentificētu starpniekserveri: palaišanas karodziņš un pieteikšanās
Autors: ProxyV4 inženieru komanda · Updated:
Puppeteer starpniekservera autentifikācija notiek divās vietās: starpniekservera adresi norāda palaišanas karodziņā --proxy-server=http://ip:port, bet lietotājvārdu un paroli ievada await page.authenticate({ username, password }). Chrome atbild uz starpniekservera 407 pieprasījumu ar šiem akreditācijas datiem caur DevTools Protocol, ļaujot jūsu Node.js skriptam izmantot ProxyV4 IP bez pārlūka paplašinājuma.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
Puppeteer starpniekservera autentifikācija: pilnīgs piemērs
Norādiet starpniekservera adresi --proxy-server un pieteikšanās datus ar page.authenticate() pirms pirmās navigācijas. Šis skripts veic tieši to un izvada izejas IP adresi, lai jūs varētu pārbaudīt starpniekserveri vienā palaišanas reizē:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();Izvadē jābūt redzamam statusam 200 un starpniekservera IP adresei. Statuss 407, ERR_TUNNEL_CONNECTION_FAILED vai jūsu personīgā IP adrese nozīmē, ka trūkst vienas no divām daļām; sadaļā starpniekserveris nedarbojas ir uzskaitīti biežākie cēloņi katram rīkam.
Kāpēc pieteikšanās dati nav daļa no karodziņa
Chrome nepieņem piekļuves datus --proxy-server parametros. Ja norādīsiet --proxy-server=http://user:pass@ip:port, pārlūkprogramma nevarēs izmantot šo vērtību un pieprasījumi neizdosies, parasti ar kļūdu ERR_NO_SUPPORTED_PROXIES. Karodziņā norādiet tikai adresi un portu, bet pieteikšanās datus nododiet lapai.
| Secība | Izsaukums | Ko tas dara |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Norāda Chrome, kuru starpniekserveri jāizmanto katram pieprasījumam |
| 2 | await page.authenticate({ username, password }) | Nodrošina piekļuves datus, kad starpniekserveris atbild ar 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Ielādē mērķa lapu caur autentificēto starpniekserveri |
Cilnes, konteksti un vairākas IP adreses
page.authenticate()tiek iestatīts katrai lapai atsevišķi: katrai cilnei nobrowser.newPage()ir nepieciešams savs izsaukums pirms pirmāsgoto()izpildes- Palaišanas karodziņš nosaka vienu starpniekserveri visai pārlūkprogrammai. Lai vienā Chrome procesā katram kontekstam izmantotu citu IP adresi, palaidiet katru
http://user:pass@ip:portcauranonymizeProxy()no pakotnesproxy-chainun nododiet rezultātu kāproxyServerfunkcijaibrowser.createBrowserContext({ proxyServer }) - Šī konfigurācija darbojas tieši tāpat ar
puppeteer-extraunpuppeteer-extra-plugin-stealth - Vienmēr pabeidziet darbu ar
browser.close(), tostarp kļūdu apstrādes zaros, pretējā gadījumā serverī uzkrāsies headless Chrome procesi
Puppeteer ar SOCKS5 starpniekserveri
Chrome var izmantot SOCKS5 starpniekserveri (--proxy-server=socks5://IP:PORT), bet nevar tajā pieteikties, un page.authenticate() neattiecas uz SOCKS. Izmantojot ProxyV4 starpniekserveri (SOCKS5 tiek piedāvāts ārpus Vjetnamas; Vjetnamas IP adreses ir tikai HTTP), jums ir divi ērti risinājumi: pārslēdziet pasūtījumu uz HTTP vai dubulto režīmu un izmantojiet augstāk redzamo piemēru, vai arī ļaujiet proxy-chain atvērt lokālu pāradresētāju bez paroles, kas veiks pieteikšanos jūsu vietā:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);Pieteikšanās ar IP balto sarakstu ir trešais veids: pievienojiet iekārtas publisko IP adresi pasūtījumam, un Chrome izveidos savienojumu bez piekļuves datiem.
IP adrešu izvēle Puppeteer infrastruktūrai
Headless Chrome lejupielādē pilnas lapas, skriptus un attēlus, tāpēc uzskaitītais datu apjoms ātri pieaug. ProxyV4 privātajiem IPv4 un statiskajiem ISP starpniekserveriem nav datplūsmas ierobežojumu, katra IP adrese kalpo tikai vienam klientam, un atjaunošana saglabā to pašu adresi, kas ir svarīgi, ja ar to ir piesaistīta sesija vai atļauto adrešu saraksts. Salīdziniet privāto IPv4 produktu ar statisko ISP produktu, ja mērķa vietne datu centru diapazonus uztver atšķirīgi.
Soli pa solim
- 1
Palaidiet Chrome ar starpniekservera adresi
Palaidiet pārlūku ar
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, izmantojot IP un portu no sava ProxyV4 pasūtījuma. - 2
Autentificējiet cilni
Atveriet lapu ar
const page = await browser.newPage();un pirms jebkuras navigācijas izsaucietawait page.authenticate({ username: 'USER', password: 'PASS' });. - 3
Pārbaudiet izejas IP adresi
Pārejiet uz adresi ar
await page.goto('https://proxyv4.com/api/my-ip');un pārliecinieties, ka atbildē ir redzama starpniekservera adrese. - 4
Aizveriet pārlūku
Pabeidziet darbu ar
await browser.close();, lai fonā nepaliktu neviens aktīvs Chrome process.
Biežāk uzdotie jautājumi
Kas izraisa ERR_NO_SUPPORTED_PROXIES kļūdu Puppeteer?
Piekļuves dati karodziņā, piemēram, --proxy-server=http://user:pass@ip:port. Izmantojiet --proxy-server=http://ip:port un nododiet lietotājvārdu un paroli, izmantojot page.authenticate().
Mana pirmā cilne darbojas, bet jaunā cilnē parādās HTTP 407. Kāpēc?
Autentifikācija tiek saglabāta katrai lapai atsevišķi. Pirms pāriešanas uz adresi izsauciet await newTab.authenticate({ username, password }) katrai atvērtajai lapai.
Vai viena Puppeteer pārlūkprogramma var vienlaikus izmantot vairākus starpniekserverus?
Tikai ar palaišanas karodziņu to nevar izdarīt. Izmantojiet proxy-chain, lai pārveidotu katru autentificēto starpniekserveri par lokālu adresi un piešķirtu katram pārlūkprogrammas kontekstam savu proxyServer, vai palaidiet atsevišķu pārlūkprogrammu katram starpniekserverim.
Kā pārbaudīt daudzus starpniekserverus pirms to nodošanas Puppeteer?
Ielīmējiet tos starpniekserveru pārbaudītājā; tas vienlaikus apstrādā līdz 100 adresēm un nesaglabā paroles.
Kāpēc page.authenticate() nedarbojas ar manu SOCKS5 starpniekserveri?
Chrome neatbalsta lietotājvārda un paroles pieteikšanos SOCKS5 protokolam, tāpēc Puppeteer nav uz ko atbildēt. Izmantojiet pasūtījuma HTTP režīmu, lokālo pāradresētāju no proxy-chain vai autorizāciju pēc IP baltā saraksta.
Avoti
Neierobežotas IP adreses headless Chrome
Privātās IPv4 adreses 7 valstīs un statiskie ISP starpniekserveri ASV un Vjetnamā, izsniegti automātiski pēc apmaksas, viena IP vienam klientam.
Skatīt ASV cenas reāllaikā