Puppeteer z avtentificiranim proxyjem: zagonski parameter in prijava
Avtor: inženirska ekipa ProxyV4 · Updated:
Avtentikacija proxyja v Puppeteerju poteka na dveh mestih: naslov proxyja vnesete v zagonski parameter --proxy-server=http://ip:port, uporabniško ime in geslo pa v await page.authenticate({ username, password }). Chrome se na zahtevo proxyja 407 odzove s temi poverilnicami prek protokola DevTools Protocol, zato lahko vaš skript v Node.js uporablja IP ponudnika ProxyV4 brez razširitve brskalnika.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1,85 $
- 3+ IP-jev1,70 $
- 10+ IP-jev1,60 $
- 25+ IP-jev1,50 $
- 50+ IP-jev1,40 $
- 100+ IP-jev1,30 $
- 200+ IP-jev1,20 $
- 500+ IP-jev1,10 $
- 1 IP1,85 $
- 3+ IP-jev1,70 $
- 10+ IP-jev1,60 $
- 25+ IP-jev1,50 $
- 50+ IP-jev1,40 $
- 100+ IP-jev1,30 $
- 200+ IP-jev1,20 $
- 500+ IP-jev1,10 $
Avtentikacija proxyja v Puppeteerju: celoten primer
Naslov proxyja podajte v --proxy-server, prijavne podatke pa prek page.authenticate() pred prvo navigacijo. Ta skript naredi natanko to in izpiše izhodni IP, tako da lahko delovanje proxyja potrdite v enem zagonu:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();Izhod bi moral prikazati status 200 in IP proxyja. Status 407, ERR_TUNNEL_CONNECTION_FAILED ali vaš lastni IP pomeni, da manjka eden od obeh delov; stran proxy ne deluje navaja običajne vzroke po posameznih orodjih.
Zakaj prijava ni del zastavice
Chrome znotraj --proxy-server ne sprejema prijavnih podatkov. Če zapišete --proxy-server=http://user:pass@ip:port, brskalnik te vrednosti ne more uporabiti in zahtevki spodletijo, običajno z napako ERR_NO_SUPPORTED_PROXIES. Zastavico omejite na naslov in vrata, prijavo pa prepustite strani.
| Vrstni red | Klic | Kaj naredi |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Chromu pove, kateri proxy naj uporabi vsak zahtevek |
| 2 | await page.authenticate({ username, password }) | Posreduje prijavne podatke, ko proxy odgovori s 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Naloži cilj prek avtenticiranega proxyja |
Zavihki, konteksti in več kot en IP
page.authenticate()je nastavljen na posamezno stran: vsak zavihek izbrowser.newPage()potrebuje lasten klic pred prvimgoto()- Zagonska zastavica določi en proxy za celoten brskalnik. Za različen IP na kontekst v enem procesu Chrome spustite vsak
http://user:pass@ip:portskozianonymizeProxy()iz paketaproxy-chainin posredujte rezultat kotproxyServervbrowser.createBrowserContext({ proxyServer }) - Nastavitev deluje enako z orodjema
puppeteer-extrainpuppeteer-extra-plugin-stealth - Vedno zaključite z
browser.close(), vključno pri napakah, sicer se na strežniku kopičijo procesi headless Chrome
Puppeteer s proxyjem SOCKS5
Chrome lahko uporablja proxy SOCKS5 (--proxy-server=socks5://IP:PORT), vendar se vanj ne more prijaviti, page.authenticate() pa za SOCKS ne velja. Pri proxyju ProxyV4 (SOCKS5 je na voljo zunaj Vietnama; vietnamski IP-ji so le HTTP) imate dve čisti možnosti: preklopite naročilo v način HTTP ali dvojni način in uporabite zgornji primer, ali pa naj proxy-chain odpre lokalni posrednik brez gesla, ki se prijavi namesto vas:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);Prijava z belim seznamom IP-jev je tretja možnost: dodajte javni IP naprave v naročilo in Chrome se bo povezal brez kakršnih koli prijavnih podatkov.
Izbira IP-jev za floto Puppeteer
Brezglavi Chrome prenaša celotne strani, skripte in slike, zato se merjeni promet hitro nabere. Zasebni IPv4 in statični ISP proxyji ProxyV4 nimajo merjenja pasovne širine, vsak IP služi le eni stranki, podaljšanje pa ohrani isti naslov, kar je pomembno, kadar je nanj vezana seja ali seznam dovoljenih. Primerjajte izdelek zasebni IPv4 z izdelkom statični ISP, če ciljno spletno mesto obsege podatkovnih centrov obravnava drugače.
Korak za korakom
- 1
Zaženite Chrome z naslovom proxyja
Zaženite brskalnik z
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, pri čemer uporabite IP in vrata iz vašega naročila pri ProxyV4. - 2
Avtentificirajte zavihek
Odprite stran z
const page = await browser.newPage();in pred vsako navigacijo pokličiteawait page.authenticate({ username: 'USER', password: 'PASS' });. - 3
Preverite izhodni IP
Navigirajte z
await page.goto('https://proxyv4.com/api/my-ip');in preverite, ali odgovor prikazuje naslov proxyja. - 4
Zaprite brskalnik
Zaključite z
await browser.close();, da v ozadju ne ostane noben zagnan proces Chrome.
Pogosta vprašanja
Kaj povzroča ERR_NO_SUPPORTED_PROXIES v Puppeteerju?
Prijavni podatki znotraj zastavice, kot v --proxy-server=http://user:pass@ip:port. Uporabite --proxy-server=http://ip:port in posredujte uporabniško ime ter geslo prek page.authenticate().
Moj prvi zavihek deluje, nov zavihek pa javi HTTP 407. Zakaj?
Avtentikacija je shranjena za vsako stran posebej. Pokličite await newTab.authenticate({ username, password }) na vsaki odprti strani, preden začne navigacijo.
Ali lahko en brskalnik Puppeteer hkrati uporablja več proxyjev?
Ne zgolj prek zagonske zastavice. Uporabite proxy-chain, da vsak avtenticirani proxy pretvorite v lokalni naslov in vsakemu kontekstu brskalnika dodelite lasten proxyServer, ali pa zaženite en brskalnik na proxy.
Kako preizkusim več proxyjev, preden jih uporabim v Puppeteerju?
Prilepite jih v preverjevalnik proxyjev; hkrati lahko obdela do 100 proxyjev in ne shranjuje gesel.
Zakaj page.authenticate() ne deluje z mojim proxyjem SOCKS5?
Chrome ne podpira prijave z uporabniškim imenom in geslom za SOCKS5, zato Puppeteer nima na kaj odgovoriti. Uporabite način HTTP vašega naročila, lokalni posrednik iz paketa proxy-chain ali prijavo z belim seznamom IP-jev.
Viri
Neomejeni IP-ji za brezglavi Chrome
Zasebni IPv4 v 7 državah ter statični ISP v ZDA in Vietnamu, izdani samodejno po plačilu, en naročnik na IP.
Preverite trenutne cene za ZDA