Puppeteer autentimisega proxyga: käivituslipp ja sisselogimine
Autor: ProxyV4 insenerimeeskond · Updated:
Puppeteeri proxy autentimine toimub kahes kohas: proxy aadress määratakse käivituslipuga --proxy-server=http://ip:port ning kasutajanimi ja parool antakse käsuga await page.authenticate({ username, password }). Chrome vastab proxy 407-kutsungile nende mandaatidega DevTools Protocoli kaudu, võimaldades sinu Node.js skriptil kasutada ProxyV4 IP-d ilma brauserilaiendita.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1,85 $
- 3+ IP-d1,70 $
- 10+ IP-d1,60 $
- 25+ IP-d1,50 $
- 50+ IP-d1,40 $
- 100+ IP-d1,30 $
- 200+ IP-d1,20 $
- 500+ IP-d1,10 $
- 1 IP1,85 $
- 3+ IP-d1,70 $
- 10+ IP-d1,60 $
- 25+ IP-d1,50 $
- 50+ IP-d1,40 $
- 100+ IP-d1,30 $
- 200+ IP-d1,20 $
- 500+ IP-d1,10 $
Puppeteeri puhverserveri autentimine: täielik näide
Edastage puhverserveri aadress parameetriga --proxy-server ja sisselogimisandmed funktsiooniga page.authenticate() enne esimest navigeerimist. See skript teeb täpselt seda ja väljastab väljuva IP-aadressi, et saaksite puhverserveri toimimist ühe korraga kontrollida:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();Väljund peaks näitama staatust 200 ja puhverserveri IP-d. Kood 407, ERR_TUNNEL_CONNECTION_FAILED või teie enda IP tähendab, et üks kahest poolest on puudu; leht puhverserver ei tööta loetleb sagedasemad põhjused tööriistade kaupa.
Miks sisselogimisandmed ei kuulu lipu sisse
Chrome ei aktsepteeri autentimisandmeid lipu --proxy-server sees. Kui kirjutate --proxy-server=http://user:pass@ip:port, ei saa brauser seda väärtust kasutada ja päringud ebaõnnestuvad, tavaliselt veaga ERR_NO_SUPPORTED_PROXIES. Jätke lipu sisse vaid aadress ja port ning edastage sisselogimisandmed lehele.
| Järjekord | Kutse | Mida see teeb |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Ütleb Chrome'ile, millist puhverserverit iga päring peab kasutama |
| 2 | await page.authenticate({ username, password }) | Edastab autentimisandmed, kui puhverserver vastab koodiga 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Laadib sihtlehe läbi autentitud puhverserveri |
Vahekaardid, kontekstid ja mitu IP-aadressi
page.authenticate()määratakse lehe kaupa: igabrowser.newPage()vahekaart vajab enne esimestgoto()kutset eraldi väljakutset- Käivituslipp määrab ühe puhverserveri kogu brauserile. Kui soovite ühes Chrome'i protsessis konteksti kohta erinevat IP-d, laske iga
http://user:pass@ip:portläbi funktsioonianonymizeProxy()paketistproxy-chainja edastage tulemus parameetrinaproxyServermeetodilebrowser.createBrowserContext({ proxyServer }) - Seadistus töötab samamoodi pakettidega
puppeteer-extrajapuppeteer-extra-plugin-stealth - Lõpetage alati käsuga
browser.close(), sealhulgas veateedel, vastasel juhul kuhjuvad headless Chrome'i protsessid serverisse
Puppeteer koos SOCKS5 puhverserveriga
Chrome saab kasutada SOCKS5 puhverserverit (--proxy-server=socks5://IP:PORT), kuid ei suuda sinna sisse logida, ja page.authenticate() ei kehti SOCKS-i puhul. Teenuse ProxyV4 puhverserveriga (SOCKS5 on saadaval väljaspool Vietnami; Vietnami IP-d on ainult HTTP) on teil kaks selget lahendust: lülitage tellimus HTTP- või topeltrežiimile ja kasutage ülaltoodud näidet või laske paketil proxy-chain avada kohalik paroolita edasisuunaja, mis logib sisse teie eest:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);IP lubatud loendiga sisselogimine on kolmas võimalus: lisage masina avalik IP tellimusele ja Chrome loob ühenduse ilma igasuguste autentimisandmeteta.
IP-de valimine Puppeteeri pargi jaoks
Headless Chrome laadib alla terveid lehti, skripte ja pilte, mistõttu mahupõhine liiklus koguneb kiiresti. Teenuse ProxyV4 privaatsetel IPv4 ja staatilistel ISP puhverserveritel puudub andmemahu piirang, iga IP teenindab ainult ühte klienti ja pikendamisel säilib sama aadress, mis on oluline, kui seanss või lubatud loend on sellega seotud. Võrrelge privaatse IPv4 toodet staatilise ISP tootega, kui sihtsait kohtleb andmekeskuste vahemikke teistmoodi.
Samm-sammult
- 1
Käivita Chrome proxy aadressiga
Käivita brauser käsuga
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, kasutades oma ProxyV4 tellimuse IP-d ja porti. - 2
Autendi vahekaart
Ava leht käsuga
const page = await browser.newPage();ja kutsu enne mis tahes navigeerimist väljaawait page.authenticate({ username: 'USER', password: 'PASS' });. - 3
Kontrolli väljuvat IP-d
Liigu lehele käsuga
await page.goto('https://proxyv4.com/api/my-ip');ja veendu, et vastuses kuvatakse proxy aadress. - 4
Sulge brauser
Lõpeta tegevus käsuga
await browser.close();, et ükski Chrome'i protsess ei jääks taustale jooksma.
Korduma kippuvad küsimused
Mis põhjustab Puppeteeris veateate ERR_NO_SUPPORTED_PROXIES?
Autentimisandmed lipu sees, näiteks --proxy-server=http://user:pass@ip:port. Kasutage lippu --proxy-server=http://ip:port ning edastage kasutajanimi ja parool funktsiooniga page.authenticate().
Esimene vahekaart töötab, kuid uus vahekaart saab koodi HTTP 407. Miks?
Autentimist salvestatakse lehe kaupa. Enne navigeerimist kutsuge igal avatud lehel välja await newTab.authenticate({ username, password }).
Kas üks Puppeteeri brauser saab kasutada mitut puhverserverit korraga?
Mitte ainult käivituslipu kaudu. Kasutage paketti proxy-chain, et muuta iga autentimisega puhverserver kohalikuks aadressiks ja anda igale brauseri kontekstile oma proxyServer, või käivitage iga puhverserveri jaoks eraldi brauser.
Kuidas testida mitut puhverserverit enne nende Puppeteerile andmist?
Kleepige need puhverserveri kontrollijasse; see töötleb korraga kuni 100 puhverserverit ega salvesta paroole.
Miks page.authenticate() ei tööta minu SOCKS5 puhverserveriga?
Chrome ei toeta SOCKS5 puhul kasutajanime ja parooliga sisselogimist, mistõttu pole Puppeteeril millelegi vastata. Kasutage tellimuse HTTP-režiimi, paketi proxy-chain kohalikku edasisuunajat või IP lubatud loendiga sisselogimist.
Allikad
Piiramatu mahuga IP-d headless Chrome'ile
Privaatne IPv4 7 riigis ning staatiline ISP USA-s ja Vietnamis, väljastatakse automaatselt pärast makset, üks klient IP kohta.
Vaata kehtivaid USA hindu