Puppeteer su autentifikuotu proxy: paleidimo vėliavėlė ir prisijungimas
Parengė ProxyV4 inžinierių komanda · Updated:
Puppeteer proxy autentifikavimas atliekamas dviejose vietose: proxy adresas nurodomas paleidimo vėliavėlėje --proxy-server=http://ip:port, o naudotojo vardas ir slaptažodis – await page.authenticate({ username, password }). Chrome atsako į proxy 407 užklausą šiais prisijungimo duomenimis per „DevTools Protocol“, todėl jūsų Node.js scenarijus gali naudoti ProxyV4 IP be jokio naršyklės plėtinio.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
Puppeteer proxy autentifikavimas: išsamus pavyzdys
Prieš pirmąjį naršymo veiksmą perduokite proxy adresą parametre --proxy-server, o prisijungimo duomenis – per page.authenticate(). Šis scenarijus būtent tai ir atlieka bei atspausdina išvesties IP, kad galėtumėte patvirtinti proxy veikimą vienu paleidimu:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();Išvestyje turėtų būti rodoma būsena 200 ir proxy IP. Būsena 407, ERR_TUNNEL_CONNECTION_FAILED arba jūsų tikrasis IP reiškia, kad trūksta vienos iš dviejų dalių; puslapyje proxy neveikia pateikiamos dažniausios priežastys pagal įrankius.
Kodėl prisijungimo duomenys nėra vėliavėlės dalis
Chrome nepriima prisijungimo duomenų parametre --proxy-server. Jei įrašysite --proxy-server=http://user:pass@ip:port, naršyklė negalės panaudoti šios reikšmės ir užklausos nepavyks, dažniausiai su klaida ERR_NO_SUPPORTED_PROXIES. Vėliavėlėje nurodykite tik adresą ir prievadą, o prisijungimo duomenis perduokite puslapiui.
| Eil. nr. | Iškvietimas | Ką atlieka |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Nurodo Chrome, kurį proxy serverį turi naudoti kiekviena užklausa |
| 2 | await page.authenticate({ username, password }) | Pateikia prisijungimo duomenis, kai proxy atsako 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Užkrauna tikslinį puslapį per autentifikuotą proxy |
Kortelės, kontekstai ir daugiau nei vienas IP
page.authenticate()nustatomas kiekvienam puslapiui: kiekvienai kortelei išbrowser.newPage()reikalingas atskiras iškvietimas prieš pirmąjįgoto()- Paleidimo vėliavėlė priskiria vieną proxy visai naršyklei. Norėdami naudoti skirtingą IP kiekvienam kontekstui tame pačiame Chrome procese, praleiskite kiekvieną
http://user:pass@ip:portperanonymizeProxy()išproxy-chainpaketo ir perduokite rezultatą kaipproxyServerįbrowser.createBrowserContext({ proxyServer }) - Konfigūracija veikia taip pat ir su
puppeteer-extrabeipuppeteer-extra-plugin-stealth - Visada baikite darbą su
browser.close(), įskaitant klaidų apdorojimo blokus, kitaip serveryje kaupsis foniniai Chrome procesai
Puppeteer su SOCKS5 proxy
Chrome gali naudoti SOCKS5 proxy (--proxy-server=socks5://IP:PORT), tačiau negali prie jo prisijungti, o page.authenticate() netaikomas SOCKS. Naudodami ProxyV4 proxy (SOCKS5 siūlomas už Vietnamo ribų; Vietnamo IP veikia tik per HTTP), turite du tvarkingus pasirinkimus: pakeisti užsakymą į HTTP arba dvigubą režimą ir naudoti aukščiau pateiktą pavyzdį, arba leisti proxy-chain atidaryti vietinį nukreipimą be slaptažodžio, kuris prisijungs už jus:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);Prisijungimas per baltąjį IP sąrašą yra trečias būdas: pridėkite įrenginio viešąjį IP prie užsakymo ir Chrome prisijungs be jokių prisijungimo duomenų.
IP pasirinkimas Puppeteer infrastruktūrai
Headless Chrome atsisiunčia visus puslapius, scenarijus ir vaizdus, todėl apskaitomas srautas greitai išeikvojamas. ProxyV4 privatūs IPv4 ir statiniai ISP proxy neturi srauto apribojimų, kiekvienas IP skirtas tik vienam klientui, o pratęsiant išlaikomas tas pats adresas, kas yra svarbu, kai prie jo pririšta sesija ar leidžiamųjų adresų sąrašas. Palyginkite privatų IPv4 produktą su statiniu ISP produktu, jei tikslinė svetainė duomenų centrų rėžius vertina kitaip.
Žingsnis po žingsnio
- 1
Paleiskite Chrome su proxy adresu
Paleiskite naršyklę su
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, naudodami IP ir prievadą iš savo ProxyV4 užsakymo. - 2
Autentifikuokite kortelę
Atidarykite puslapį su
const page = await browser.newPage();ir prieš bet kokią navigaciją iškvieskiteawait page.authenticate({ username: 'USER', password: 'PASS' });. - 3
Patikrinkite išeinantį IP
Pereikite į adresą su
await page.goto('https://proxyv4.com/api/my-ip');ir įsitikinkite, kad atsakyme rodomas proxy adresas. - 4
Uždarykite naršyklę
Užbaikite darbą su
await browser.close();, kad neliktų veikiančių Chrome procesų.
Dažnai užduodami klausimai
Kas sukelia ERR_NO_SUPPORTED_PROXIES Puppeteer?
Prisijungimo duomenys vėliavėlėje, pavyzdžiui, --proxy-server=http://user:pass@ip:port. Naudokite --proxy-server=http://ip:port, o naudotojo vardą ir slaptažodį perduokite per page.authenticate().
Pirma kortelė veikia, tačiau nauja gauna HTTP 407. Kodėl?
Autentifikavimas taikomas kiekvienam puslapiui atskirai. Kiekviename atidarytame puslapyje prieš atliekant naršymą iškvieskite await newTab.authenticate({ username, password }).
Ar viena Puppeteer naršyklė vienu metu gali naudoti kelis proxy serverius?
Vien tik paleidimo vėliavėle – ne. Naudokite proxy-chain, kad paverstumėte kiekvieną autentifikuotą proxy vietiniu adresu ir kiekvienam naršyklės kontekstui priskirtumėte atskirą proxyServer, arba paleiskite po atskirą naršyklę kiekvienam proxy.
Kaip patikrinti daug proxy serverių prieš perduodant juos Puppeteer?
Įklijuokite juos į proxy tikrintuvą; jis vienu metu patikrina iki 100 adresų ir nesaugo slaptažodžių.
Kodėl page.authenticate() neveikia su mano SOCKS5 proxy?
Chrome nepalaiko prisijungimo su naudotojo vardu ir slaptažodžiu per SOCKS5, todėl Puppeteer neturi į ką atsakyti. Naudokite užsakymo HTTP režimą, vietinį nukreipimą per proxy-chain arba prisijungimą per baltąjį IP sąrašą.
Šaltiniai
Neriboto srauto IP, skirti „headless“ Chrome
Privatūs IPv4 7 šalyse ir statiniai ISP JAV bei Vietname, suteikiami automatiškai po apmokėjimo, vienas klientas vienam IP.
Peržiūrėti JAV kainas realiu laiku