Puppeteer hitelesített proxyval: indítási kapcsoló és bejelentkezés
A ProxyV4 mérnökcsapatától · Updated:
A Puppeteer proxyhitelesítése két helyen történik: a proxy címe a --proxy-server=http://ip:port indítási kapcsolóba kerül, a felhasználónév és a jelszó pedig az await page.authenticate({ username, password }) hívásba. A Chrome ezekkel a hitelesítési adatokkal válaszol a proxy 407-es kérésére a DevTools Protocolon keresztül, így Node.js-szkriptje böngészőbővítmény nélkül használhat ProxyV4 IP-t.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
Puppeteer proxy-hitelesítés: egy teljes példa
Adja meg a proxy címét a --proxy-server kapcsolóban, a bejelentkezést pedig a page.authenticate() metódussal az első navigáció előtt. Ez a szkript pontosan ezt teszi, és kiírja a kilépő IP-címet, így a proxy egyetlen futtatással ellenőrizhető:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();A kimenetnek a 200-as állapotkódot és a proxy IP-címét kell mutatnia. A 407, az ERR_TUNNEL_CONNECTION_FAILED vagy a saját IP-címe azt jelenti, hogy a két rész egyike hiányzik; a nem működő proxy oldal eszközönként felsorolja a gyakori okokat.
Miért nem a kapcsoló része a bejelentkezés
A Chrome nem fogad el hitelesítési adatokat a --proxy-server kapcsolón belül. Ha a --proxy-server=http://user:pass@ip:port formátumot adja meg, a böngésző nem tudja használni az értéket, és a kérések meghiúsulnak, jellemzően ERR_NO_SUPPORTED_PROXIES hibával. A kapcsolót korlátozza a címre és a portra, a bejelentkezést pedig adja át az oldalnak.
| Sorrend | Hívás | Mit csinál |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Megadja a Chrome-nak, hogy minden kérés melyik proxyt használja |
| 2 | await page.authenticate({ username, password }) | Átadja a hitelesítési adatokat, amikor a proxy 407-es választ ad |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Betölti a céloldalt a hitelesített proxyn keresztül |
Lapok, kontextusok és több IP-cím
- A
page.authenticate()oldalanként állítandó be: abrowser.newPage()által nyitott minden laphoz külön hívás szükséges az elsőgoto()előtt - Az indítási kapcsoló egyetlen proxyt rögzít a teljes böngészőre. Ha egyetlen Chrome-folyamaton belül kontextusonként eltérő IP-címet szeretne, futtassa az egyes
http://user:pass@ip:portcímeket aproxy-chaincsomaganonymizeProxy()függvényén keresztül, és adja át az eredménytproxyServerértékként abrowser.createBrowserContext({ proxyServer })hívásnak - A beállítás ugyanígy működik a
puppeteer-extraés apuppeteer-extra-plugin-stealthesetén is - Mindig zárja le a folyamatot a
browser.close()hívással, a hibakezelési ágakban is, különben a headless Chrome-folyamatok felhalmozódnak a szerveren
Puppeteer SOCKS5 proxyval
A Chrome képes SOCKS5 proxyt használni (--proxy-server=socks5://IP:PORT), de nem tud bejelentkezni abba, és a page.authenticate() nem vonatkozik a SOCKS protokollra. Egy ProxyV4 proxy esetén (a SOCKS5 Vietnámon kívül érhető el; a vietnámi IP-k csak HTTP-t támogatnak) két tiszta lehetőség van: állítsa át a megrendelést HTTP vagy duális módra, és használja a fenti példát, vagy engedje, hogy a proxy-chain megnyisson egy helyi, jelszómentes továbbítót, amely bejelentkezik Ön helyett:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);Az IP-engedélyezőlistás belépés egy harmadik megoldás: adja hozzá a gép nyilvános IP-címét a megrendeléshez, és a Chrome minden hitelesítési adat nélkül csatlakozik.
IP-címek kiválasztása Puppeteer-flottához
A headless Chrome teljes oldalakat, szkripteket és képeket tölt le, így a mért forgalom gyorsan felhalmozódik. A ProxyV4 privát IPv4 és statikus ISP proxyk nem számolnak fel forgalmi díjat, minden IP kizárólag egy ügyfelet szolgál ki, a megújítás pedig megtartja ugyanazt a címet, ami kulcsfontosságú, ha egy munkamenet vagy engedélyezőlista ahhoz kötődik. Hasonlítsa össze a privát IPv4 terméket a statikus ISP termékkel, ha a céloldal eltérően kezeli az adatközponti címtartományokat.
Lépésről lépésre
- 1
Indítsa el a Chrome-ot a proxy címével
Indítsa el a böngészőt a
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });kóddal, a ProxyV4 megrendeléséből származó IP-t és portot használva. - 2
Hitelesítse a lapot
Nyisson meg egy oldalt a
const page = await browser.newPage();paranccsal, és hívja meg azawait page.authenticate({ username: 'USER', password: 'PASS' });kódot minden navigáció előtt. - 3
Olvassa le a kimenő IP-címet
Navigáljon az
await page.goto('https://proxyv4.com/api/my-ip');segítségével, és ellenőrizze, hogy a válasz a proxy címét mutatja-e. - 4
Zárja be a böngészőt
Zárja le a folyamatot az
await browser.close();hívással, hogy ne maradjon futó Chrome-folyamat.
Gyakran ismételt kérdések
Mi okozza az ERR_NO_SUPPORTED_PROXIES hibát a Puppeteerben?
A kapcsolóban megadott hitelesítési adatok, mint például a --proxy-server=http://user:pass@ip:port esetén. Használja a --proxy-server=http://ip:port formátumot, a felhasználónevet és jelszót pedig adja át a page.authenticate() metódussal.
Az első lap működik, de az új lap HTTP 407 hibát kap. Miért?
A hitelesítés laponként tárolódik. Hívja meg az await newTab.authenticate({ username, password }) metódust minden megnyitott oldalon, még a navigáció előtt.
Használhat egyetlen Puppeteer böngésző egyszerre több proxyt?
Kizárólag az indítási kapcsolóval nem. Használja a proxy-chain csomagot, hogy minden hitelesített proxyt helyi címmé alakítson, és adjon minden böngészőkontextusnak saját proxyServer értéket, vagy indítson külön böngészőt minden proxyhoz.
Hogyan tesztelhetek több proxyt, mielőtt átadnám őket a Puppeteernek?
Illessze be őket a proxy-ellenőrzőbe; egyszerre akár 100 címet is kezel, és nem tárol jelszavakat.
Miért nem működik a page.authenticate() a SOCKS5 proxyval?
A Chrome nem támogatja a felhasználónévvel és jelszóval történő belépést a SOCKS5 esetén, így a Puppeteer nem tud mit megválaszolni. Használja a megrendelés HTTP módját, egy helyi továbbítót a proxy-chain segítségével, vagy IP-engedélyezőlistás belépést.
Források
Forgalomkorlát nélküli IP-k headless Chrome-hoz
Privát IPv4 7 országban, valamint statikus ISP az Egyesült Államokban és Vietnámban, fizetés után automatikus kiosztással, IP-nként egy ügyféllel.
Élő amerikai árak megtekintése