Puppeteer todennetulla proxylla: käynnistysparametri ja kirjautuminen
Kirjoittanut ProxyV4-kehitystiimi · Updated:
Puppeteer-proxyn todennus tapahtuu kahdessa vaiheessa: proxyn osoite määritetään käynnistysparametrissa --proxy-server=http://ip:port, ja käyttäjätunnus sekä salasana annetaan kutsussa await page.authenticate({ username, password }). Chrome vastaa proxyn 407-haasteeseen näillä kirjautumistiedoilla DevTools Protocolin kautta, joten Node.js-skriptisi voi käyttää ProxyV4-IP-osoitetta ilman selainlaajennusta.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1,85 $
- 3+ IP:tä1,70 $
- 10+ IP:tä1,60 $
- 25+ IP:tä1,50 $
- 50+ IP:tä1,40 $
- 100+ IP:tä1,30 $
- 200+ IP:tä1,20 $
- 500+ IP:tä1,10 $
- 1 IP1,85 $
- 3+ IP:tä1,70 $
- 10+ IP:tä1,60 $
- 25+ IP:tä1,50 $
- 50+ IP:tä1,40 $
- 100+ IP:tä1,30 $
- 200+ IP:tä1,20 $
- 500+ IP:tä1,10 $
Puppeteer-välityspalvelimen todennus: täydellinen esimerkki
Välitä välityspalvelimen osoite valitsimessa --proxy-server ja kirjautumistiedot funktiolla page.authenticate() ennen ensimmäistä sivunavausta. Tämä komentosarja tekee juuri niin ja tulostaa ulospäin näkyvän IP-osoitteen, joten voit varmistaa välityspalvelimen toiminnan yhdellä ajolla:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();Tulosteen tulisi näyttää tila 200 ja välityspalvelimen IP-osoite. Tulos 407, ERR_TUNNEL_CONNECTION_FAILED tai oma IP-osoitteesi tarkoittaa, että jompikumpi kahdesta puoliskosta puuttuu; sivu välityspalvelin ei toimi luettelee yleisimmät syyt työkaluittain.
Miksi kirjautumistiedot eivät kuulu valitsimeen
Chrome ei hyväksy kirjautumistietoja valitsimen --proxy-server sisällä. Jos kirjoitat --proxy-server=http://user:pass@ip:port, selain ei voi käyttää kyseistä arvoa ja pyynnöt epäonnistuvat, tyypillisesti virheellä ERR_NO_SUPPORTED_PROXIES. Pidä valitsimessa vain osoite ja portti, ja toimita kirjautumistiedot sivulle.
| Järjestys | Kutsu | Mitä se tekee |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Kertoo Chromelle, mitä välityspalvelinta jokaisen pyynnön tulee käyttää |
| 2 | await page.authenticate({ username, password }) | Toimittaa kirjautumistiedot, kun välityspalvelin vastaa koodilla 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Lataa kohteen todennetun välityspalvelimen kautta |
Välilehdet, kontekstit ja useampi kuin yksi IP
page.authenticate()määritetään sivukohtaisesti: jokainen kutsullabrowser.newPage()luotu välilehti tarvitsee oman kutsunsa ennen ensimmäistägoto()-kutsua- Käynnistysvalitsin määrittää yhden välityspalvelimen koko selaimelle. Jos haluat eri IP-osoitteen kontekstia kohden yhdessä Chrome-prosessissa, kierrätä jokainen
http://user:pass@ip:portpaketinproxy-chainfunktionanonymizeProxy()kautta ja välitä tulos arvonaproxyServerkutsullebrowser.createBrowserContext({ proxyServer }) - Määritys toimii samalla tavalla pakettien
puppeteer-extrajapuppeteer-extra-plugin-stealthkanssa - Lopeta aina kutsuun
browser.close(), myös virhetilanteissa, jotta headless Chrome -prosessit eivät kasaannu palvelimelle
Puppeteer SOCKS5-välityspalvelimen kanssa
Chrome voi käyttää SOCKS5-välityspalvelinta (--proxy-server=socks5://IP:PORT), mutta ei voi kirjautua siihen, eikä page.authenticate() koske SOCKS-protokollaa. Kun käytössä on ProxyV4-välityspalvelin (SOCKS5 on saatavilla Vietnamin ulkopuolella; Vietnamin IP:t ovat vain HTTP-muodossa), käytettävissä on kaksi siistiä vaihtoehtoa: vaihda tilaus HTTP- tai kaksoistilaan ja käytä yllä olevaa esimerkkiä tai anna paketin proxy-chain avata paikallinen salasanaton välittäjä, joka hoitaa kirjautumisen puolestasi:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);Kirjautuminen IP-sallintaluettelolla on kolmas tapa: lisää laitteen julkinen IP-osoite tilaukseen, jolloin Chrome muodostaa yhteyden ilman tunnuksia.
IP-osoitteiden valitseminen Puppeteer-selainkannalle
Headless Chrome lataa kokonaiset sivut, komentosarjat ja kuvat, joten siirtomäärän mukaan laskutettava tiedonsiirto kertyy nopeasti. Palveluntarjoajan ProxyV4 yksityisissä IPv4- ja staattisissa ISP-välityspalvelimissa ei ole tiedonsiirtomittausta, jokainen IP palvelee vain yhtä asiakasta, ja tilauksen uusiminen säilyttää saman osoitteen, mikä on tärkeää istunnon tai sallintaluettelon ollessa sidottu siihen. Vertaile tuotteita yksityinen IPv4 -tuote ja staattinen ISP -tuote, jos kohdesivusto kohtelee konesalialueita eri tavalla.
Vaihe vaiheelta
- 1
Käynnistä Chrome proxyn osoitteella
Käynnistä selain komennolla
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });käyttäen ProxyV4-tilauksesi IP-osoitetta ja porttia. - 2
Todenna välilehti
Avaa sivu komennolla
const page = await browser.newPage();ja kutsuawait page.authenticate({ username: 'USER', password: 'PASS' });ennen navigointia. - 3
Tarkista ulospäin näkyvä IP
Siirry sivulle komennolla
await page.goto('https://proxyv4.com/api/my-ip');ja tarkista, että vastauksessa näkyy proxyn osoite. - 4
Sulje selain
Päätä suoritus komennolla
await browser.close();, jotta taustalle ei jää pyörimään yhtään Chrome-prosessia.
Usein kysytyt kysymykset
Mikä aiheuttaa virheen ERR_NO_SUPPORTED_PROXIES Puppeteerissa?
Kirjautumistiedot valitsimen sisällä, kuten muodossa --proxy-server=http://user:pass@ip:port. Käytä muotoa --proxy-server=http://ip:port ja välitä käyttäjätunnus sekä salasana metodilla page.authenticate().
Ensimmäinen välilehti toimii, mutta uusi välilehti saa koodin HTTP 407. Miksi?
Todennus tallennetaan sivukohtaisesti. Kutsu await newTab.authenticate({ username, password }) jokaiselle avaamallesi sivulle ennen sivunavauksen suorittamista.
Voiko yksi Puppeteer-selain käyttää useita välityspalvelimia samanaikaisesti?
Ei pelkällä käynnistysvalitsimella. Käytä pakettia proxy-chain muuntamaan jokainen todennettu välityspalvelin paikalliseksi osoitteeksi ja anna kullekin selainkontekstille oma proxyServer, tai käynnistä yksi selain välityspalvelinta kohti.
Miten testaan useita välityspalvelimia ennen niiden antamista Puppeteerille?
Liitä ne välityspalvelinten tarkistustyökaluun; se käsittelee jopa 100 osoitetta kerrallaan eikä tallenna salasanoja.
Miksi page.authenticate() ei toimi SOCKS5-välityspalvelimeni kanssa?
Chrome ei tue käyttäjätunnuksen ja salasanan todennusta SOCKS5-protokollalle, joten Puppeteerilla ei ole mitään vastattavaa. Käytä tilauksen HTTP-tilaa, kirjaston proxy-chain paikallista edelleenlähetystä tai kirjautumista IP-sallintaluettelolla.
Lähteet
Rajoittamattomat IP-osoitteet headless Chromelle
Dedikoidut IPv4-osoitteet 7 maassa sekä staattiset ISP-osoitteet Yhdysvalloissa ja Vietnamissa, toimitus automaattisesti maksun jälkeen, yksi asiakas per IP.
Katso Yhdysvaltain ajantasaiset hinnat