ProxyV4

Puppeteer autentimisega proxyga: käivituslipp ja sisselogimine

· Updated:

Puppeteeri proxy autentimine toimub kahes kohas: proxy aadress määratakse käivituslipuga --proxy-server=http://ip:port ning kasutajanimi ja parool antakse käsuga await page.authenticate({ username, password }). Chrome vastab proxy 407-kutsungile nende mandaatidega DevTools Protocoli kaudu, võimaldades sinu Node.js skriptil kasutada ProxyV4 IP-d ilma brauserilaiendita.

Puppeteer · HTTP
--proxy-server=http://ip:port + page.authenticate({ username, password })
Privaatne IPv4 (andmekeskus)
🇺🇸 Ameerika Ühendriigid
Laos olemas
Alates
1,10 $ / IP / kuu
Kogusesoodustused
  • 1 IP1,85 $
  • 3+ IP-d1,70 $
  • 10+ IP-d1,60 $
  • 25+ IP-d1,50 $
  • 50+ IP-d1,40 $
  • 100+ IP-d1,30 $
  • 200+ IP-d1,20 $
  • 500+ IP-d1,10 $
Osta Ameerika Ühendriigid
Privaatne IPv4 (andmekeskus)
🇸🇬 Singapur
Laos olemas
Alates
1,10 $ / IP / kuu
Kogusesoodustused
  • 1 IP1,85 $
  • 3+ IP-d1,70 $
  • 10+ IP-d1,60 $
  • 25+ IP-d1,50 $
  • 50+ IP-d1,40 $
  • 100+ IP-d1,30 $
  • 200+ IP-d1,20 $
  • 500+ IP-d1,10 $
Osta Singapur

Puppeteeri puhverserveri autentimine: täielik näide

Edastage puhverserveri aadress parameetriga --proxy-server ja sisselogimisandmed funktsiooniga page.authenticate() enne esimest navigeerimist. See skript teeb täpselt seda ja väljastab väljuva IP-aadressi, et saaksite puhverserveri toimimist ühe korraga kontrollida:

// npm i puppeteer
const puppeteer = require('puppeteer');

const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };

(async () => {
  const browser = await puppeteer.launch({
    args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
  });
  try {
    const page = await browser.newPage();
    await page.authenticate({ username: PROXY.username, password: PROXY.password });
    const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
    console.log(res.status(), await page.evaluate(() => document.body.innerText));
  } finally {
    await browser.close();
  }
})();

Väljund peaks näitama staatust 200 ja puhverserveri IP-d. Kood 407, ERR_TUNNEL_CONNECTION_FAILED või teie enda IP tähendab, et üks kahest poolest on puudu; leht puhverserver ei tööta loetleb sagedasemad põhjused tööriistade kaupa.

Miks sisselogimisandmed ei kuulu lipu sisse

Chrome ei aktsepteeri autentimisandmeid lipu --proxy-server sees. Kui kirjutate --proxy-server=http://user:pass@ip:port, ei saa brauser seda väärtust kasutada ja päringud ebaõnnestuvad, tavaliselt veaga ERR_NO_SUPPORTED_PROXIES. Jätke lipu sisse vaid aadress ja port ning edastage sisselogimisandmed lehele.

JärjekordKutseMida see teeb
1puppeteer.launch({ args: ['--proxy-server=http://ip:port'] })Ütleb Chrome'ile, millist puhverserverit iga päring peab kasutama
2await page.authenticate({ username, password })Edastab autentimisandmed, kui puhverserver vastab koodiga 407
3await page.goto(url, { waitUntil: 'domcontentloaded' })Laadib sihtlehe läbi autentitud puhverserveri

Vahekaardid, kontekstid ja mitu IP-aadressi

  • page.authenticate() määratakse lehe kaupa: iga browser.newPage() vahekaart vajab enne esimest goto() kutset eraldi väljakutset
  • Käivituslipp määrab ühe puhverserveri kogu brauserile. Kui soovite ühes Chrome'i protsessis konteksti kohta erinevat IP-d, laske iga http://user:pass@ip:port läbi funktsiooni anonymizeProxy() paketist proxy-chain ja edastage tulemus parameetrina proxyServer meetodile browser.createBrowserContext({ proxyServer })
  • Seadistus töötab samamoodi pakettidega puppeteer-extra ja puppeteer-extra-plugin-stealth
  • Lõpetage alati käsuga browser.close(), sealhulgas veateedel, vastasel juhul kuhjuvad headless Chrome'i protsessid serverisse

Puppeteer koos SOCKS5 puhverserveriga

Chrome saab kasutada SOCKS5 puhverserverit (--proxy-server=socks5://IP:PORT), kuid ei suuda sinna sisse logida, ja page.authenticate() ei kehti SOCKS-i puhul. Teenuse ProxyV4 puhverserveriga (SOCKS5 on saadaval väljaspool Vietnami; Vietnami IP-d on ainult HTTP) on teil kaks selget lahendust: lülitage tellimus HTTP- või topeltrežiimile ja kasutage ülaltoodud näidet või laske paketil proxy-chain avada kohalik paroolita edasisuunaja, mis logib sisse teie eest:

const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);

IP lubatud loendiga sisselogimine on kolmas võimalus: lisage masina avalik IP tellimusele ja Chrome loob ühenduse ilma igasuguste autentimisandmeteta.

IP-de valimine Puppeteeri pargi jaoks

Headless Chrome laadib alla terveid lehti, skripte ja pilte, mistõttu mahupõhine liiklus koguneb kiiresti. Teenuse ProxyV4 privaatsetel IPv4 ja staatilistel ISP puhverserveritel puudub andmemahu piirang, iga IP teenindab ainult ühte klienti ja pikendamisel säilib sama aadress, mis on oluline, kui seanss või lubatud loend on sellega seotud. Võrrelge privaatse IPv4 toodet staatilise ISP tootega, kui sihtsait kohtleb andmekeskuste vahemikke teistmoodi.

Samm-sammult

  1. 1

    Käivita Chrome proxy aadressiga

    Käivita brauser käsuga const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, kasutades oma ProxyV4 tellimuse IP-d ja porti.

  2. 2

    Autendi vahekaart

    Ava leht käsuga const page = await browser.newPage(); ja kutsu enne mis tahes navigeerimist välja await page.authenticate({ username: 'USER', password: 'PASS' });.

  3. 3

    Kontrolli väljuvat IP-d

    Liigu lehele käsuga await page.goto('https://proxyv4.com/api/my-ip'); ja veendu, et vastuses kuvatakse proxy aadress.

  4. 4

    Sulge brauser

    Lõpeta tegevus käsuga await browser.close();, et ükski Chrome'i protsess ei jääks taustale jooksma.

Korduma kippuvad küsimused

Mis põhjustab Puppeteeris veateate ERR_NO_SUPPORTED_PROXIES?

Autentimisandmed lipu sees, näiteks --proxy-server=http://user:pass@ip:port. Kasutage lippu --proxy-server=http://ip:port ning edastage kasutajanimi ja parool funktsiooniga page.authenticate().

Esimene vahekaart töötab, kuid uus vahekaart saab koodi HTTP 407. Miks?

Autentimist salvestatakse lehe kaupa. Enne navigeerimist kutsuge igal avatud lehel välja await newTab.authenticate({ username, password }).

Kas üks Puppeteeri brauser saab kasutada mitut puhverserverit korraga?

Mitte ainult käivituslipu kaudu. Kasutage paketti proxy-chain, et muuta iga autentimisega puhverserver kohalikuks aadressiks ja anda igale brauseri kontekstile oma proxyServer, või käivitage iga puhverserveri jaoks eraldi brauser.

Kuidas testida mitut puhverserverit enne nende Puppeteerile andmist?

Kleepige need puhverserveri kontrollijasse; see töötleb korraga kuni 100 puhverserverit ega salvesta paroole.

Miks page.authenticate() ei tööta minu SOCKS5 puhverserveriga?

Chrome ei toeta SOCKS5 puhul kasutajanime ja parooliga sisselogimist, mistõttu pole Puppeteeril millelegi vastata. Kasutage tellimuse HTTP-režiimi, paketi proxy-chain kohalikku edasisuunajat või IP lubatud loendiga sisselogimist.

Allikad

Piiramatu mahuga IP-d headless Chrome'ile

Privaatne IPv4 7 riigis ning staatiline ISP USA-s ja Vietnamis, väljastatakse automaatselt pärast makset, üks klient IP kohta.

Vaata kehtivaid USA hindu

Related articles

Proksid platvormide kaupa
Proksid veebikraapimiseks: fikseeritud IP-kogum piiramatu liiklusega
Veebikraapimise proksid Pythoni, Scrapy, Playwrighti ja Seleniumi jaoks: privaatne IPv4 ja staatiline ISP, piiramatu andmemaht, kindel IP-põhine hind.
Proksi seadistamine
Playwrighti proksi autentimine: üks staatiline IP konteksti kohta
Määrake igale Playwrighti kontekstile oma autentitud HTTP(S)-proksi Node.js-is või Pythonis, sobitage ajavöönd ja lokaat IP-ga ning kontrollige välisaadressi.
Proksi seadistamine
Autenditud proksid Node.js-is: Axios, natiivne fetch ja Got
Suuna Node.js ja TypeScripti päringud läbi autenditud HTTP(S)-proksi: https-proxy-agent Axiosele, undici ProxyAgent fetchile ja hpagent Gotile.
Tasuta tööriistad
Teisenda proksiloend formaati, mida su tööriist eeldab
Teisenda brauseris proksiloendeid: ip:port:user:pass, user:pass@ip:port, http:// URL-id, SOCKS5 URI-d, JSON-massiivid ja FoxyProxy importfailid hulgina.
Proksid platvormide kaupa
Proksid SEO positsioonide jälgimiseks: näe tulemuste lehte kohaliku otsija pilgu läbi
Privaatse IPv4-ga SEO proksid USA-s, Suurbritannias, Vietnamis, Jaapanis ja 4 muul turul: tulemused, kohalikud pakid ja reklaamid vastavad kohalike vaatele.
Proksid platvormide kaupa
YouTube'i proksid: takista ühe kanali hoiatuse jõudmist teisteni
YouTube'i proksid mitme kanaliga loojatele ja tiimidele: üks staatiline ISP või IPv4 kanali kohta, et hoiatus või sulgemine ühel kanalil ei leviks teistele.
IPV4 · united states
USA privaatne IPv4 proksikogum andmekorjeks, positsioonide jälgimiseks ja reklaamide kontrolliks
Osta USA privaatseid IPv4 proksisid: staatilised USA andmekeskuse IP-d, üks klient IP kohta, piiramatu liiklus. Kraapimiseks, SERP-i ja reklaamide kontrolliks.
IPV4 · singapore
Singapuri privaatne IPv4 proksi: üks fikseeritud IP poe ja reklaamikonto kohta
Singapuri privaatne IPv4 proksi: staatiline SG andmekeskuse IP vaid teile, Lazada ja Shopee SG poodide, reklaamikontode ja piirkondliku automaatika jaoks.