ProxyV4

Puppeteer su autentifikuotu proxy: paleidimo vėliavėlė ir prisijungimas

· Updated:

Puppeteer proxy autentifikavimas atliekamas dviejose vietose: proxy adresas nurodomas paleidimo vėliavėlėje --proxy-server=http://ip:port, o naudotojo vardas ir slaptažodis – await page.authenticate({ username, password }). Chrome atsako į proxy 407 užklausą šiais prisijungimo duomenimis per „DevTools Protocol“, todėl jūsų Node.js scenarijus gali naudoti ProxyV4 IP be jokio naršyklės plėtinio.

Puppeteer · HTTP
--proxy-server=http://ip:port + page.authenticate({ username, password })
Privatus IPv4 (duomenų centras)
🇺🇸 Jungtinės Valstijos
Yra sandėlyje
Nuo
1,10 USD / IP / mėn.
Kiekio nuolaidos
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Pirkti Jungtinės Valstijos
Privatus IPv4 (duomenų centras)
🇸🇬 Singapūras
Yra sandėlyje
Nuo
1,10 USD / IP / mėn.
Kiekio nuolaidos
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Pirkti Singapūras

Puppeteer proxy autentifikavimas: išsamus pavyzdys

Prieš pirmąjį naršymo veiksmą perduokite proxy adresą parametre --proxy-server, o prisijungimo duomenis – per page.authenticate(). Šis scenarijus būtent tai ir atlieka bei atspausdina išvesties IP, kad galėtumėte patvirtinti proxy veikimą vienu paleidimu:

// npm i puppeteer
const puppeteer = require('puppeteer');

const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };

(async () => {
  const browser = await puppeteer.launch({
    args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
  });
  try {
    const page = await browser.newPage();
    await page.authenticate({ username: PROXY.username, password: PROXY.password });
    const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
    console.log(res.status(), await page.evaluate(() => document.body.innerText));
  } finally {
    await browser.close();
  }
})();

Išvestyje turėtų būti rodoma būsena 200 ir proxy IP. Būsena 407, ERR_TUNNEL_CONNECTION_FAILED arba jūsų tikrasis IP reiškia, kad trūksta vienos iš dviejų dalių; puslapyje proxy neveikia pateikiamos dažniausios priežastys pagal įrankius.

Kodėl prisijungimo duomenys nėra vėliavėlės dalis

Chrome nepriima prisijungimo duomenų parametre --proxy-server. Jei įrašysite --proxy-server=http://user:pass@ip:port, naršyklė negalės panaudoti šios reikšmės ir užklausos nepavyks, dažniausiai su klaida ERR_NO_SUPPORTED_PROXIES. Vėliavėlėje nurodykite tik adresą ir prievadą, o prisijungimo duomenis perduokite puslapiui.

Eil. nr.IškvietimasKą atlieka
1puppeteer.launch({ args: ['--proxy-server=http://ip:port'] })Nurodo Chrome, kurį proxy serverį turi naudoti kiekviena užklausa
2await page.authenticate({ username, password })Pateikia prisijungimo duomenis, kai proxy atsako 407
3await page.goto(url, { waitUntil: 'domcontentloaded' })Užkrauna tikslinį puslapį per autentifikuotą proxy

Kortelės, kontekstai ir daugiau nei vienas IP

  • page.authenticate() nustatomas kiekvienam puslapiui: kiekvienai kortelei iš browser.newPage() reikalingas atskiras iškvietimas prieš pirmąjį goto()
  • Paleidimo vėliavėlė priskiria vieną proxy visai naršyklei. Norėdami naudoti skirtingą IP kiekvienam kontekstui tame pačiame Chrome procese, praleiskite kiekvieną http://user:pass@ip:port per anonymizeProxy() iš proxy-chain paketo ir perduokite rezultatą kaip proxyServer į browser.createBrowserContext({ proxyServer })
  • Konfigūracija veikia taip pat ir su puppeteer-extra bei puppeteer-extra-plugin-stealth
  • Visada baikite darbą su browser.close(), įskaitant klaidų apdorojimo blokus, kitaip serveryje kaupsis foniniai Chrome procesai

Puppeteer su SOCKS5 proxy

Chrome gali naudoti SOCKS5 proxy (--proxy-server=socks5://IP:PORT), tačiau negali prie jo prisijungti, o page.authenticate() netaikomas SOCKS. Naudodami ProxyV4 proxy (SOCKS5 siūlomas už Vietnamo ribų; Vietnamo IP veikia tik per HTTP), turite du tvarkingus pasirinkimus: pakeisti užsakymą į HTTP arba dvigubą režimą ir naudoti aukščiau pateiktą pavyzdį, arba leisti proxy-chain atidaryti vietinį nukreipimą be slaptažodžio, kuris prisijungs už jus:

const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);

Prisijungimas per baltąjį IP sąrašą yra trečias būdas: pridėkite įrenginio viešąjį IP prie užsakymo ir Chrome prisijungs be jokių prisijungimo duomenų.

IP pasirinkimas Puppeteer infrastruktūrai

Headless Chrome atsisiunčia visus puslapius, scenarijus ir vaizdus, todėl apskaitomas srautas greitai išeikvojamas. ProxyV4 privatūs IPv4 ir statiniai ISP proxy neturi srauto apribojimų, kiekvienas IP skirtas tik vienam klientui, o pratęsiant išlaikomas tas pats adresas, kas yra svarbu, kai prie jo pririšta sesija ar leidžiamųjų adresų sąrašas. Palyginkite privatų IPv4 produktą su statiniu ISP produktu, jei tikslinė svetainė duomenų centrų rėžius vertina kitaip.

Žingsnis po žingsnio

  1. 1

    Paleiskite Chrome su proxy adresu

    Paleiskite naršyklę su const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, naudodami IP ir prievadą iš savo ProxyV4 užsakymo.

  2. 2

    Autentifikuokite kortelę

    Atidarykite puslapį su const page = await browser.newPage(); ir prieš bet kokią navigaciją iškvieskite await page.authenticate({ username: 'USER', password: 'PASS' });.

  3. 3

    Patikrinkite išeinantį IP

    Pereikite į adresą su await page.goto('https://proxyv4.com/api/my-ip'); ir įsitikinkite, kad atsakyme rodomas proxy adresas.

  4. 4

    Uždarykite naršyklę

    Užbaikite darbą su await browser.close();, kad neliktų veikiančių Chrome procesų.

Dažnai užduodami klausimai

Kas sukelia ERR_NO_SUPPORTED_PROXIES Puppeteer?

Prisijungimo duomenys vėliavėlėje, pavyzdžiui, --proxy-server=http://user:pass@ip:port. Naudokite --proxy-server=http://ip:port, o naudotojo vardą ir slaptažodį perduokite per page.authenticate().

Pirma kortelė veikia, tačiau nauja gauna HTTP 407. Kodėl?

Autentifikavimas taikomas kiekvienam puslapiui atskirai. Kiekviename atidarytame puslapyje prieš atliekant naršymą iškvieskite await newTab.authenticate({ username, password }).

Ar viena Puppeteer naršyklė vienu metu gali naudoti kelis proxy serverius?

Vien tik paleidimo vėliavėle – ne. Naudokite proxy-chain, kad paverstumėte kiekvieną autentifikuotą proxy vietiniu adresu ir kiekvienam naršyklės kontekstui priskirtumėte atskirą proxyServer, arba paleiskite po atskirą naršyklę kiekvienam proxy.

Kaip patikrinti daug proxy serverių prieš perduodant juos Puppeteer?

Įklijuokite juos į proxy tikrintuvą; jis vienu metu patikrina iki 100 adresų ir nesaugo slaptažodžių.

Kodėl page.authenticate() neveikia su mano SOCKS5 proxy?

Chrome nepalaiko prisijungimo su naudotojo vardu ir slaptažodžiu per SOCKS5, todėl Puppeteer neturi į ką atsakyti. Naudokite užsakymo HTTP režimą, vietinį nukreipimą per proxy-chain arba prisijungimą per baltąjį IP sąrašą.

Šaltiniai

Neriboto srauto IP, skirti „headless“ Chrome

Privatūs IPv4 7 šalyse ir statiniai ISP JAV bei Vietname, suteikiami automatiškai po apmokėjimo, vienas klientas vienam IP.

Peržiūrėti JAV kainas realiu laiku

Related articles

Proxy pagal platformą
Proxy duomenų nuskaitymui: fiksuotas IP adresų telkinys su neribotu srautu
Web scraping proxy Python, Scrapy, Playwright ir Selenium: privačių IPv4 ir statinių ISP adresų telkinys, neribotas srautas bei fiksuota kaina už IP.
Proxy nustatymas
Playwright proxy autentifikavimas: po vieną statinį IP kiekvienam kontekstui
Suteikite Playwright naršyklės kontekstui autorizuotą HTTP(S) proxy Node.js ar Python, suderinkite laiko juostą bei kalbą su IP ir patvirtinkite išorinį adresą.
Proxy nustatymas
Autentifikuoti proxy Node.js aplinkoje: Axios, standartinis fetch ir Got
Nukreipkite Node.js ir TypeScript užklausas per autentifikuotą HTTP(S) proxy: https-proxy-agent bibliotekai Axios, undici ProxyAgent – fetch, hpagent – Got.
Nemokami įrankiai
Pakeiskite proxy sąrašą į įrankiui reikalingą formatą
Masiškai konvertuokite proxy sąrašus naršyklėje: ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON masyvai ir FoxyProxy importo failai.
Proxy pagal platformą
Proxy SEO pozicijų sekimui: matykite rezultatų puslapį vietinio vartotojo akimis
SEO pozicijų sekimo proxy su privačiu IPv4 JAV, JK, Vietname, Japonijoje ir 4 kitose rinkose: pozicijos, vietiniai paketai ir reklama atitiks vietinių paiešką.
Proxy pagal platformą
YouTube proxy: neleiskite vieno kanalo įspėjimui pasiekti kitų
YouTube proxy kelių kanalų kūrėjams ir komandoms: po statinį ISP ar IPv4 kanalui, kad įspėjimas ar blokavimas viename kanale nepaveiktų kitų paskyrų.
IPV4 · united states
Privatus JAV IPv4 proxy telkinys duomenų rinkimui, pozicijų stebėjimui ir reklamų patikrai
Pirkite JAV privačius IPv4 proxy: statiniai JAV duomenų centrų IP, vienas klientas vienam IP, neribotas srautas. Tinka scrapingui, SERP ir JAV reklamų patikrai.
IPV4 · singapore
Privatus Singapūro IPv4 proxy: vienas fiksuotas IP kiekvienai parduotuvei ir reklamos paskyrai
Singapūro privatus IPv4 proxy: statinis SG duomenų centro IP tik jums – Lazada bei Shopee SG parduotuvėms, Singapūro reklamos paskyroms ir automatizacijai.