ProxyV4

Puppeteer ar autentificētu starpniekserveri: palaišanas karodziņš un pieteikšanās

· Updated:

Puppeteer starpniekservera autentifikācija notiek divās vietās: starpniekservera adresi norāda palaišanas karodziņā --proxy-server=http://ip:port, bet lietotājvārdu un paroli ievada await page.authenticate({ username, password }). Chrome atbild uz starpniekservera 407 pieprasījumu ar šiem akreditācijas datiem caur DevTools Protocol, ļaujot jūsu Node.js skriptam izmantot ProxyV4 IP bez pārlūka paplašinājuma.

Puppeteer · HTTP
--proxy-server=http://ip:port + page.authenticate({ username, password })
Privāts IPv4 (datu centrs)
🇺🇸 Amerikas Savienotās Valstis
Pieejams
No
1,10 $ / IP / mēnesī
Apjoma atlaides
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Pirkt Amerikas Savienotās Valstis
Privāts IPv4 (datu centrs)
🇸🇬 Singapūra
Pieejams
No
1,10 $ / IP / mēnesī
Apjoma atlaides
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Pirkt Singapūra

Puppeteer starpniekservera autentifikācija: pilnīgs piemērs

Norādiet starpniekservera adresi --proxy-server un pieteikšanās datus ar page.authenticate() pirms pirmās navigācijas. Šis skripts veic tieši to un izvada izejas IP adresi, lai jūs varētu pārbaudīt starpniekserveri vienā palaišanas reizē:

// npm i puppeteer
const puppeteer = require('puppeteer');

const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };

(async () => {
  const browser = await puppeteer.launch({
    args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
  });
  try {
    const page = await browser.newPage();
    await page.authenticate({ username: PROXY.username, password: PROXY.password });
    const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
    console.log(res.status(), await page.evaluate(() => document.body.innerText));
  } finally {
    await browser.close();
  }
})();

Izvadē jābūt redzamam statusam 200 un starpniekservera IP adresei. Statuss 407, ERR_TUNNEL_CONNECTION_FAILED vai jūsu personīgā IP adrese nozīmē, ka trūkst vienas no divām daļām; sadaļā starpniekserveris nedarbojas ir uzskaitīti biežākie cēloņi katram rīkam.

Kāpēc pieteikšanās dati nav daļa no karodziņa

Chrome nepieņem piekļuves datus --proxy-server parametros. Ja norādīsiet --proxy-server=http://user:pass@ip:port, pārlūkprogramma nevarēs izmantot šo vērtību un pieprasījumi neizdosies, parasti ar kļūdu ERR_NO_SUPPORTED_PROXIES. Karodziņā norādiet tikai adresi un portu, bet pieteikšanās datus nododiet lapai.

SecībaIzsaukumsKo tas dara
1puppeteer.launch({ args: ['--proxy-server=http://ip:port'] })Norāda Chrome, kuru starpniekserveri jāizmanto katram pieprasījumam
2await page.authenticate({ username, password })Nodrošina piekļuves datus, kad starpniekserveris atbild ar 407
3await page.goto(url, { waitUntil: 'domcontentloaded' })Ielādē mērķa lapu caur autentificēto starpniekserveri

Cilnes, konteksti un vairākas IP adreses

  • page.authenticate() tiek iestatīts katrai lapai atsevišķi: katrai cilnei no browser.newPage() ir nepieciešams savs izsaukums pirms pirmās goto() izpildes
  • Palaišanas karodziņš nosaka vienu starpniekserveri visai pārlūkprogrammai. Lai vienā Chrome procesā katram kontekstam izmantotu citu IP adresi, palaidiet katru http://user:pass@ip:port caur anonymizeProxy() no pakotnes proxy-chain un nododiet rezultātu kā proxyServer funkcijai browser.createBrowserContext({ proxyServer })
  • Šī konfigurācija darbojas tieši tāpat ar puppeteer-extra un puppeteer-extra-plugin-stealth
  • Vienmēr pabeidziet darbu ar browser.close(), tostarp kļūdu apstrādes zaros, pretējā gadījumā serverī uzkrāsies headless Chrome procesi

Puppeteer ar SOCKS5 starpniekserveri

Chrome var izmantot SOCKS5 starpniekserveri (--proxy-server=socks5://IP:PORT), bet nevar tajā pieteikties, un page.authenticate() neattiecas uz SOCKS. Izmantojot ProxyV4 starpniekserveri (SOCKS5 tiek piedāvāts ārpus Vjetnamas; Vjetnamas IP adreses ir tikai HTTP), jums ir divi ērti risinājumi: pārslēdziet pasūtījumu uz HTTP vai dubulto režīmu un izmantojiet augstāk redzamo piemēru, vai arī ļaujiet proxy-chain atvērt lokālu pāradresētāju bez paroles, kas veiks pieteikšanos jūsu vietā:

const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);

Pieteikšanās ar IP balto sarakstu ir trešais veids: pievienojiet iekārtas publisko IP adresi pasūtījumam, un Chrome izveidos savienojumu bez piekļuves datiem.

IP adrešu izvēle Puppeteer infrastruktūrai

Headless Chrome lejupielādē pilnas lapas, skriptus un attēlus, tāpēc uzskaitītais datu apjoms ātri pieaug. ProxyV4 privātajiem IPv4 un statiskajiem ISP starpniekserveriem nav datplūsmas ierobežojumu, katra IP adrese kalpo tikai vienam klientam, un atjaunošana saglabā to pašu adresi, kas ir svarīgi, ja ar to ir piesaistīta sesija vai atļauto adrešu saraksts. Salīdziniet privāto IPv4 produktu ar statisko ISP produktu, ja mērķa vietne datu centru diapazonus uztver atšķirīgi.

Soli pa solim

  1. 1

    Palaidiet Chrome ar starpniekservera adresi

    Palaidiet pārlūku ar const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, izmantojot IP un portu no sava ProxyV4 pasūtījuma.

  2. 2

    Autentificējiet cilni

    Atveriet lapu ar const page = await browser.newPage(); un pirms jebkuras navigācijas izsauciet await page.authenticate({ username: 'USER', password: 'PASS' });.

  3. 3

    Pārbaudiet izejas IP adresi

    Pārejiet uz adresi ar await page.goto('https://proxyv4.com/api/my-ip'); un pārliecinieties, ka atbildē ir redzama starpniekservera adrese.

  4. 4

    Aizveriet pārlūku

    Pabeidziet darbu ar await browser.close();, lai fonā nepaliktu neviens aktīvs Chrome process.

Biežāk uzdotie jautājumi

Kas izraisa ERR_NO_SUPPORTED_PROXIES kļūdu Puppeteer?

Piekļuves dati karodziņā, piemēram, --proxy-server=http://user:pass@ip:port. Izmantojiet --proxy-server=http://ip:port un nododiet lietotājvārdu un paroli, izmantojot page.authenticate().

Mana pirmā cilne darbojas, bet jaunā cilnē parādās HTTP 407. Kāpēc?

Autentifikācija tiek saglabāta katrai lapai atsevišķi. Pirms pāriešanas uz adresi izsauciet await newTab.authenticate({ username, password }) katrai atvērtajai lapai.

Vai viena Puppeteer pārlūkprogramma var vienlaikus izmantot vairākus starpniekserverus?

Tikai ar palaišanas karodziņu to nevar izdarīt. Izmantojiet proxy-chain, lai pārveidotu katru autentificēto starpniekserveri par lokālu adresi un piešķirtu katram pārlūkprogrammas kontekstam savu proxyServer, vai palaidiet atsevišķu pārlūkprogrammu katram starpniekserverim.

Kā pārbaudīt daudzus starpniekserverus pirms to nodošanas Puppeteer?

Ielīmējiet tos starpniekserveru pārbaudītājā; tas vienlaikus apstrādā līdz 100 adresēm un nesaglabā paroles.

Kāpēc page.authenticate() nedarbojas ar manu SOCKS5 starpniekserveri?

Chrome neatbalsta lietotājvārda un paroles pieteikšanos SOCKS5 protokolam, tāpēc Puppeteer nav uz ko atbildēt. Izmantojiet pasūtījuma HTTP režīmu, lokālo pāradresētāju no proxy-chain vai autorizāciju pēc IP baltā saraksta.

Avoti

Neierobežotas IP adreses headless Chrome

Privātās IPv4 adreses 7 valstīs un statiskie ISP starpniekserveri ASV un Vjetnamā, izsniegti automātiski pēc apmaksas, viena IP vienam klientam.

Skatīt ASV cenas reāllaikā

Related articles

Proksiji pēc platformas
Proksiji tīmekļa skrāpēšanai: fiksēts IP pūls ar neierobežotu datu plūsmu
Web scraping proksiji Python, Scrapy, Playwright un Selenium: privāts IPv4 un statisku ISP adrešu pūls, neierobežota datu plūsma un fiksēta cena par katru IP.
Proksiju iestatīšana
Playwright proxy autentifikācija: viena statiskā IP katram kontekstam
Piešķiriet katram Playwright kontekstam autentificētu HTTP(S) proxy Node.js vai Python, pielāgojiet laika joslu un lokāli IP un apstipriniet izejas adresi.
Proksiju iestatīšana
Autentificēti proxy Node.js vidē: Axios, iebūvētais fetch un Got
Virziet Node.js un TypeScript pieprasījumus caur autentificētu HTTP(S) proxy: https-proxy-agent (Axios), undici ProxyAgent (fetch) un hpagent (Got).
Bezmaksas rīki
Pārveidojiet starpnieku sarakstu rīkam nepieciešamajā formātā
Konvertējiet starpnieku sarakstus pārlūkā starp ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON masīviem un FoxyProxy failiem lielā apjomā.
Proksiji pēc platformas
Starpniekserveri SEO rangu izsekošanai: skatiet rezultātu lapu vietējā meklētāja acīm
SEO rangu starpnieki ar privātu IPv4 ASV, Lielbritānijā, Vjetnamā, Japānā un vēl 4 tirgos, lai rangi, vietējie bloki un reklāmas atbilstu vietējo skatam.
Proksiji pēc platformas
Proksiji pakalpojumam YouTube: neļaujiet viena kanāla brīdinājumam skart pārējos
YouTube proksiji vairāku kanālu veidotājiem un komandām: viens statisks ISP vai IPv4 katram kanālam, lai brīdinājums vai bloķēšana neietekmētu citus kanālus.
IPV4 · united states
ASV privāto IPv4 starpniekserveru kopa datu vākšanai, pozīciju izsekošanai un reklāmu pārbaudei
Pērc ASV privātos IPv4 proxy: statiskas ASV datu centra IP, viens klients uz IP, neierobežota datplūsma. Piemēroti skrāpēšanai, SERP un ASV reklāmu pārbaudei.
IPV4 · singapore
Singapūras privātais IPv4 starpniekserveris: viena fiksēta IP adrese katram veikalam un reklāmas kontam
Singapūras privātais IPv4 proksijs: statiska SG datu centra IP tikai jums — Lazada un Shopee SG veikaliem, reklāmas kontiem un reģionālajai automatizācijai.