ProxyV4

Нэвтрэлттэй прокси бүхий Puppeteer: эхлүүлэх туг ба нэвтрэлт

· Updated:

Puppeteer-ийн прокси баталгаажуулалт хоёр хэсэгт хийгддэг: прокси хаягийг --proxy-server=http://ip:port эхлүүлэх тугт зааж өгөх ба хэрэглэгчийн нэр, нууц үгийг await page.authenticate({ username, password }) дотор оруулдаг. Chrome нь проксийн 407 шаардлагад эдгээр мэдээллээр DevTools Protocol-оор дамжуулан хариулдаг тул таны Node.js скрипт ямар ч хөтчийн өргөтгөлгүйгээр ProxyV4 IP-г ашиглах боломжтой болно.

Puppeteer · HTTP
--proxy-server=http://ip:port + page.authenticate({ username, password })
Хувийн IPv4 (дата төв)
🇺🇸 Америкийн Нэгдсэн Улс
Бэлэн байгаа
Эхлэх үнэ
$ 1.10 / IP / сар
Тоо хэмжээний хөнгөлөлт
  • 1 IP$ 1.85
  • 3+ IP$ 1.70
  • 10+ IP$ 1.60
  • 25+ IP$ 1.50
  • 50+ IP$ 1.40
  • 100+ IP$ 1.30
  • 200+ IP$ 1.20
  • 500+ IP$ 1.10
Америкийн Нэгдсэн Улс худалдаж авах
Хувийн IPv4 (дата төв)
🇸🇬 Сингапур
Бэлэн байгаа
Эхлэх үнэ
$ 1.10 / IP / сар
Тоо хэмжээний хөнгөлөлт
  • 1 IP$ 1.85
  • 3+ IP$ 1.70
  • 10+ IP$ 1.60
  • 25+ IP$ 1.50
  • 50+ IP$ 1.40
  • 100+ IP$ 1.30
  • 200+ IP$ 1.20
  • 500+ IP$ 1.10
Сингапур худалдаж авах
Платформоорх прокси:Web Scraping & CrawlingSEO & SERP TrackingYouTube

Puppeteer прокси нэвтрэлт: бүрэн жишээ

Анхны шилжилт хийхээс өмнө прокси хаягийг --proxy-server дотор, харин нэвтрэх мэдээллийг page.authenticate()-ээр дамжуулна уу. Энэ скрипт нь үүнийг яг хийж, гаралтын IP-г хэвлэдэг тул та проксиг нэг удаа ажиллуулаад баталгаажуулах боломжтой:

// npm i puppeteer
const puppeteer = require('puppeteer');

const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };

(async () => {
  const browser = await puppeteer.launch({
    args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
  });
  try {
    const page = await browser.newPage();
    await page.authenticate({ username: PROXY.username, password: PROXY.password });
    const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
    console.log(res.status(), await page.evaluate(() => document.body.innerText));
  } finally {
    await browser.close();
  }
})();

Гаралт дээр 200 төлөв болон проксийн IP харагдах ёстой. 407, ERR_TUNNEL_CONNECTION_FAILED эсвэл таны өөрийн IP гарч байвал хоёр хэсгийн нэг нь дутуу байна гэсэн үг; прокси ажиллахгүй байх хуудсанд хэрэгсэл тус бүрийн нийтлэг шалтгаануудыг жагсаасан байгаа.

Яагаад нэвтрэх мэдээлэл тугт ордоггүй вэ

Chrome нь --proxy-server дотор нэвтрэх мэдээллийг хүлээж авдаггүй. Хэрэв та --proxy-server=http://user:pass@ip:port гэж бичвэл хөтөч уг утгыг ашиглаж чадахгүй бөгөөд хүсэлтүүд ихэвчлэн ERR_NO_SUPPORTED_PROXIES алдаа заан бүтэлгүйтдэг. Тугт зөвхөн хаяг болон портыг үлдээж, нэвтрэх мэдээллийг хуудсанд өгнө үү.

ДараалалДуудах командЮу хийдэг вэ
1puppeteer.launch({ args: ['--proxy-server=http://ip:port'] })Хүсэлт бүрд ямар прокси ашиглахыг Chrome-д зааж өгнө
2await page.authenticate({ username, password })Прокси 407 гэж хариулах үед нэвтрэх мэдээллийг өгнө
3await page.goto(url, { waitUntil: 'domcontentloaded' })Баталгаажсан проксигоор дамжуулан зорилтот хуудсыг ачаална

Табууд, контекстүүд болон олон IP

  • page.authenticate() нь хуудас бүрд тохируулагддаг: browser.newPage()-ээс үүссэн таб бүрд анхны goto() хийхээс өмнө өөрийн гэсэн дуудалтыг хийх шаардлагатай
  • Эхлүүлэх туг нь бүхэл бүтэн хөтчид нэг проксиг зааж өгдөг. Нэг Chrome процесс дотор контекст бүрд өөр IP ашиглахын тулд http://user:pass@ip:port бүрийг proxy-chain багцын anonymizeProxy()-ээр дамжуулан ажиллуулж, гарсан үр дүнг browser.createBrowserContext({ proxyServer }) рүү proxyServer болгон өгнө үү
  • Энэхүү тохиргоо нь puppeteer-extra болон puppeteer-extra-plugin-stealth-тэй яг адилхан ажиллана
  • Алдааны тохиолдлуудыг оруулаад үргэлж browser.close()-ээр дуусгана уу, эс бөгөөс сервер дээр headless Chrome процессууд хуримтлагдах болно

SOCKS5 прокситой Puppeteer

Chrome нь SOCKS5 проксиг (--proxy-server=socks5://IP:PORT) ашиглаж чадах боловч нэвтрэх боломжгүй бөгөөд page.authenticate() нь SOCKS-д хамаарахгүй. ProxyV4 проксийн хувьд (SOCKS5-ийг Вьетнамаас гадна санал болгодог; Вьетнам IP-ууд нь зөвхөн HTTP байна) танд хоёр оновчтой сонголт бий: захиалгыг HTTP эсвэл хосолсон горимд шилжүүлж дээрх жишээг ашиглах, эсвэл таны өмнөөс нэвтэрдэг нууц үггүй дотоод дамжуулагчийг proxy-chain-ээр нээлгэх:

const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);

IP whitelist-ээр нэвтрэх нь гурав дахь арга юм: машины нийтийн IP-г захиалгад нэмснээр Chrome ямар ч нэвтрэх мэдээлэлгүйгээр холбогдоно.

Puppeteer системд зориулсан IP сонголт

Headless Chrome нь бүтэн хуудас, скрипт болон зургуудыг татдаг тул хязгаартай дата трафик хурдан дуусдаг. ProxyV4-ийн хувийн IPv4 болон статик ISP прокси нь трафикийн хязгааргүй, IP бүр зөвхөн нэг хэрэглэгчид үйлчилдэг бөгөөд хугацааг нь сунгахад хаяг хэвээр хадгалагддаг нь тухайн IP-д холбогдсон сэшн эсвэл зөвшөөрөгдсөн жагсаалттай үед чухал ач холбогдолтой. Хэрэв зорилтот сайт дата төвийн сүлжээг өөрөөр авч үздэг бол хувийн IPv4 бүтээгдэхүүн-ийг статик ISP бүтээгдэхүүн-тэй харьцуулна уу.

Алхам алхмаар

  1. 1

    Chrome-ийг прокси хаягтай хамт эхлүүлэх

    Та өөрийн ProxyV4 захиалгын IP болон портыг ашиглан const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }); кодоор хөтчийг эхлүүлнэ үү.

  2. 2

    Таб дээр нэвтрэлтийг баталгаажуулах

    const page = await browser.newPage(); кодоор хуудас нээж, ямар нэгэн хуудас руу шилжихээс өмнө await page.authenticate({ username: 'USER', password: 'PASS' }); дуудалтыг хийнэ үү.

  3. 3

    Гаралтын IP-г шалгах

    await page.goto('https://proxyv4.com/api/my-ip'); руу шилжиж, хариу дээр прокси хаяг харагдаж байгаа эсэхийг шалгана уу.

  4. 4

    Хөтчийг хаах

    Ямар ч Chrome процесс ажиллаж үлдэхгүйн тулд await browser.close(); кодоор дуусгана уу.

Түгээмэл асуултууд

Puppeteer дээр ERR_NO_SUPPORTED_PROXIES алдаа юунаас болж гардаг вэ?

--proxy-server=http://user:pass@ip:port гэх мэтээр туг дотор нэвтрэх мэдээллийг оруулснаас болдог. --proxy-server=http://ip:port гэж ашиглаад, хэрэглэгчийн нэр болон нууц үгээ page.authenticate()-ээр дамжуулна уу.

Эхний таб ажиллаж байгаа ч шинэ таб дээр HTTP 407 гарч байна. Яагаад?

Нэвтрэлтийн мэдээлэл хуудас бүрд хадгалагддаг. Нээсэн хуудас бүрийн шилжилт хийхээс өмнө await newTab.authenticate({ username, password })-ийг дуудна уу.

Нэг Puppeteer хөтөч нэгэн зэрэг хэд хэдэн прокси ашиглаж чадах уу?

Зөвхөн эхлүүлэх тугаар дамжуулан ашиглах боломжгүй. Баталгаажуулсан прокси бүрийг дотоод хаяг болгон хувиргахын тулд proxy-chain-ийг ашиглаж, хөтчийн контекст бүрд өөрийн гэсэн proxyServer олгох, эсвэл прокси тус бүрд нэг хөтөч эхлүүлнэ үү.

Puppeteer-т өгөхөөсөө өмнө олон проксиг хэрхэн шалгах вэ?

Тэдгээрийг прокси шалгагч руу хуулж оруулна уу; энэ нь нэг удаад 100 хүртэлх хаяг шалгах боломжтой бөгөөд нууц үгийг хадгалдаггүй.

Миний SOCKS5 прокси дээр page.authenticate() яагаад ажиллахгүй байна вэ?

Chrome нь SOCKS5 дээр хэрэглэгчийн нэр, нууц үгээр нэвтрэхийг дэмждэггүй тул Puppeteer-т хариулах зүйл байдаггүй. Захиалгын HTTP горим, proxy-chain-ий дотоод дамжуулагч эсвэл IP whitelist-ээр нэвтрэх аргыг ашиглана уу.

Эх сурвалж

Headless Chrome-д зориулсан хязгааргүй IP-нууд

7 улсын хувийн IPv4 болон АНУ, Вьетнам дахь статик ISP, төлбөрийн дараа автоматаар олгогдоно, IP бүрт нэг хэрэглэгч.

АНУ-ын бодит үнийг шалгах

Related articles

Платформоорх прокси
Веб скрапинг хийх прокси: хязгааргүй дататай тогтмол IP сан
Python, Scrapy, Playwright, Selenium-д зориулсан веб скрапинг прокси: хязгааргүй трафик, хувийн IPv4 болон статик ISP хаягийн сан, IP тутамд тогтмол үнэтэй.
Прокси тохиргоо
Playwright прокси баталгаажуулалт, context бүрд нэг статик IP
Playwright browser context бүрд Node.js эсвэл Python-оор баталгаажуулсан HTTP(S) прокси холбож, цагийн бүс, хэлийг IP-д тааруулан гаралтын хаягаа шалгаарай.
Прокси тохиргоо
Node.js дэх нэвтрэлттэй прокси: Axios, native fetch болон Got
Node.js болон TypeScript хүсэлтийг нэвтрэлттэй HTTP(S) проксигоор чиглүүлэх: Axios-д https-proxy-agent, fetch-д undici ProxyAgent, Got-д hpagent ашиглана.
Үнэгүй хэрэгслүүд
Прокси жагсаалтыг хэрэгсэлдээ тохирох формат руу хөрвүүлээрэй
Хөтөч дээрээ ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON массив, FoxyProxy импорт файлын хооронд прокси жагсаалтыг бөөнөөр нь хөрвүүл.
Платформоорх прокси
SEO зэрэглэл хянах прокси: нутгийн хэрэглэгчийн хардаг илэрцийн хуудсыг хараарай
АНУ, Их Британи, Вьетнам, Япон зэрэг 7 зах зээлийн хувийн IPv4 проксигоор SEO зэрэглэл, орон нутгийн илэрц, зарыг нутгийн хэрэглэгчийн хардаг шиг шалгаарай.
Платформоорх прокси
YouTube-д зориулсан прокси: нэг сувгийн зөрчил бусдад нөлөөлөхөөс сэргийл
Олон сувагтай багуудад зориулсан YouTube прокси: суваг бүрд нэг статик ISP эсвэл IPv4 оноосноор нэг сувгийн зөрчил, хаалт бусад сувагт дамжихгүй.
IPV4 · united states
АНУ-ын хувийн IPv4 прокси сан: Өгөгдөл цуглуулах, эрэмбэ хянах, зар шалгахад
АНУ-ын хувийн IPv4 прокси худалдан аваарай: хязгааргүй дата, 1 IP-д 1 хэрэглэгч, Америкийн статик дата төвийн IP. Скрапинг, SERP болон зар шалгахад зориулав.
IPV4 · singapore
Сингапурын хувийн IPv4 прокси: Дэлгүүр болон зарын данс тутамд нэг тогтмол IP
Сингапурын хувийн IPv4 прокси: зөвхөн танд зориулсан дата төвийн статик SG IP. Lazada, Shopee SG дэлгүүр, зарын данс болон автоматжуулалтад ашиглана.