Нэвтрэлттэй прокси бүхий Puppeteer: эхлүүлэх туг ба нэвтрэлт
ProxyV4 инженерийн баг · Updated:
Puppeteer-ийн прокси баталгаажуулалт хоёр хэсэгт хийгддэг: прокси хаягийг --proxy-server=http://ip:port эхлүүлэх тугт зааж өгөх ба хэрэглэгчийн нэр, нууц үгийг await page.authenticate({ username, password }) дотор оруулдаг. Chrome нь проксийн 407 шаардлагад эдгээр мэдээллээр DevTools Protocol-оор дамжуулан хариулдаг тул таны Node.js скрипт ямар ч хөтчийн өргөтгөлгүйгээр ProxyV4 IP-г ашиглах боломжтой болно.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP$ 1.85
- 3+ IP$ 1.70
- 10+ IP$ 1.60
- 25+ IP$ 1.50
- 50+ IP$ 1.40
- 100+ IP$ 1.30
- 200+ IP$ 1.20
- 500+ IP$ 1.10
- 1 IP$ 1.85
- 3+ IP$ 1.70
- 10+ IP$ 1.60
- 25+ IP$ 1.50
- 50+ IP$ 1.40
- 100+ IP$ 1.30
- 200+ IP$ 1.20
- 500+ IP$ 1.10
Puppeteer прокси нэвтрэлт: бүрэн жишээ
Анхны шилжилт хийхээс өмнө прокси хаягийг --proxy-server дотор, харин нэвтрэх мэдээллийг page.authenticate()-ээр дамжуулна уу. Энэ скрипт нь үүнийг яг хийж, гаралтын IP-г хэвлэдэг тул та проксиг нэг удаа ажиллуулаад баталгаажуулах боломжтой:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();Гаралт дээр 200 төлөв болон проксийн IP харагдах ёстой. 407, ERR_TUNNEL_CONNECTION_FAILED эсвэл таны өөрийн IP гарч байвал хоёр хэсгийн нэг нь дутуу байна гэсэн үг; прокси ажиллахгүй байх хуудсанд хэрэгсэл тус бүрийн нийтлэг шалтгаануудыг жагсаасан байгаа.
Яагаад нэвтрэх мэдээлэл тугт ордоггүй вэ
Chrome нь --proxy-server дотор нэвтрэх мэдээллийг хүлээж авдаггүй. Хэрэв та --proxy-server=http://user:pass@ip:port гэж бичвэл хөтөч уг утгыг ашиглаж чадахгүй бөгөөд хүсэлтүүд ихэвчлэн ERR_NO_SUPPORTED_PROXIES алдаа заан бүтэлгүйтдэг. Тугт зөвхөн хаяг болон портыг үлдээж, нэвтрэх мэдээллийг хуудсанд өгнө үү.
| Дараалал | Дуудах команд | Юу хийдэг вэ |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Хүсэлт бүрд ямар прокси ашиглахыг Chrome-д зааж өгнө |
| 2 | await page.authenticate({ username, password }) | Прокси 407 гэж хариулах үед нэвтрэх мэдээллийг өгнө |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Баталгаажсан проксигоор дамжуулан зорилтот хуудсыг ачаална |
Табууд, контекстүүд болон олон IP
page.authenticate()нь хуудас бүрд тохируулагддаг:browser.newPage()-ээс үүссэн таб бүрд анхныgoto()хийхээс өмнө өөрийн гэсэн дуудалтыг хийх шаардлагатай- Эхлүүлэх туг нь бүхэл бүтэн хөтчид нэг проксиг зааж өгдөг. Нэг Chrome процесс дотор контекст бүрд өөр IP ашиглахын тулд
http://user:pass@ip:portбүрийгproxy-chainбагцынanonymizeProxy()-ээр дамжуулан ажиллуулж, гарсан үр дүнгbrowser.createBrowserContext({ proxyServer })рүүproxyServerболгон өгнө үү - Энэхүү тохиргоо нь
puppeteer-extraболонpuppeteer-extra-plugin-stealth-тэй яг адилхан ажиллана - Алдааны тохиолдлуудыг оруулаад үргэлж
browser.close()-ээр дуусгана уу, эс бөгөөс сервер дээр headless Chrome процессууд хуримтлагдах болно
SOCKS5 прокситой Puppeteer
Chrome нь SOCKS5 проксиг (--proxy-server=socks5://IP:PORT) ашиглаж чадах боловч нэвтрэх боломжгүй бөгөөд page.authenticate() нь SOCKS-д хамаарахгүй. ProxyV4 проксийн хувьд (SOCKS5-ийг Вьетнамаас гадна санал болгодог; Вьетнам IP-ууд нь зөвхөн HTTP байна) танд хоёр оновчтой сонголт бий: захиалгыг HTTP эсвэл хосолсон горимд шилжүүлж дээрх жишээг ашиглах, эсвэл таны өмнөөс нэвтэрдэг нууц үггүй дотоод дамжуулагчийг proxy-chain-ээр нээлгэх:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);IP whitelist-ээр нэвтрэх нь гурав дахь арга юм: машины нийтийн IP-г захиалгад нэмснээр Chrome ямар ч нэвтрэх мэдээлэлгүйгээр холбогдоно.
Puppeteer системд зориулсан IP сонголт
Headless Chrome нь бүтэн хуудас, скрипт болон зургуудыг татдаг тул хязгаартай дата трафик хурдан дуусдаг. ProxyV4-ийн хувийн IPv4 болон статик ISP прокси нь трафикийн хязгааргүй, IP бүр зөвхөн нэг хэрэглэгчид үйлчилдэг бөгөөд хугацааг нь сунгахад хаяг хэвээр хадгалагддаг нь тухайн IP-д холбогдсон сэшн эсвэл зөвшөөрөгдсөн жагсаалттай үед чухал ач холбогдолтой. Хэрэв зорилтот сайт дата төвийн сүлжээг өөрөөр авч үздэг бол хувийн IPv4 бүтээгдэхүүн-ийг статик ISP бүтээгдэхүүн-тэй харьцуулна уу.
Алхам алхмаар
- 1
Chrome-ийг прокси хаягтай хамт эхлүүлэх
Та өөрийн ProxyV4 захиалгын IP болон портыг ашиглан
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });кодоор хөтчийг эхлүүлнэ үү. - 2
Таб дээр нэвтрэлтийг баталгаажуулах
const page = await browser.newPage();кодоор хуудас нээж, ямар нэгэн хуудас руу шилжихээс өмнөawait page.authenticate({ username: 'USER', password: 'PASS' });дуудалтыг хийнэ үү. - 3
Гаралтын IP-г шалгах
await page.goto('https://proxyv4.com/api/my-ip');руу шилжиж, хариу дээр прокси хаяг харагдаж байгаа эсэхийг шалгана уу. - 4
Хөтчийг хаах
Ямар ч Chrome процесс ажиллаж үлдэхгүйн тулд
await browser.close();кодоор дуусгана уу.
Түгээмэл асуултууд
Puppeteer дээр ERR_NO_SUPPORTED_PROXIES алдаа юунаас болж гардаг вэ?
--proxy-server=http://user:pass@ip:port гэх мэтээр туг дотор нэвтрэх мэдээллийг оруулснаас болдог. --proxy-server=http://ip:port гэж ашиглаад, хэрэглэгчийн нэр болон нууц үгээ page.authenticate()-ээр дамжуулна уу.
Эхний таб ажиллаж байгаа ч шинэ таб дээр HTTP 407 гарч байна. Яагаад?
Нэвтрэлтийн мэдээлэл хуудас бүрд хадгалагддаг. Нээсэн хуудас бүрийн шилжилт хийхээс өмнө await newTab.authenticate({ username, password })-ийг дуудна уу.
Нэг Puppeteer хөтөч нэгэн зэрэг хэд хэдэн прокси ашиглаж чадах уу?
Зөвхөн эхлүүлэх тугаар дамжуулан ашиглах боломжгүй. Баталгаажуулсан прокси бүрийг дотоод хаяг болгон хувиргахын тулд proxy-chain-ийг ашиглаж, хөтчийн контекст бүрд өөрийн гэсэн proxyServer олгох, эсвэл прокси тус бүрд нэг хөтөч эхлүүлнэ үү.
Puppeteer-т өгөхөөсөө өмнө олон проксиг хэрхэн шалгах вэ?
Тэдгээрийг прокси шалгагч руу хуулж оруулна уу; энэ нь нэг удаад 100 хүртэлх хаяг шалгах боломжтой бөгөөд нууц үгийг хадгалдаггүй.
Миний SOCKS5 прокси дээр page.authenticate() яагаад ажиллахгүй байна вэ?
Chrome нь SOCKS5 дээр хэрэглэгчийн нэр, нууц үгээр нэвтрэхийг дэмждэггүй тул Puppeteer-т хариулах зүйл байдаггүй. Захиалгын HTTP горим, proxy-chain-ий дотоод дамжуулагч эсвэл IP whitelist-ээр нэвтрэх аргыг ашиглана уу.
Эх сурвалж
Headless Chrome-д зориулсан хязгааргүй IP-нууд
7 улсын хувийн IPv4 болон АНУ, Вьетнам дахь статик ISP, төлбөрийн дараа автоматаар олгогдоно, IP бүрт нэг хэрэглэгч.
АНУ-ын бодит үнийг шалгах