Puppeteer ជាមួយ proxy ដែលមានការផ្ទៀងផ្ទាត់៖ launch flag បូកការចូលគណនី
ដោយក្រុមវិស្វកម្ម ProxyV4 · Updated:
ការផ្ទៀងផ្ទាត់ proxy លើ Puppeteer កើតឡើងនៅពីរចំណុច៖ អាសយដ្ឋាន proxy ត្រូវដាក់ក្នុង launch flag --proxy-server=http://ip:port ហើយឈ្មោះអ្នកប្រើប្រាស់ និងពាក្យសម្ងាត់ត្រូវដាក់ក្នុង await page.authenticate({ username, password })។ Chrome នឹងឆ្លើយតបទៅនឹងសំណើ 407 របស់ proxy ដោយប្រើព័ត៌មានសម្ងាត់ទាំងនោះតាមរយៈ DevTools Protocol ដូច្នេះស្គ្រីប Node.js របស់អ្នកអាចប្រើ IP របស់ ProxyV4 ដោយមិនចាំបាច់មាន browser extension ឡើយ។
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1.85$
- 3+ IP1.70$
- 10+ IP1.60$
- 25+ IP1.50$
- 50+ IP1.40$
- 100+ IP1.30$
- 200+ IP1.20$
- 500+ IP1.10$
- 1 IP1.85$
- 3+ IP1.70$
- 10+ IP1.60$
- 25+ IP1.50$
- 50+ IP1.40$
- 100+ IP1.30$
- 200+ IP1.20$
- 500+ IP1.10$
ការផ្ទៀងផ្ទាត់ Puppeteer proxy៖ ឧទាហរណ៍ពេញលេញមួយ
បញ្ចូលអាសយដ្ឋាន proxy នៅក្នុង --proxy-server និងព័ត៌មានចូលប្រើតាមរយៈ page.authenticate() មុនពេលដំណើរការ navigation លើកដំបូង។ Script នេះធ្វើកិច្ចការនោះយ៉ាងជាក់លាក់ ហើយបង្ហាញ exit IP ដូច្នេះអ្នកអាចផ្ទៀងផ្ទាត់ proxy បានក្នុងពេលដំណើរការតែម្តង៖
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();លទ្ធផលគួរតែបង្ហាញ status 200 និង IP របស់ proxy។ ប្រសិនបើចេញ 407, ERR_TUNNEL_CONNECTION_FAILED ឬ IP ផ្ទាល់ខ្លួនរបស់អ្នក មានន័យថាខ្វះផ្នែកណាមួយក្នុងចំណោមផ្នែកទាំងពីរ។ ទំព័រ proxy មិនដំណើរការ បង្ហាញពីមូលហេតុទូទៅតាមឧបករណ៍នីមួយៗ។
ហេតុអ្វីបានជាព័ត៌មានចូលប្រើមិនមែនជាផ្នែកនៃ flag
Chrome មិនទទួលយកព័ត៌មានសម្ងាត់នៅក្នុង --proxy-server ទេ។ ប្រសិនបើអ្នកសរសេរ --proxy-server=http://user:pass@ip:port កម្មវិធីរុករកមិនអាចប្រើប្រាស់តម្លៃនោះបានឡើយ ហើយសំណើនឹងបរាជ័យ ដែលជាទូទៅបង្ហាញកំហុស ERR_NO_SUPPORTED_PROXIES។ សូមរក្សាទុក flag ត្រឹមតែអាសយដ្ឋាន និង port ហើយប្រគល់ការចូលប្រើទៅឱ្យ page។
| លំដាប់ | ការហៅប្រើ | មុខងារ |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | ប្រាប់ Chrome ថា proxy មួយណាដែលគ្រប់សំណើទាំងអស់ត្រូវប្រើ |
| 2 | await page.authenticate({ username, password }) | ផ្ដល់ព័ត៌មានសម្ងាត់នៅពេល proxy ឆ្លើយតប 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | ផ្ទុកគេហទំព័រគោលដៅតាមរយៈ proxy ដែលបានផ្ទៀងផ្ទាត់រួច |
ផ្ទាំង Tabs, contexts និង IP ច្រើនជាងមួយ
page.authenticate()ត្រូវបានកំណត់សម្រាប់ទំព័រនីមួយៗ៖ គ្រប់ tab ដែលបង្កើតចេញពីbrowser.newPage()ត្រូវការការហៅប្រើផ្ទាល់ខ្លួន មុនពេលgoto()លើកដំបូង- launch flag កំណត់ proxy តែមួយសម្រាប់ browser ទាំងមូល។ ដើម្បីប្រើ IP ផ្សេងគ្នាសម្រាប់ context នីមួយៗនៅក្នុងដំណើរការ Chrome តែមួយ សូមដំណើរការ
http://user:pass@ip:portនីមួយៗតាមរយៈanonymizeProxy()ពី packageproxy-chainហើយបញ្ជូនលទ្ធផលជាproxyServerទៅកាន់browser.createBrowserContext({ proxyServer }) - ការកំណត់រចនាសម្ព័ន្ធនេះដំណើរការដូចគ្នាជាមួយ
puppeteer-extraនិងpuppeteer-extra-plugin-stealth - ត្រូវបញ្ចប់ដោយ
browser.close()ជានិច្ច រួមទាំងក្នុងករណីមានកំហុស បើមិនដូច្នេះទេ ដំណើរការ headless Chrome នឹងកកកុញនៅលើ server
Puppeteer ជាមួយ SOCKS5 proxy
Chrome អាចប្រើ SOCKS5 proxy (--proxy-server=socks5://IP:PORT) បាន ប៉ុន្តែមិនអាចចូលប្រើបានទេ ហើយ page.authenticate() មិនអនុវត្តចំពោះ SOCKS ឡើយ។ ជាមួយ proxy របស់ ProxyV4 (SOCKS5 ត្រូវបានផ្ដល់ជូនក្រៅពីប្រទេសវៀតណាម ចំណែក IP វៀតណាមមានត្រឹមតែ HTTP ប៉ុណ្ណោះ) អ្នកមានជម្រើសសមស្របពីរ៖ ប្តូរការបញ្ជាទិញទៅជាទម្រង់ HTTP ឬ dual mode ហើយប្រើឧទាហរណ៍ខាងលើ ឬអនុញ្ញាតឱ្យ proxy-chain បើក local forwarder គ្មាន password ដែលជួយចូលប្រើជំនួសអ្នក៖
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);ការចូលប្រើតាមរយៈ IP whitelist គឺជាវិធីទីបី៖ បន្ថែម IP សាធារណៈរបស់ម៉ាស៊ីនទៅក្នុងការបញ្ជាទិញ ហើយ Chrome នឹងភ្ជាប់ទំនាក់ទំនងដោយមិនចាំបាច់ប្រើព័ត៌មានសម្ងាត់ណាមួយឡើយ។
ការជ្រើសរើស IP សម្រាប់ Puppeteer fleet
Headless Chrome ទាញយកទំព័រពេញលេញ, scripts និងរូបភាព ដូច្នេះទំហំចរាចរណ៍ទិន្នន័យនឹងកើនឡើងយ៉ាងឆាប់រហ័ស។ Proxy ប្រភេទ IPv4 ឯកជន និង static ISP របស់ ProxyV4 មិនមានការកំណត់កម្រិត bandwidth ទេ ដោយ IP នីមួយៗបម្រើជូនអតិថិជនតែម្នាក់គត់ ហើយការបន្តសុពលភាពនឹងរក្សាទុកអាសយដ្ឋានដដែល ដែលមានសារៈសំខាន់នៅពេល session ឬ allow-list ត្រូវបានភ្ជាប់ជាមួយវា។ ប្រៀបធៀប ផលិតផល IPv4 ឯកជន ជាមួយ ផលិតផល static ISP ប្រសិនបើគេហទំព័រគោលដៅកំណត់ចំពោះ datacenter ខុសគ្នា។
មួយជំហានម្តងៗ
- 1
បើកដំណើរការ Chrome ជាមួយអាសយដ្ឋាន proxy
ចាប់ផ្តើមកម្មវិធីរុករកជាមួយ
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });ដោយប្រើ IP និង port ពីការបញ្ជាទិញ ProxyV4 របស់អ្នក។ - 2
ផ្ទៀងផ្ទាត់ផ្ទាំង
បើកទំព័រជាមួយ
const page = await browser.newPage();ហើយ callawait page.authenticate({ username: 'USER', password: 'PASS' });មុនពេលរុករកណាមួយ។ - 3
ពិនិត្យមើល IP ចេញក្រៅ
រុករកជាមួយ
await page.goto('https://proxyv4.com/api/my-ip');ហើយពិនិត្យមើលថាការឆ្លើយតបបង្ហាញអាសយដ្ឋាន proxy។ - 4
បិទកម្មវិធីរុករក
បញ្ចប់ជាមួយ
await browser.close();ដើម្បីកុំឱ្យមានដំណើរការ Chrome នៅសល់បន្តដំណើរការ។
សំណួរដែលសួរញឹកញាប់
តើអ្វីបណ្ដាលឱ្យមាន ERR_NO_SUPPORTED_PROXIES នៅក្នុង Puppeteer?
បណ្ដាលមកពីព័ត៌មានសម្ងាត់នៅក្នុង flag ដូចជា --proxy-server=http://user:pass@ip:port។ សូមប្រើ --proxy-server=http://ip:port ហើយបញ្ជូន username និង password តាមរយៈ page.authenticate()។
ផ្ទាំងដំបូងរបស់ខ្ញុំដំណើរការ ប៉ុន្តែផ្ទាំងថ្មីជួបបញ្ហា HTTP 407។ មកពីអ្វី?
ការផ្ទៀងផ្ទាត់ត្រូវបានរក្សាទុកសម្រាប់ទំព័រនីមួយៗដាច់ដោយឡែក។ សូមហៅប្រើ await newTab.authenticate({ username, password }) នៅលើទំព័រនីមួយៗដែលអ្នកបើក មុនពេលវា navigates។
តើកម្មវិធីរុករក Puppeteer មួយអាចប្រើប្រាស់ proxy ច្រើនក្នុងពេលតែមួយបានទេ?
មិនអាចប្រើតាមរយៈ launch flag តែមួយមុខនោះទេ។ សូមប្រើ proxy-chain ដើម្បីបំប្លែង proxy ដែលបានផ្ទៀងផ្ទាត់នីមួយៗទៅជាអាសយដ្ឋាន local ហើយកំណត់ proxyServer រៀងៗខ្លួនសម្រាប់ browser context នីមួយៗ ឬបើក browser មួយសម្រាប់ proxy មួយ។
តើខ្ញុំអាចតេស្ត proxy ច្រើនមុនពេលយកទៅប្រើជាមួយ Puppeteer ដោយរបៀបណា?
សូមបិទភ្ជាប់ពួកវាទៅក្នុង proxy checker។ វាអាចដំណើរការរហូតដល់ 100 ក្នុងពេលតែមួយ និងមិនរក្សាទុក password ឡើយ។
ហេតុអ្វីបានជា page.authenticate() មិនដំណើរការជាមួយ SOCKS5 proxy របស់ខ្ញុំ?
Chrome មិនគាំទ្រការចូលប្រើដោយ username និង password សម្រាប់ SOCKS5 ទេ ដូច្នេះ Puppeteer មិនមានអ្វីត្រូវឆ្លើយតបឡើយ។ សូមប្រើមុខងារ HTTP នៃការបញ្ជាទិញ, local forwarder ពី proxy-chain ឬការចូលប្រើតាមរយៈ IP whitelist។
ប្រភព
IP មិនកំណត់ទំហំសម្រាប់ headless Chrome
IPv4 ផ្ទាល់ខ្លួនក្នុង 7 ប្រទេស បូករួមទាំង ISP ឋិតិវន្តនៅ US និង Vietnam ផ្តល់ជូនដោយស្វ័យប្រវត្តិក្រោយពេលបង់ប្រាក់ អតិថិជនម្នាក់សម្រាប់ IP មួយ។
ពិនិត្យតម្លៃ US ផ្ទាល់