အထောက်အထားစိစစ်ရသော proxy ဖြင့် Puppeteer- launch flag နှင့် login
ProxyV4 အင်ဂျင်နီယာအဖွဲ့မှ · Updated:
Puppeteer proxy authentication သည် နေရာနှစ်ခုတွင် ပြုလုပ်ရပါသည်- proxy လိပ်စာကို --proxy-server=http://ip:port launch flag ထဲသို့ ထည့်သွင်းပြီး username နှင့် password ကို await page.authenticate({ username, password }) ထဲသို့ ထည့်သွင်းရပါသည်။ Chrome သည် proxy ၏ 407 challenge ကို ထိုအထောက်အထားများဖြင့် DevTools Protocol မှတစ်ဆင့် ဖြေကြားပေးသောကြောင့် သင်၏ Node.js script သည် browser extension မလိုဘဲ ProxyV4 IP ကို အသုံးပြုနိုင်ပါသည်။
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP၁.၈၅ US$
- 3+ IP များ၁.၇၀ US$
- 10+ IP များ၁.၆၀ US$
- 25+ IP များ၁.၅၀ US$
- 50+ IP များ၁.၄၀ US$
- 100+ IP များ၁.၃၀ US$
- 200+ IP များ၁.၂၀ US$
- 500+ IP များ၁.၁၀ US$
- 1 IP၁.၈၅ US$
- 3+ IP များ၁.၇၀ US$
- 10+ IP များ၁.၆၀ US$
- 25+ IP များ၁.၅၀ US$
- 50+ IP များ၁.၄၀ US$
- 100+ IP များ၁.၃၀ US$
- 200+ IP များ၁.၂၀ US$
- 500+ IP များ၁.၁၀ US$
Puppeteer proxy အထောက်အထားစိစစ်ခြင်း- ပြည့်စုံသော ဥပမာတစ်ခု
ပထမဆုံး navigation မတိုင်မီ proxy လိပ်စာကို --proxy-server တွင် ထည့်သွင်းပြီး အကောင့်ဝင်ရောက်မှုကို page.authenticate() မှတစ်ဆင့် ပေးပို့ပါ။ ဤ script သည် ၎င်းအတိုင်း တိကျစွာ လုပ်ဆောင်ပေးပြီး ထွက်ပေါက် IP ကို ထုတ်ပြပေးသဖြင့် တစ်ကြိမ် run ရုံဖြင့် proxy ကို အတည်ပြုနိုင်ပါသည်-
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();ရလဒ်အနေဖြင့် status 200 နှင့် proxy ၏ IP ကို ပြသသင့်သည်။ 407၊ ERR_TUNNEL_CONNECTION_FAILED သို့မဟုတ် သင့်ကိုယ်ပိုင် IP ပြနေပါက အပိုင်းနှစ်ပိုင်းအနက် တစ်ခု လိုအပ်နေခြင်းဖြစ်ပြီး proxy အလုပ်မလုပ်ခြင်း တွင် tool တစ်ခုချင်းစီအလိုက် ဖြစ်လေ့ရှိသော အကြောင်းရင်းများကို ဖော်ပြထားပါသည်။
အကောင့်ဝင်ရောက်မှုသည် flag ၏ အစိတ်အပိုင်းတစ်ခု မဟုတ်ရသည့် အကြောင်းရင်း
Chrome သည် --proxy-server အတွင်း credentials ထည့်သွင်းခြင်းကို လက်မခံပါ။ အကယ်၍ သင်သည် --proxy-server=http://user:pass@ip:port ဟု ရေးသားပါက browser သည် ထိုတန်ဖိုးကို အသုံးမပြုနိုင်ဘဲ ပုံမှန်အားဖြင့် ERR_NO_SUPPORTED_PROXIES ဖြင့် requests များ ကျရှုံးမည်ဖြစ်သည်။ flag တွင် လိပ်စာနှင့် port ကိုသာ ထားရှိပြီး အကောင့်ဝင်ရောက်မှုကို စာမျက်နှာထံသို့ ပေးအပ်ပါ။
| အစီအစဉ် | ခေါ်ဆိုမှု | လုပ်ဆောင်ချက် |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Request တိုင်း အသုံးပြုရမည့် proxy ကို Chrome အား ပြောပြသည် |
| 2 | await page.authenticate({ username, password }) | Proxy က 407 ဖြင့် ပြန်လည်တုံ့ပြန်သည့်အခါ credentials ကို ထောက်ပံ့ပေးသည် |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | အထောက်အထားစိစစ်ပြီးသော proxy မှတစ်ဆင့် ပစ်မှတ်ကို load လုပ်သည် |
Tabs၊ contexts များနှင့် IP တစ်ခုထက်ပို၍ အသုံးပြုခြင်း
page.authenticate()ကို စာမျက်နှာတစ်ခုချင်းစီအလိုက် သတ်မှတ်သည်-browser.newPage()မှ tab တိုင်းသည် ပထမဆုံးgoto()မတိုင်မီ ၎င်း၏ကိုယ်ပိုင်ခေါ်ဆိုမှု လိုအပ်သည်- Launch flag သည် browser တစ်ခုလုံးအတွက် proxy တစ်ခုတည်းကိုသာ သတ်မှတ်ပေးသည်။ Chrome process တစ်ခုတည်းတွင် context တစ်ခုချင်းစီအလိုက် မတူညီသော IP ရရှိရန်
proxy-chainpackage မှanonymizeProxy()ဖြင့်http://user:pass@ip:portတစ်ခုချင်းစီကို run ပြီး ရလဒ်ကိုproxyServerအဖြစ်browser.createBrowserContext({ proxyServer })သို့ ပေးပို့ပါ - ဤတပ်ဆင်ပုံသည်
puppeteer-extraနှင့်puppeteer-extra-plugin-stealthတို့နှင့်လည်း အလားတူ အလုပ်လုပ်ပါသည် - အမှားဖြစ်ပေါ်သည့် အခြေအနေများအပါအဝင် အမြဲတမ်း
browser.close()ဖြင့် အဆုံးသတ်ပါ၊ မဟုတ်ပါက headless Chrome processes များသည် server ပေါ်တွင် စုပုံလာပါလိမ့်မည်
SOCKS5 proxy နှင့် Puppeteer ကို တွဲဖက်အသုံးပြုခြင်း
Chrome သည် SOCKS5 proxy (--proxy-server=socks5://IP:PORT) ကို အသုံးပြုနိုင်သော်လည်း ၎င်းထဲသို့ login မဝင်နိုင်ပါ၊ ထို့အပြင် page.authenticate() သည် SOCKS တွင် သက်ရောက်မှုမရှိပါ။ ProxyV4 proxy ဖြင့် (ဗီယက်နမ်ပြင်ပတွင် SOCKS5 ကို ပံ့ပိုးပေးပြီး ဗီယက်နမ် IP များသည် HTTP သာ ဖြစ်သည်) သင့်အတွက် ရှင်းလင်းလွယ်ကူသော ရွေးချယ်စရာ နှစ်ခုရှိပါသည်- အော်ဒါကို HTTP သို့မဟုတ် dual mode သို့ ပြောင်းပြီး အထက်ပါ ဥပမာကို အသုံးပြုပါ၊ သို့မဟုတ် သင့်အတွက် အလိုအလျောက် login ဝင်ပေးမည့် password မပါသော local forwarder တစ်ခု ဖွင့်ရန် proxy-chain ကို ခွင့်ပြုပါ-
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);IP whitelist ဖြင့် အကောင့်ဝင်ခြင်းသည် တတိယမြောက် နည်းလမ်းဖြစ်သည်- စက်၏ public IP ကို အော်ဒါထဲသို့ ထည့်သွင်းလိုက်ပါက Chrome သည် မည်သည့် credentials မျှမပါဘဲ ချိတ်ဆက်နိုင်မည်ဖြစ်သည်။
Puppeteer fleet တစ်ခုအတွက် IP များကို ရွေးချယ်ခြင်း
Headless Chrome သည် စာမျက်နှာအပြည့်အစုံ၊ scripts များနှင့် ပုံများကို ဒေါင်းလုဒ်လုပ်သောကြောင့် ကန့်သတ်ထားသော traffic ပမာဏသည် လျင်မြန်စွာ ကုန်ဆုံးသွားနိုင်သည်။ ProxyV4 သီးသန့် IPv4 နှင့် static ISP proxy များတွင် bandwidth ကန့်သတ်ချက်မရှိပါ၊ IP တစ်ခုစီသည် သုံးစွဲသူတစ်ဦးတည်းအတွက်သာ ဖြစ်ပြီး သက်တမ်းတိုးသည့်အခါ မူလလိပ်စာကိုပင် ဆက်လက်ရရှိစေသဖြင့် session သို့မဟုတ် allow-list နှင့် ချိတ်ဆက်ထားချိန်တွင် အရေးပါပါသည်။ ပစ်မှတ် website သည် datacenter ranges များကို ကွဲပြားစွာ သတ်မှတ်ဆက်ဆံပါက သီးသန့် IPv4 ထုတ်ကုန် နှင့် static ISP ထုတ်ကုန် ကို နှိုင်းယှဉ်ကြည့်ပါ။
တစ်ဆင့်ချင်းစီ လုပ်ဆောင်ရန်
- 1
Proxy လိပ်စာဖြင့် Chrome ကို စတင်ပါ
သင့် ProxyV4 အော်ဒါမှ IP နှင့် port ကို အသုံးပြု၍ browser ကို
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });ဖြင့် စတင်ပါ။ - 2
Tab ကို အထောက်အထားစိစစ်ပါ
စာမျက်နှာကို
const page = await browser.newPage();ဖြင့် ဖွင့်ပြီး မည်သည့် navigation မဆို မပြုလုပ်မီawait page.authenticate({ username: 'USER', password: 'PASS' });ကို ခေါ်ယူပါ။ - 3
Exit IP ကို ဖတ်ရှုစစ်ဆေးပါ
await page.goto('https://proxyv4.com/api/my-ip');ဖြင့် သွားရောက်ပြီး response တွင် proxy လိပ်စာ ပြသနေခြင်း ရှိမရှိ စစ်ဆေးပါ။ - 4
Browser ကို ပိတ်ပါ
မည်သည့် Chrome process မျှ ဆက်လက် run နေခြင်းမရှိစေရန်
await browser.close();ဖြင့် အဆုံးသတ်ပါ။
မကြာခဏမေးလေ့ရှိသော မေးခွန်းများ
Puppeteer တွင် ERR_NO_SUPPORTED_PROXIES ဖြစ်ပေါ်ရသည့် အကြောင်းရင်းမှာ အဘယ်နည်း။
--proxy-server=http://user:pass@ip:port ကဲ့သို့ flag ထဲတွင် credentials ထည့်သွင်းထားခြင်းကြောင့် ဖြစ်သည်။ --proxy-server=http://ip:port ကို အသုံးပြုပြီး username နှင့် password ကို page.authenticate() မှတစ်ဆင့် ပေးပို့ပါ။
ပထမ tab အလုပ်လုပ်သော်လည်း tab အသစ်တွင် HTTP 407 ဖြစ်နေပါသည်။ အဘယ်ကြောင့်နည်း။
Authentication ကို စာမျက်နှာတစ်ခုချင်းစီအလိုက် သီးခြားသိမ်းဆည်းသည်။ သင်ဖွင့်လိုက်သော စာမျက်နှာတစ်ခုချင်းစီတွင် ၎င်း navigate မလုပ်မီ await newTab.authenticate({ username, password }) ကို ခေါ်ပေးပါ။
Puppeteer browser တစ်ခုတည်းဖြင့် proxy အများအပြားကို တစ်ပြိုင်နက် သုံးနိုင်ပါသလား။
launch flag တစ်ခုတည်းဖြင့် မရနိုင်ပါ။ အထောက်အထားစိစစ်ထားသော proxy တစ်ခုချင်းစီကို local လိပ်စာအဖြစ် ပြောင်းလဲရန် proxy-chain ကို အသုံးပြုပြီး browser context တစ်ခုချင်းစီသို့ ၎င်း၏ကိုယ်ပိုင် proxyServer ပေးပါ၊ သို့မဟုတ် proxy တစ်ခုလျှင် browser တစ်ခုစီ စတင် run ပါ။
Puppeteer ထံသို့ မထည့်သွင်းမီ proxy အများအပြားကို မည်သို့ စမ်းသပ်နိုင်သနည်း။
၎င်းတို့ကို proxy စစ်ဆေးကိရိယာ ထဲသို့ paste လုပ်ပါ၊ ၎င်းသည် တစ်ကြိမ်လျှင် 100 အထိ လုပ်ဆောင်ပေးနိုင်ပြီး password များကို သိမ်းဆည်းထားခြင်း မရှိပါ။
ကျွန်ုပ်၏ SOCKS5 proxy တွင် page.authenticate() က အဘယ်ကြောင့် အလုပ်မလုပ်သနည်း။
Chrome သည် SOCKS5 အတွက် username နှင့် password ဖြင့် အကောင့်ဝင်ရောက်ခြင်းကို မထောက်ပံ့ထားသောကြောင့် Puppeteer ဘက်မှ တုံ့ပြန်ဆောင်ရွက်ရန် မရှိပါ။ အော်ဒါ၏ HTTP mode၊ proxy-chain မှ local forwarder တစ်ခု၊ သို့မဟုတ် IP whitelist ဖြင့် ဝင်ရောက်ခြင်းကို အသုံးပြုပါ။
ရင်းမြစ်များ
Headless Chrome အတွက် အကန့်အသတ်မဲ့ IP များ
နိုင်ငံပေါင်း 7 နိုင်ငံရှိ Private IPv4 နှင့် US နှင့် Vietnam ရှိ static ISP၊ ငွေပေးချေပြီးနောက် အလိုအလျောက် ထုတ်ပေးသည်၊ IP တစ်ခုလျှင် သုံးစွဲသူတစ်ဦးသာ။
US လက်ရှိစျေးနှုန်းများကို စစ်ဆေးပါ