Node.js တွင် အထောက်အထားစိစစ်ထားသော Proxy များ- Axios၊ native fetch နှင့် Got
ProxyV4 အင်ဂျင်နီယာအဖွဲ့မှ · Updated:
Axios ဖြင့် Node.js proxy ကို စိတ်ချယုံကြည်စွာ အသုံးပြုနိုင်သည့်နည်းလမ်းမှာ proxy: false နှင့်အတူ httpsAgent အဖြစ် HttpsProxyAgent ကို ထည့်သွင်းပေးခြင်း ဖြစ်သည်။ Axios ၏ မူလ proxy: { host, port } ဆက်တင်သည် HTTP CONNECT tunnel ကို မဖွင့်ပေးသောကြောင့် https:// URL များတွင် အဆင်မပြေဖြစ်တတ်ပြီး native fetch() အတွက်မူ undici ProxyAgent ကို အသုံးပြုရန် လိုအပ်ပါသည်။ ဤစာမျက်နှာတွင် ProxyV4 ၏ http://user:pass@ip:port URL ဖြင့် client တစ်ခုချင်းစီကို အသုံးပြုပုံနှင့် ထွက်ပေါက် IP ကို စစ်ဆေးအတည်ပြုပုံတို့ကို ဖော်ပြထားပါသည်။
new HttpsProxyAgent('http://user:pass@ip:port')- 1 IP၁.၈၅ US$
- 3+ IP များ၁.၇၀ US$
- 10+ IP များ၁.၆၀ US$
- 25+ IP များ၁.၅၀ US$
- 50+ IP များ၁.၄၀ US$
- 100+ IP များ၁.၃၀ US$
- 200+ IP များ၁.၂၀ US$
- 500+ IP များ၁.၁၀ US$
- 1 IP၁.၈၅ US$
- 3+ IP များ၁.၇၀ US$
- 10+ IP များ၁.၆၀ US$
- 25+ IP များ၁.၅၀ US$
- 50+ IP များ၁.၄၀ US$
- 100+ IP များ၁.၃၀ US$
- 200+ IP များ၁.၂၀ US$
- 500+ IP များ၁.၁၀ US$
သင့် HTTP client အတွက် ကုဒ်နမူနာကို ရွေးချယ်ပါ
Client သုံးခုစလုံးသည် တူညီသော proxy URL ကို အသုံးပြုပါသည်။ သင့်အော်ဒါရှိ ip:port:user:pass စာကြောင်းမှ ၎င်းကို တည်ဆောက်ပါ၊ client သည် proxy သို့ HTTP ဖြင့် ဆက်သွယ်ပြီး TLS ကို tunnel အဖြစ် ဖြတ်သန်းပို့ဆောင်သောကြောင့် scheme မှာ http:// အတိုင်း ဆက်လက်ရှိနေမည်ဖြစ်သည်။
| Client | Install လုပ်ခြင်း | Proxy ချိတ်ဆက်ခြင်း |
|---|---|---|
| Axios | npm i https-proxy-agent | axios.get(url, { httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port'), proxy: false }) |
Native fetch (Node 18+) | npm i undici | fetch(url, { dispatcher: new ProxyAgent('http://user:pass@ip:port') }) |
| Got | npm i hpagent | got(url, { agent: { https: new HttpsProxyAgent({ proxy: 'http://user:pass@ip:port' }) } }) |
Axios တွင် `proxy: false` အရေးပါရသည့် အကြောင်းရင်း
Axios သည် HTTP_PROXY နှင့် HTTPS_PROXY environment variable များကို အလိုအလျောက် စစ်ဆေးပါသည်။ အကယ်၍ စက်ထဲတွင် ၎င်းတို့အနက် တစ်ခုခု သတ်မှတ်ထားရှိပြီး (CI runner များနှင့် container များတွင် တွေ့ရလေ့ရှိသည်) သင်က agent တစ်ခုကိုပါ ထည့်သွင်းပေးလိုက်ပါက configuration နှစ်ခု ပဋိပက္ခဖြစ်သွားနိုင်သည်။ proxy: false သည် Axios အား environment နှင့် ၎င်း၏ ပါဝင်ပြီးသား proxy logic ကို လျစ်လျူရှုရန် ညွှန်ကြားပေးသောကြောင့် တောင်းဆိုချက် မည်သည့်နေရာသို့ သွားမည်ကို agent တစ်ခုတည်းကသာ ဆုံးဖြတ်ပေးမည်ဖြစ်သည်။
တောင်းဆိုချက်များစွာတွင် agent များကို ပြန်လည်အသုံးပြုခြင်း
- သင့် request loop ၏ အပြင်ဘက်တွင် proxy IP တစ်ခုလျှင် agent တစ်ခု တည်ဆောက်ပါ၊ agent သည် keep-alive socket များကို ထိန်းသိမ်းထားပေးပြီး ခေါ်ဆိုမှုတိုင်းအတွက် agent အသစ်တစ်ခု ပြုလုပ်ပါက ၎င်းတို့ကို စွန့်ပစ်သွားမည်ဖြစ်သည်
- Proxy အများအပြား ရှိပါက agent များကို အချိန်နှင့်တစ်ပြေးညီ အသစ်ပြုလုပ်နေမည့်အစား IP မှ agent သို့ ချိတ်ဆက်ပေးသော
Mapတစ်ခုထားရှိပြီး ၎င်းထဲမှ ရွေးချယ်အသုံးပြုပါ - ရပ်တန့်သွားသော target တစ်ခုကြောင့် worker အလုပ်လုပ်ခြင်း ထာဝစဉ် မရပ်တန့်စေရန် ခေါ်ဆိုမှုတိုင်းတွင်
timeout(ဥပမာ Axios တွင်timeout: 10000) ထည့်သွင်းပါ - Proxy စာရင်းကို data အနေဖြင့် လိုအပ်ပါသလား။ proxy format converter သည်
ip:port:user:passစာကြောင်းများကို သင်requireသို့မဟုတ်importလုပ်နိုင်သော JSON array အဖြစ် ပြောင်းလဲပေးပါသည်
တည်ငြိမ်သော IP တစ်ခုက Node.js လုပ်ငန်းစဉ်အတွက် ပေးစွမ်းနိုင်သည့်အရာများ
ProxyV4 သီးသန့် IPv4 တစ်ခုသည် ငှားရမ်းထားသည့် ကာလတစ်လျှောက်လုံး သုံးစွဲသူတစ်ဦးတည်းအတွက်သာ ဖြစ်ပြီး သက်တမ်းတိုးသည့်အခါတွင်လည်း လိပ်စာဟောင်းအတိုင်း ဆက်ရှိနေမည်ဖြစ်သောကြောင့် ထို IP နှင့် ချိတ်ဆက်ထားသော allow-list စာရင်းဝင် API၊ logged-in session သို့မဟုတ် rate-limit budget များသည် deploy ပြုလုပ်မှုများအကြား ဆက်လက်အကျုံးဝင်နေမည်ဖြစ်သည်။ Bandwidth ကို ကန့်သတ်မထားသောကြောင့် အချိန်ကြာမြင့်စွာ လည်ပတ်နေသည့် worker များကို ကြိုတင်ခန့်မှန်းရ လွယ်ကူစေပါသည်။ Crawling ပုံစံများနှင့် အရှိန်နှုန်းအတွက် web scraping use case ကို ကြည့်ရှုပါ။
တစ်ဆင့်ချင်းစီ လုပ်ဆောင်ရန်
- 1
Client နှင့် agent ကို install လုပ်ပါ
ပရောဂျက်ထဲတွင်
npm install axios https-proxy-agentကို run ပါ (သို့မဟုတ် nativefetchကို အသုံးပြုပါကnpm install undiciကို run ပါ)။ - 2
Agent ကို တစ်ကြိမ် တည်ဆောက်ပါ
သင့် ProxyV4 အော်ဒါမှ တန်ဖိုးများဖြင့်
const agent = new HttpsProxyAgent('http://user:pass@ip:port');ကို ဖန်တီးပါ။ - 3
၎င်းမှတစ်ဆင့် တောင်းဆိုချက်တစ်ခု ပို့ပါ
const res = await axios.get('https://proxyv4.com/api/my-ip', { httpsAgent: agent, proxy: false, timeout: 10000 });ကို ခေါ်ယူပါ။ - 4
IP ကို တိုက်ဆိုင်စစ်ဆေးပါ
console.log(res.data)သည် proxy IP ကို ထုတ်ပြရမည်ဖြစ်သည်။ အကယ်၍ သင့်ဆာဗာ၏ မူရင်းလိပ်စာကို ထုတ်ပြနေပါက agent ကို အသုံးမပြုနိုင်ခဲ့ခြင်း ဖြစ်သည်။
မကြာခဏမေးလေ့ရှိသော မေးခွန်းများ
HTTPS ဆိုက်များတွင် Axios proxy: { host, port, auth } သည် အဘယ်ကြောင့် မအောင်မြင်သနည်း။
ထို option သည် HTTP CONNECT tunnel တစ်ခုကို ဦးစွာတောင်းဆိုမည့်အစား သာမန် HTTP တောင်းဆိုချက်ကိုသာ proxy သို့ ပို့ပေးသောကြောင့် target ဆီသို့ TLS ချိတ်ဆက်မှု မှန်ကန်စွာ မဖြစ်ပေါ်နိုင်ပါ။ httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port') ကို အသုံးပြုပြီး proxy: false သတ်မှတ်ပေးပါ။
Node 18, 20 သို့မဟုတ် 22 တွင် native fetch() သို့ proxy တစ်ခုကို မည်သို့ ထည့်သွင်းရမည်နည်း။
Node ၏ fetch သည် undici ဖြင့် လည်ပတ်သောကြောင့် undici မှ ProxyAgent ကို import လုပ်ပြီး fetch() ၏ option များတွင် { dispatcher: new ProxyAgent('http://user:pass@ip:port') } ကို ထည့်သွင်းပေးပါ။
ကျွန်ုပ်၏ password တွင် @ သို့မဟုတ် : ပါဝင်နေပါသည်။ URL ပျက်စီးသွားနိုင်ပါသလား။
ပျက်စီးနိုင်ပါသည်၊ အကြောင်းမှာ ထိုအက္ခရာများသည် URL တစ်ခုအတွင်း အဓိပ္ပာယ်သက်ရောက်မှု ရှိသောကြောင့် ဖြစ်သည်။ http://user:pass@ip:port ကို မတည်ဆောက်မီ password ကို encodeURIComponent(password) ဖြင့် percent-encode ပြုလုပ်ပါ။
တောင်းဆိုချက်မှ 407 ပြန်လည်ပြသနေပါသည်။ မည်သည့်အရာ မှားယွင်းနေသနည်း။
Proxy က တုံ့ပြန်သော်လည်း login ဝင်ရောက်မှုကို ငြင်းပယ်ခဲ့ခြင်း ဖြစ်သည်။ သင့်အော်ဒါမှ username နှင့် password ကို ပြန်လည်စစ်ဆေးပါ၊ 407 troubleshooting page တွင် အဖြစ်များသော အကြောင်းရင်းများကို ဖော်ပြထားပါသည်။
ရင်းမြစ်များ
သင့် Node.js worker များအတွက် သီးသန့် IPv4
နိုင်ငံ 7 နိုင်ငံရှိ သီးသန့် IPv4 အပြင် US နှင့် ဗီယက်နမ်ရှိ static ISP၊ ဒေတာအကန့်အသတ်မဲ့၊ IP တစ်ခုလျှင် သုံးစွဲသူတစ်ဦးတည်း။ တစ်ခု သို့မဟုတ် အများအပြား ဝယ်ယူနိုင်ပါသည်။
US လက်ရှိဈေးနှုန်းများကို ကြည့်ရှုပါ