Node.js-এ অথেনটিকেটেড প্রক্সি: Axios, নেটিভ fetch এবং Got
ProxyV4 ইঞ্জিনিয়ারিং টিমের পক্ষ থেকে · Updated:
Axios দিয়ে Node.js প্রক্সি ব্যবহারের নির্ভরযোগ্য উপায় হলো proxy: false-এর সাথে httpsAgent হিসেবে একটি HttpsProxyAgent পাস করা। Axios-এর নিজস্ব proxy: { host, port } কনফিগারেশন কোনো HTTP CONNECT টানেল তৈরি করে না, ফলে https:// URL-এ এটি কাজ করে না; এর পরিবর্তে নেটিভ fetch()-এর জন্য প্রয়োজন undici ProxyAgent। এই পেজে প্রতিটি ক্লায়েন্টে একটি ProxyV4 http://user:pass@ip:port URL ব্যবহার এবং এক্সিট IP নিশ্চিত করার পদ্ধতি দেখানো হয়েছে।
new HttpsProxyAgent('http://user:pass@ip:port')- 1 IP১.৮৫ US$
- 3+ IP১.৭০ US$
- 10+ IP১.৬০ US$
- 25+ IP১.৫০ US$
- 50+ IP১.৪০ US$
- 100+ IP১.৩০ US$
- 200+ IP১.২০ US$
- 500+ IP১.১০ US$
- 1 IP১.৮৫ US$
- 3+ IP১.৭০ US$
- 10+ IP১.৬০ US$
- 25+ IP১.৫০ US$
- 50+ IP১.৪০ US$
- 100+ IP১.৩০ US$
- 200+ IP১.২০ US$
- 500+ IP১.১০ US$
আপনার HTTP ক্লায়েন্টের জন্য উপযুক্ত স্নিপেট বেছে নিন
তিনটি ক্লায়েন্টই একই প্রক্সি URL গ্রহণ করে। আপনার অর্ডারের ip:port:user:pass লাইন থেকে এটি তৈরি করুন; স্কিমটি http:// থাকবে কারণ ক্লায়েন্ট প্রক্সির সাথে HTTP-তে যোগাযোগ করে এবং এর মাধ্যমে TLS টানেল করে।
| ক্লায়েন্ট | ইনস্টল | প্রক্সি কনফিগারেশন |
|---|---|---|
| Axios | npm i https-proxy-agent | axios.get(url, { httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port'), proxy: false }) |
নেটিভ fetch (Node 18+) | npm i undici | fetch(url, { dispatcher: new ProxyAgent('http://user:pass@ip:port') }) |
| Got | npm i hpagent | got(url, { agent: { https: new HttpsProxyAgent({ proxy: 'http://user:pass@ip:port' }) } }) |
Axios-এ `proxy: false` কেন গুরুত্বপূর্ণ
Axios নিজে থেকেই HTTP_PROXY এবং HTTPS_PROXY এনভায়রনমেন্ট ভেরিয়েবলগুলো পরীক্ষা করে। মেশিনে যদি এর কোনো একটি সেট করা থাকে (যা CI রানার এবং কন্টেইনারে খুব সাধারণ) এবং আপনি কোনো এজেন্টও পাস করেন, তবে দুটি কনফিগারেশনের মধ্যে সংঘাত ঘটে। proxy: false Axios-কে এনভায়রনমেন্ট এবং এর বিল্ট-ইন প্রক্সি লজিক উপেক্ষা করতে নির্দেশ দেয়, যার ফলে রিকোয়েস্টটি কোথায় যাবে তা কেবল এজেন্টই নির্ধারণ করে।
একাধিক রিকোয়েস্টে এজেন্টের পুনর্ব্যবহার
- আপনার রিকোয়েস্ট লুপের বাইরে প্রতিটি প্রক্সি IP-র জন্য একটি করে এজেন্ট তৈরি করুন; এজেন্ট keep-alive সকেট ধরে রাখে, আর প্রতি কলে নতুন এজেন্ট তৈরি করলে সেগুলো বাতিল হয়ে যায়
- একাধিক প্রক্সি থাকলে তাৎক্ষণিকভাবে এজেন্ট তৈরি না করে IP থেকে এজেন্টের একটি
Mapরাখুন এবং সেখান থেকে বেছে নিন - প্রতিটি কলে একটি
timeoutদিন (যেমন Axios-এtimeout: 10000), যাতে আটকে থাকা কোনো টার্গেট ওয়ার্কারকে চিরতরে আটকে না রাখে - ডাটা হিসেবে প্রক্সি তালিকা প্রয়োজন? proxy format converter
ip:port:user:passলাইনগুলোকে একটি JSON অ্যারেতে রূপান্তর করে যা আপনিrequireবাimportকরতে পারেন
একটি স্ট্যাবল IP Node.js জবকে কী সুবিধা দেয়
একটি ProxyV4 প্রাইভেট IPv4 সম্পূর্ণ ভাড়ার মেয়াদে একজন গ্রাহকের জন্যই নির্ধারিত থাকে এবং রিনিউ করার সময় একই অ্যাড্রেস বজায় থাকে, ফলে ওই IP-র সাথে যুক্ত কোনো অনুমোদিত API, লগ-ইন করা সেশন বা রেট-লিমিট বাজেট ডিপ্লয়ের মাঝেও কার্যকর থাকে। ব্যান্ডউইথ আনমিটারড, যা দীর্ঘ সময় চলা ওয়ার্কারগুলোর কার্যকারিতাকে অনুমানযোগ্য রাখে। ক্রলিং প্যাটার্ন এবং পেসিংয়ের জন্য web scraping use case দেখুন।
ধাপে ধাপে
- 1
ক্লায়েন্ট এবং এজেন্ট ইনস্টল করুন
প্রজেক্টে
npm install axios https-proxy-agentরান করুন (অথবা আপনি নেটিভfetchব্যবহার করলেnpm install undici)। - 2
একবার এজেন্টটি তৈরি করুন
আপনার ProxyV4 অর্ডারের মানগুলো দিয়ে
const agent = new HttpsProxyAgent('http://user:pass@ip:port');তৈরি করুন। - 3
এর মাধ্যমে একটি রিকোয়েস্ট পাঠান
const res = await axios.get('https://proxyv4.com/api/my-ip', { httpsAgent: agent, proxy: false, timeout: 10000 });কল করুন। - 4
IP তুলনা করুন
console.log(res.data)প্রক্সি IP প্রিন্ট করবে। যদি এটি আপনার সার্ভারের নিজস্ব অ্যাড্রেস প্রিন্ট করে, তবে এজেন্ট কার্যকর হয়নি।
সাধারণ প্রশ্নোত্তর
HTTPS সাইটে Axios proxy: { host, port, auth } কেন কাজ করে না?
ওই অপশনটি প্রথমে কোনো HTTP CONNECT টানেল অনুরোধ করার পরিবর্তে প্রক্সিতে একটি সাধারণ HTTP রিকোয়েস্ট পাঠায়, তাই টার্গেটে TLS কখনোই সঠিকভাবে সেট আপ হয় না। httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port') ব্যবহার করুন এবং proxy: false সেট করুন।
Node 18, 20 বা 22-এ নেটিভ fetch()-এ প্রক্সি কীভাবে যোগ করব?
Node-এর fetch undici-তে চলে, তাই undici থেকে ProxyAgent ইমপোর্ট করুন এবং fetch() অপশনের অংশ হিসেবে { dispatcher: new ProxyAgent('http://user:pass@ip:port') } পাস করুন।
আমার পাসওয়ার্ডে @ বা : রয়েছে। URL কি কাজ করবে না?
সমস্যা হতে পারে, কারণ URL-এর মধ্যে এই অক্ষরগুলোর বিশেষ অর্থ রয়েছে। http://user:pass@ip:port তৈরি করার আগে encodeURIComponent(password) দিয়ে পাসওয়ার্ডটি পার্সেন্ট-এনকোড করে নিন।
রিকোয়েস্ট 407 রিটার্ন করছে। সমস্যা কী?
প্রক্সি সাড়া দিয়েছে কিন্তু লগইন প্রত্যাখ্যান করেছে। আপনার অর্ডার থেকে ইউজারনেম এবং পাসওয়ার্ড পুনরায় যাচাই করুন; 407 troubleshooting page সাধারণ কারণগুলো তালিকাভুক্ত করে।
উৎসসমূহ
আপনার Node.js ওয়ার্কারের জন্য স্ট্যাটিক IPv4
7টি দেশে প্রাইভেট IPv4 এবং সাথে US ও Vietnam-এ স্ট্যাটিক ISP, আনমিটারড, প্রতি IP-তে একজন গ্রাহক। একটি বা একাধিক কিনুন।
US-এর লাইভ রেট দেখুন