Node.js හි සත්යාපිත ප්රොක්සි: Axios, ස්වදේශික fetch සහ Got
ProxyV4 ඉංජිනේරු කණ්ඩායම විසිනි · Updated:
Axios සමඟ Node.js ප්රොක්සියක් භාවිත කිරීමට විශ්වාසදායක ක්රමය නම් proxy: false සමඟින් httpsAgent ලෙස HttpsProxyAgent එකක් ලබා දීමයි. Axios හි ඇති proxy: { host, port } සැකසුම මඟින් HTTP CONNECT උමඟක් විවෘත නොවන බැවින්, එය https:// URL මත බිඳ වැටේ; ස්වදේශික fetch() සඳහා ඒ වෙනුවට undici ProxyAgent එකක් අවශ්ය වේ. මෙම පිටුව ProxyV4 http://user:pass@ip:port URL සමඟ එක් එක් ක්ලයන්ට් සහ පිටවීමේ IP තහවුරු කරගන්නා ආකාරය පෙන්වයි.
new HttpsProxyAgent('http://user:pass@ip:port')- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
ඔබගේ HTTP ක්ලයන්ට් එක සඳහා කේත කොටස තෝරන්න
ක්ලයන්ට් තිදෙනාම එකම ප්රොක්සි URL ලබා ගනී. ඔබගේ ඇණවුමේ ඇති ip:port:user:pass පේළියෙන් එය සකසන්න; ක්ලයන්ට් ප්රොක්සිය සමඟ HTTP හරහා සන්නිවේදනය කර ඒ හරහා TLS උමං කරන බැවින් ක්රමය http:// ලෙසම පවතී.
| ක්ලයන්ට් | ස්ථාපනය | ප්රොක්සි සම්බන්ධ කිරීම |
|---|---|---|
| Axios | npm i https-proxy-agent | axios.get(url, { httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port'), proxy: false }) |
ස්වදේශික fetch (Node 18+) | npm i undici | fetch(url, { dispatcher: new ProxyAgent('http://user:pass@ip:port') }) |
| Got | npm i hpagent | got(url, { agent: { https: new HttpsProxyAgent({ proxy: 'http://user:pass@ip:port' }) } }) |
Axios හි `proxy: false` වැදගත් වන්නේ ඇයි
Axios විසින් HTTP_PROXY සහ HTTPS_PROXY පරිසර විචල්යයන් ස්වයංක්රීයව පරීක්ෂා කරයි. ඒවායින් එකක් පරිගණකයේ සකසා ඇත්නම් (CI ධාවක සහ කන්ටේනර්වල බහුලව දක්නට ලැබේ) සහ ඔබ agent එකක් ද ලබා දෙන්නේ නම්, මෙම වින්යාසයන් දෙක ගැටේ. proxy: false මඟින් පරිසරය සහ එහි ඇති ප්රොක්සි තාර්කිකත්වය නොසලකා හැරීමට Axios වෙත පවසන බැවින්, ඉල්ලීම යන්නේ කොතැනටද යන්න තීරණය කරන එකම සාධකය agent වේ.
බොහෝ ඉල්ලීම් හරහා agent නැවත භාවිත කිරීම
- ඔබගේ ඉල්ලීම් ලූපයෙන් පිටත එක් ප්රොක්සි IP එකකට එක් agent එකක් සාදන්න; agent විසින් keep-alive සොකට් රඳවා තබා ගන්නා අතර, එක් එක් ඇමතුමට අලුත් agent එකක් සෑදීමෙන් ඒවා ඉවත දැමෙයි
- ප්රොක්සි කිහිපයක් ඇති විට, ක්ෂණිකව agent සදනවා වෙනුවට, IP සිට agent දක්වා
Mapඑකක් තබාගෙන එයින් තෝරන්න - එක් ඇනහිටි ඉලක්කයක් මඟින් worker සදහටම රඳවා නොගන්නා ලෙස සෑම ඇමතුමකටම
timeoutඑකක් ලබා දෙන්න (උදාහරණයක් ලෙස Axios හිtimeout: 10000) - ප්රොක්සි ලැයිස්තුව දත්ත ලෙස අවශ්යද? ප්රොක්සි ආකෘති පරිවර්තකය මඟින්
ip:port:user:passපේළි ඔබ වෙතrequireහෝimportකළ හැකි JSON array එකක් බවට පත් කරයි
ස්ථාවර IP එකකින් Node.js කාර්යයකට ලැබෙන වාසි
ProxyV4 පුද්ගලික IPv4 එකක් මුළු කුලී කාලය පුරාම එක් පාරිභෝගිකයෙකුට පමණක් හිමි වන අතර ඔබ අලුත් කරන විටද එම ලිපිනයම රඳවා ගනී, එබැවින් allow-list කළ API එකක්, ලොග් වී ඇති සැසියක් හෝ එම IP එකට බැඳී ඇති rate-limit සීමාවක් deploy කිරීම් අතරතුර වලංගුව පවතී. කලාප පළල (Bandwidth) මනිනු නොලබන අතර, එමඟින් දීර්ඝ කාලයක් ධාවනය වන worker වල ස්ථාවරත්වය සහතික කරයි. crawling රටා සහ වේගය සඳහා, web scraping භාවිත අවස්ථාව බලන්න.
පියවරෙන් පියවර
- 1
ක්ලයන්ට් සහ agent ස්ථාපනය කරන්න
ව්යාපෘතිය තුළ
npm install axios https-proxy-agentධාවනය කරන්න (හෝ ඔබ ස්වදේශිකfetchභාවිත කරන්නේ නම්npm install undici). - 2
එක් වරක් agent සාදන්න
ඔබගේ ProxyV4 ඇණවුමේ අගයන් සමඟ
const agent = new HttpsProxyAgent('http://user:pass@ip:port');සාදන්න. - 3
ඒ හරහා ඉල්ලීමක් යවන්න
const res = await axios.get('https://proxyv4.com/api/my-ip', { httpsAgent: agent, proxy: false, timeout: 10000 });අමතන්න. - 4
IP එක සංසන්දනය කරන්න
console.log(res.data)මඟින් ප්රොක්සි IP මුද්රණය කළ යුතුය. එය ඔබගේ සේවාදායකයේම ලිපිනය මුද්රණය කරන්නේ නම්, agent යොදවා නැත.
නිතර අසන ප්රශ්න
HTTPS අඩවි වල Axios proxy: { host, port, auth } අසාර්ථක වන්නේ ඇයි?
එම විකල්පය මුලින්ම HTTP CONNECT උමඟක් ඉල්ලනවා වෙනුවට ප්රොක්සිය වෙත සාමාන්ය HTTP ඉල්ලීමක් යවන බැවින්, ඉලක්කය වෙත TLS නිසි ලෙස පිහිටුවා නැත. httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port') භාවිත කර proxy: false ලෙස සකසන්න.
Node 18, 20 හෝ 22 හි ස්වදේශික fetch() වෙත ප්රොක්සියක් එක් කරන්නේ කෙසේද?
Node හි fetch ක්රියාත්මක වන්නේ undici මත බැවින්, undici වෙතින් ProxyAgent import කර { dispatcher: new ProxyAgent('http://user:pass@ip:port') } යන්න fetch() විකල්පවල කොටසක් ලෙස ලබා දෙන්න.
මගේ මුරපදයේ @ හෝ : අඩංගු වේ. URL එක බිඳ වැටේද?
එසේ විය හැක, මන්ද එම අක්ෂර වලට URL එකක් තුළ විශේෂ අර්ථයක් ඇත. http://user:pass@ip:port සෑදීමට පෙර encodeURIComponent(password) මඟින් මුරපදය percent-encode කරන්න.
ඉල්ලීමෙන් 407 ලබා දෙයි. එහි ඇති දෝෂය කුමක්ද?
ප්රොක්සිය ප්රතිචාර දැක්වූ නමුත් පිවිසුම ප්රතික්ෂේප කළේය. ඔබගේ ඇණවුමේ පරිශීලක නාමය සහ මුරපදය නැවත පරීක්ෂා කරන්න; 407 දෝශ නිරාකරණ පිටුව පොදු හේතු ලැයිස්තුගත කරයි.
මූලාශ්ර
ඔබගේ Node.js workers සඳහා ස්ථිතික IPv4
රටවල් 7 ක පුද්ගලික IPv4 සහ US හා Vietnam හි ස්ථිතික ISP, සීමාවකින් තොරව, එක් IP එකකට එක් පාරිභෝගිකයෙක් පමණි. එකක් හෝ කිහිපයක් මිලදී ගන්න.
සජීවී US මිල ගණන් පරීක්ෂා කරන්න