Node.js-ல் அங்கீகரிக்கப்பட்ட proxies: Axios, நேட்டிவ் fetch மற்றும் Got
ProxyV4 பொறியியல் குழுவால் · Updated:
Axios உடன் Node.js proxy-ஐப் பயன்படுத்துவதற்கான நம்பகமான வழி proxy: false உடன் சேர்த்து httpsAgent ஆக HttpsProxyAgent-ஐ அனுப்புவதாகும். Axios-ன் சொந்த proxy: { host, port } அமைப்பு HTTP CONNECT டன்னலைத் திறக்காது, எனவே இது https:// URL-களில் இயங்காது; இதற்கு மாறாக நேட்டிவ் fetch()-க்கு undici ProxyAgent தேவைப்படுகிறது. இந்தப் பக்கம் ஒவ்வொரு கிளையண்ட்டையும் ProxyV4 http://user:pass@ip:port URL உடன் எவ்வாறு பயன்படுத்துவது மற்றும் வெளியேறும் exit IP-ஐ எவ்வாறு உறுதிப்படுத்துவது என்பதைக் காட்டுகிறது.
new HttpsProxyAgent('http://user:pass@ip:port')- 1 IP$1.85
- 3+ IP-கள்$1.70
- 10+ IP-கள்$1.60
- 25+ IP-கள்$1.50
- 50+ IP-கள்$1.40
- 100+ IP-கள்$1.30
- 200+ IP-கள்$1.20
- 500+ IP-கள்$1.10
- 1 IP$1.85
- 3+ IP-கள்$1.70
- 10+ IP-கள்$1.60
- 25+ IP-கள்$1.50
- 50+ IP-கள்$1.40
- 100+ IP-கள்$1.30
- 200+ IP-கள்$1.20
- 500+ IP-கள்$1.10
உங்கள் HTTP கிளையண்டிற்கான snippet-ஐத் தேர்ந்தெடுக்கவும்
மூன்று கிளையண்டுகளும் ஒரே proxy URL-ஐப் பயன்படுத்துகின்றன. உங்கள் ஆர்டரில் உள்ள ip:port:user:pass வரியிலிருந்து இதை உருவாக்கவும்; கிளையண்ட் proxy-உடன் HTTP வழியே தொடர்புகொண்டு அதன் வழியே TLS-ஐ டன்னல் செய்வதால் scheme http:// என்றே இருக்கும்.
| கிளையண்ட் | நிறுவுதல் | Proxy இணைப்பு |
|---|---|---|
| Axios | npm i https-proxy-agent | axios.get(url, { httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port'), proxy: false }) |
Native fetch (Node 18+) | npm i undici | fetch(url, { dispatcher: new ProxyAgent('http://user:pass@ip:port') }) |
| Got | npm i hpagent | got(url, { agent: { https: new HttpsProxyAgent({ proxy: 'http://user:pass@ip:port' }) } }) |
Axios-ல் `proxy: false` ஏன் முக்கியமானது
Axios ஆனது HTTP_PROXY மற்றும் HTTPS_PROXY சூழல் மாறிகளைத் தானாகவே சரிபார்க்கிறது. கணினியில் இவற்றில் ஏதேனும் ஒன்று அமைக்கப்பட்டிருந்து (CI ரன்னர்கள் மற்றும் கன்டெய்னர்களில் இது பொதுவானது) நீங்களும் ஒரு agent-ஐ அனுப்பினால், இந்த இரண்டு உள்ளமைவுகளும் ஒன்றுடன் ஒன்று முரண்படும். proxy: false என்பது சூழல் மற்றும் அதன் உள்ளமைக்கப்பட்ட proxy லாஜிக்கைப் புறக்கணிக்குமாறு Axios-க்குக் கூறுகிறது, எனவே கோரிக்கை எங்கு செல்ல வேண்டும் என்பதை agent மட்டுமே தீர்மானிக்கிறது.
பல கோரிக்கைகளில் agent-களை மீண்டும் பயன்படுத்துதல்
- உங்கள் கோரிக்கை லூப்பிற்கு வெளியே proxy IP-க்கு ஒரு agent-ஐ உருவாக்கவும்; இந்த agent keep-alive சாக்கெட்டுகளைத் தக்கவைத்துக்கொள்கிறது, ஆனால் ஒவ்வொரு அழைப்பிற்கும் ஒரு புதிய agent உருவாக்கினால் அவை வீணடிக்கப்படும்
- பல proxies இருக்கும்போது, உடனுக்குடன் agent-களை உருவாக்குவதற்குப் பதிலாக, IP-யிலிருந்து agent-க்கான ஒரு
Map-ஐ வைத்து அதிலிருந்து தேர்ந்தெடுக்கவும் - ஒவ்வொரு அழைப்பிற்கும் ஒரு
timeout-ஐக் கொடுக்கவும் (எடுத்துக்காட்டாக Axios-ல்timeout: 10000), இதனால் தடைபட்ட இலக்கு ஒன்று உங்கள் பணியாளரை எப்போதும் பிடித்து வைத்திருக்காது - Proxy பட்டியல் தரவாக வேண்டுமா? proxy format converter ஆனது
ip:port:user:passவரிகளை நீங்கள்requireஅல்லதுimportசெய்யக்கூடிய ஒரு JSON array-ஆக மாற்றுகிறது
ஒரு நிலையான IP ஆனது Node.js பணிக்கு எதை வழங்குகிறது
ProxyV4-ன் தனிப்பட்ட IPv4 வாடகைக்காலம் முழுவதும் ஒரு வாடிக்கையாளருக்கே சொந்தமானது மற்றும் நீங்கள் புதுப்பிக்கும் போது அதே முகவரியைத் தக்க வைத்துக் கொள்கிறது; எனவே allow-list செய்யப்பட்ட API, உள்நுழைந்த அமர்வு அல்லது அந்த IP-யுடன் இணைக்கப்பட்ட rate-limit வரம்பு ஆகியவை வரிசைப்படுத்தல்களுக்கு இடையிலும் செல்லுபடியாகும். அலைவரிசை வரம்பற்றது, இது நீண்ட நேரம் இயங்கும் பணியாளர்களின் செயல்திறனைத் துல்லியமாக வைத்திருக்க உதவுகிறது. கிராலிங் முறைகள் மற்றும் வேகக் கட்டுப்பாடு பற்றி அறிய, web scraping use case-ஐப் பார்க்கவும்.
படிப்படியாக
- 1
கிளையண்ட் மற்றும் agent-ஐ நிறுவவும்
ப்ராஜெக்ட்டில்
npm install axios https-proxy-agent-ஐ இயக்கவும் (அல்லது நேட்டிவ்fetch-ஐப் பயன்படுத்தினால்npm install undici). - 2
Agent-ஐ ஒருமுறை உருவாக்கவும்
உங்கள் ProxyV4 ஆர்டரில் உள்ள மதிப்புகளைக் கொண்டு
const agent = new HttpsProxyAgent('http://user:pass@ip:port');-ஐ உருவாக்கவும். - 3
அதன் வழியே ஒரு கோரிக்கையை அனுப்பவும்
const res = await axios.get('https://proxyv4.com/api/my-ip', { httpsAgent: agent, proxy: false, timeout: 10000 });-ஐ அழைக்கவும். - 4
IP-ஐ ஒப்பிட்டுப் பார்க்கவும்
console.log(res.data)proxy IP-ஐ அச்சிட வேண்டும். இது உங்கள் சர்வரின் சொந்த முகவரியை அச்சிட்டால், agent செயல்படுத்தப்படவில்லை என்று அர்த்தம்.
அடிக்கடி கேட்கப்படும் கேள்விகள்
HTTPS தளங்களில் Axios proxy: { host, port, auth } ஏன் தோல்வியடைகிறது?
அந்த விருப்பமானது முதலில் HTTP CONNECT டன்னலைக் கோருவதற்குப் பதிலாக proxy-க்கு ஒரு சாதாரண HTTP கோரிக்கையை அனுப்புகிறது, எனவே இலக்குக்கான TLS சரியாக அமைக்கப்படுவதில்லை. httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port')-ஐப் பயன்படுத்தி, proxy: false என அமைக்கவும்.
Node 18, 20 அல்லது 22-ல் நேட்டிவ் fetch()-ல் ஒரு proxy-ஐ எவ்வாறு சேர்ப்பது?
Node-ன் fetch ஆனது undici-ல் இயங்குகிறது, எனவே undici-லிருந்து ProxyAgent-ஐ இறக்குமதி செய்து, fetch() விருப்பங்களின் ஒரு பகுதியாக { dispatcher: new ProxyAgent('http://user:pass@ip:port') }-ஐ அனுப்பவும்.
எனது கடவுச்சொல்லில் @ அல்லது : உள்ளது. URL முறியுமா?
முறிய வாய்ப்புள்ளது, ஏனெனில் அந்த எழுத்துக்களுக்கு URL-க்குள் சிறப்பு அர்த்தம் உண்டு. http://user:pass@ip:port-ஐ உருவாக்குவதற்கு முன் encodeURIComponent(password) மூலம் கடவுச்சொல்லை percent-encode செய்யவும்.
கோரிக்கை 407 பிழையை வழங்குகிறது. என்ன தவறு?
Proxy பதிலளித்தது ஆனால் உள்நுழைவை நிராகரித்தது. உங்கள் ஆர்டரிலிருந்து பயனர் பெயர் மற்றும் கடவுச்சொல்லை மீண்டும் சரிபார்க்கவும்; 407 troubleshooting page பொதுவான காரணங்களைப் பட்டியலிடுகிறது.
மூலங்கள்
உங்கள் Node.js பணிகளுக்கான நிலையான IPv4
7 நாடுகளில் பிரத்யேக IPv4 மற்றும் US, வியட்நாமில் நிலையான ISP, வரம்பற்றது, ஒரு IP-க்கு ஒரு வாடிக்கையாளர். ஒன்று அல்லது பலவற்றை வாங்கவும்.
நேரலை US விலைகளைச் சரிபார்க்கவும்