Autentificirani proxyji u Node.js-u: Axios, izvorni fetch i Got
Napisao inženjerski tim ProxyV4 · Updated:
Pouzdan način za korištenje Node.js proxyja uz Axios je HttpsProxyAgent proslijeđen kao httpsAgent, zajedno s proxy: false. Axiosova vlastita postavka proxy: { host, port } ne otvara HTTP CONNECT tunel pa javlja pogrešku na https:// URL-ovima; izvorni fetch() umjesto toga treba undici ProxyAgent. Ova stranica prikazuje svaki klijent s ProxyV4 http://user:pass@ip:port URL-om i način provjere izlazne IP adrese.
new HttpsProxyAgent('http://user:pass@ip:port')- 1 IP1,85 USD
- 3+ IP-ova1,70 USD
- 10+ IP-ova1,60 USD
- 25+ IP-ova1,50 USD
- 50+ IP-ova1,40 USD
- 100+ IP-ova1,30 USD
- 200+ IP-ova1,20 USD
- 500+ IP-ova1,10 USD
- 1 IP1,85 USD
- 3+ IP-ova1,70 USD
- 10+ IP-ova1,60 USD
- 25+ IP-ova1,50 USD
- 50+ IP-ova1,40 USD
- 100+ IP-ova1,30 USD
- 200+ IP-ova1,20 USD
- 500+ IP-ova1,10 USD
Odaberite isječak za svoj HTTP klijent
Sva tri klijenta prihvaćaju isti proxy URL. Sastavite ga iz retka ip:port:user:pass u svojoj narudžbi; shema ostaje http:// jer klijent s proxyjem komunicira putem HTTP-a i tunelira TLS kroz njega.
| Klijent | Instalacija | Povezivanje proxyja |
|---|---|---|
| Axios | npm i https-proxy-agent | axios.get(url, { httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port'), proxy: false }) |
Izvorni fetch (Node 18+) | npm i undici | fetch(url, { dispatcher: new ProxyAgent('http://user:pass@ip:port') }) |
| Got | npm i hpagent | got(url, { agent: { https: new HttpsProxyAgent({ proxy: 'http://user:pass@ip:port' }) } }) |
Zašto je `proxy: false` važan u Axiosu
Axios samostalno provjerava varijable okruženja HTTP_PROXY i HTTPS_PROXY. Ako je jedna od njih postavljena na računalu (uobičajeno na CI pokretačima i u kontejnerima) i uz to proslijedite agenta, dolazi do sukoba te dvije konfiguracije. proxy: false nalaže Axiosu da zanemari okruženje i svoju ugrađenu proxy logiku, tako da je agent jedini koji odlučuje kamo zahtjev ide.
Ponovno korištenje agenata kroz više zahtjeva
- Stvorite jednog agenta po proxy IP-u izvan petlje zahtjeva; agent zadržava keep-alive sockete, dok ih novi agent pri svakom pozivu odbacuje
- Ako koristite više proxyja, držite
Maps mapiranjem IP adrese na agenta i birajte iz njega, umjesto stvaranja agenata u hodu - Postavite
timeoutza svaki poziv (na primjertimeout: 10000u Axiosu) kako jedno zastalo odredište ne bi zauvijek blokiralo workera - Trebate popis proxyja kao podatke? Pretvarač formata proxyja pretvara retke
ip:port:user:passu JSON polje koje možete učitati putemrequireiliimport
Što stabilan IP pruža Node.js zadatku
Privatni ProxyV4 IPv4 pripada jednom korisniku tijekom cijelog najma i zadržava istu adresu pri obnovi, pa API s popisa dopuštenih, prijavljena sesija ili ograničenje broja zahtjeva vezano uz taj IP ostaju valjani između postavljanja koda. Promet se ne mjeri, što dugotrajne workere čini predvidljivima. Za obrasce i tempo prikupljanja podataka pogledajte primjenu za web scraping.
Korak po korak
- 1
Instalirajte klijent i agenta
Pokrenite
npm install axios https-proxy-agentu projektu (ilinpm install undiciako koristite izvornifetch). - 2
Jednom stvorite agenta
Stvorite
const agent = new HttpsProxyAgent('http://user:pass@ip:port');s vrijednostima iz svoje ProxyV4 narudžbe. - 3
Pošaljite zahtjev kroz njega
Pozovite
const res = await axios.get('https://proxyv4.com/api/my-ip', { httpsAgent: agent, proxy: false, timeout: 10000 });. - 4
Usporedite IP adresu
console.log(res.data)bi trebao ispisati IP adresu proxyja. Ako ispiše vlastitu adresu vašeg poslužitelja, agent nije primijenjen.
Često postavljana pitanja
Zašto Axiosova opcija proxy: { host, port, auth } ne radi na HTTPS stranicama?
Ta opcija šalje običan HTTP zahtjev proxyju umjesto da prvo zatraži HTTP CONNECT tunel, pa se TLS do cilja nikada ne uspostavi ispravno. Koristite httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port') i postavite proxy: false.
Kako dodati proxy u izvorni fetch() u Nodeu 18, 20 ili 22?
Nodeov fetch radi na undiciju, stoga uvezite ProxyAgent iz undici i proslijedite { dispatcher: new ProxyAgent('http://user:pass@ip:port') } unutar opcija za fetch().
Moja lozinka sadrži @ ili :. Hoće li se URL pokvariti?
Može se pokvariti jer ti znakovi imaju posebno značenje unutar URL-a. Enkodirajte lozinku postotnim kodiranjem pomoću encodeURIComponent(password) prije nego što sastavite http://user:pass@ip:port.
Zahtjev vraća 407. U čemu je problem?
Proxy je odgovorio, ali je odbio prijavu. Ponovno provjerite korisničko ime i lozinku iz svoje narudžbe; stranica za rješavanje pogreške 407 navodi uobičajene uzroke.
Izvori
Statički IPv4 za vaše Node.js workere
Privatni IPv4 u 7 zemalja uz statički ISP u SAD-u i Vijetnamu, bez mjerenja prometa, jedan korisnik po IP-u. Kupite jedan ili više.
Provjerite aktualne cijene za SAD