Autentifikované proxy v Node.js: Axios, natívny fetch a Got
Od inžinierskeho tímu ProxyV4 · Updated:
Spoľahlivý spôsob, ako používať proxy v Node.js s Axiosom, je odovzdať HttpsProxyAgent ako httpsAgent spolu s proxy: false. Vlastné nastavenie Axiosu proxy: { host, port } neotvára tunel HTTP CONNECT, takže pri adresách URL s https:// zlyhá; natívny fetch() namiesto toho vyžaduje ProxyAgent z knižnice undici. Táto stránka ukazuje konfiguráciu jednotlivých klientov s URL ProxyV4 v tvare http://user:pass@ip:port a postup overenia výstupnej IP adresy.
new HttpsProxyAgent('http://user:pass@ip:port')- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
Vyberte si ukážku kódu pre svojho HTTP klienta
Všetci traja klienti používajú rovnakú proxy URL. Vytvorte ju z riadku ip:port:user:pass z vašej objednávky; schéma zostáva http://, pretože klient komunikuje s proxy cez HTTP a tuneluje cez ňu TLS.
| Klient | Inštalácia | Zapojenie proxy |
|---|---|---|
| Axios | npm i https-proxy-agent | axios.get(url, { httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port'), proxy: false }) |
Natívny fetch (Node 18+) | npm i undici | fetch(url, { dispatcher: new ProxyAgent('http://user:pass@ip:port') }) |
| Got | npm i hpagent | got(url, { agent: { https: new HttpsProxyAgent({ proxy: 'http://user:pass@ip:port' }) } }) |
Prečo je v Axiose dôležité nastavenie `proxy: false`
Axios sám o sebe kontroluje premenné prostredia HTTP_PROXY a HTTPS_PROXY. Ak je niektorá z nich na stroji nastavená (bežné v CI runneroch a kontajneroch) a zároveň odovzdáte agenta, tieto dve konfigurácie sa dostanú do konfliktu. Nastavenie proxy: false povie Axiosu, aby ignoroval prostredie aj svoju vstavanú proxy logiku, takže o smerovaní požiadavky rozhoduje výhradne daný agent.
Opakované používanie agentov pri mnohých požiadavkách
- Vytvorte jedného agenta na každú proxy IP mimo slučky požiadaviek; agent udržiava keep-alive sockety a vytvorenie nového agenta pri každom volaní ich zahadzuje
- Pri viacerých proxy udržiavajte
Mappriraďujúcu IP k agentovi a vyberajte z nej namiesto vytvárania agentov za behu - Každému volaniu nastavte
timeout(napríkladtimeout: 10000v Axiose), aby zaseknutý cieľ neblokoval worker navždy - Potrebujete zoznam proxy ako dáta? Prevodník formátu proxy prevedie riadky
ip:port:user:passna pole JSON, ktoré môžete načítať cezrequirealeboimport
Čo stabilná IP adresa prináša Node.js úlohám
Privátna IPv4 od ProxyV4 patrí jednému zákazníkovi počas celej doby prenájmu a pri predĺžení si zachováva rovnakú adresu, takže povolená API na whiteliste, prihlásená relácia alebo rozpočet limitu požiadaviek viazaný na túto IP zostávajú platné aj medzi nasadeniami. Prenos dát nie je meraný, vďaka čomu sú dlho bežiace workery predvídateľné. Vzory crawlovania a časovanie nájdete v časti využitie pri web scrapingu.
Krok za krokom
- 1
Nainštalujte klienta a agenta
V projekte spustite
npm install axios https-proxy-agent(alebonpm install undici, ak používate natívnyfetch). - 2
Vytvorte agenta raz
Vytvorte
const agent = new HttpsProxyAgent('http://user:pass@ip:port');s hodnotami z vašej objednávky od ProxyV4. - 3
Odošlite cez neho požiadavku
Zavolajte
const res = await axios.get('https://proxyv4.com/api/my-ip', { httpsAgent: agent, proxy: false, timeout: 10000 });. - 4
Porovnajte IP adresu
console.log(res.data)by mal vypísať IP adresu proxy. Ak vypíše vlastnú adresu vášho servera, agent nebol aplikovaný.
Často kladené otázky
Prečo v Axiose zlyháva proxy: { host, port, auth } na HTTPS stránkach?
Táto možnosť odosiela na proxy bežnú HTTP požiadavku namiesto toho, aby najprv požiadala o tunel HTTP CONNECT, takže TLS spojenie k cieľu sa nikdy nenastaví správne. Použite httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port') a nastavte proxy: false.
Ako pridám proxy do natívneho fetch() v Node 18, 20 alebo 22?
Funkcia fetch v Node beží na undici, takže importujte ProxyAgent z undici a odovzdajte { dispatcher: new ProxyAgent('http://user:pass@ip:port') } ako súčasť volieb pre fetch().
Moje heslo obsahuje @ alebo :. Pokazí to URL?
Môže, pretože tieto znaky majú v rámci URL špeciálny význam. Pred zostavením http://user:pass@ip:port heslo percentuálne zakódujte pomocou encodeURIComponent(password).
Požiadavka vracia kód 407. Čo je zle?
Proxy odpovedala, ale odmietla prihlasovacie údaje. Znova skontrolujte používateľské meno a heslo z objednávky; na stránke riešenia chyby 407 nájdete zoznam bežných príčin.
Zdroje
Statická IPv4 pre vaše Node.js workery
Privátna IPv4 v 7 krajinách plus statická ISP v USA a vo Vietname, bez merania dát, jeden zákazník na IP. Kúpte si jednu alebo viacero.
Zobraziť aktuálne ceny v USA