Проксі з аўтэнтыфікацыяй у Node.js: Axios, убудаваны fetch і Got
Ад інжынернай каманды ProxyV4 · Updated:
Надзейны спосаб выкарыстоўваць проксі ў Node.js з Axios — гэта HttpsProxyAgent, перададзены як httpsAgent, разам з proxy: false. Уласная налада Axios proxy: { host, port } не адкрывае тунэль HTTP CONNECT, таму дае збой на адрасах https://; натыўнаму ж fetch() замест гэтага патрэбны ProxyAgent з undici. На гэтай старонцы паказаны кожны кліент з URL віду http://user:pass@ip:port ад ProxyV4 і спосаб праверыць выходны IP.
new HttpsProxyAgent('http://user:pass@ip:port')- 1 IP1,85 $
- Ад 3 IP1,70 $
- Ад 10 IP1,60 $
- Ад 25 IP1,50 $
- Ад 50 IP1,40 $
- Ад 100 IP1,30 $
- Ад 200 IP1,20 $
- Ад 500 IP1,10 $
- 1 IP1,85 $
- Ад 3 IP1,70 $
- Ад 10 IP1,60 $
- Ад 25 IP1,50 $
- Ад 50 IP1,40 $
- Ад 100 IP1,30 $
- Ад 200 IP1,20 $
- Ад 500 IP1,10 $
Абярыце код для вашага HTTP-кліента
Усе тры кліенты прымаюць аднолькавы URL проксі. Сфармуйце яго з радка ip:port:user:pass у вашым заказе; схема застаецца http://, паколькі кліент злучаецца з проксі па HTTP і тунэлюе праз яго TLS.
| Кліент | Усталяванне | Падключэнне проксі |
|---|---|---|
| Axios | npm i https-proxy-agent | axios.get(url, { httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port'), proxy: false }) |
Убудаваны fetch (Node 18+) | npm i undici | fetch(url, { dispatcher: new ProxyAgent('http://user:pass@ip:port') }) |
| Got | npm i hpagent | got(url, { agent: { https: new HttpsProxyAgent({ proxy: 'http://user:pass@ip:port' }) } }) |
Чаму ў Axios важны параметр `proxy: false`
Axios самастойна правярае зменныя асяроддзя HTTP_PROXY і HTTPS_PROXY. Калі адна з іх зададзена на машыне (звычайная справа ў CI-ранерах і кантэйнерах) і вы таксама перадаяце агент, гэтыя дзве канфігурацыі канфліктуюць. proxy: false загадвае Axios ігнараваць асяроддзе і ўласную логіку проксі, таму агент становіцца адзіным, што вызначае кірунак запыту.
Паўторнае выкарыстанне агентаў для мноства запытаў
- Стварайце адзін агент на кожны IP проксі па-за цыклам запытаў: агент утрымлівае злучэнні keep-alive, а новы агент пры кожным выкліку скідвае іх
- Калі ў вас некалькі проксі, захоўвайце адпаведнасць IP і агента ў
Mapі выбірайце з яго, замест таго каб ствараць агенты на лета - Задавайце для кожнага выкліку
timeout(напрыклад,timeout: 10000у Axios), каб завіслы рэсурс не блакаваў працэс бясконца - Патрэбен спіс проксі ў выглядзе даных? Канвэртар фарматаў проксі пераўтварае радкі
ip:port:user:passу масіў JSON, які можна падключыць празrequireабоimport
Што дае стабільны IP для задач Node.js
Прыватны IPv4 ад ProxyV4 належыць аднаму кліенту на ўвесь тэрмін арэнды і захоўвае той жа адрас пры падаўжэнні, таму дазволены ў API адрас, аўтарызаваная сесія або ліміт запытаў, прывязаны да гэтага IP, застаюцца сапраўднымі паміж дэплоямі. Трафік не абмяжоўваецца, што забяспечвае прадказальнасць доўгатэрміновай працы скрыптоў. Шаблоны і тэмп збору даных глядзіце ў раздзеле выкарыстанне для вэб-скрапінгу.
Крок за крокам
- 1
Усталюйце кліент і агент
Выканайце ў праекце
npm install axios https-proxy-agent(абоnpm install undici, калі выкарыстоўваеце ўбудаваныfetch). - 2
Стварыце агент адзін раз
Стварыце
const agent = new HttpsProxyAgent('http://user:pass@ip:port');са значэннямі з вашага заказу ProxyV4. - 3
Адпраўце запыт праз яго
Выклічце
const res = await axios.get('https://proxyv4.com/api/my-ip', { httpsAgent: agent, proxy: false, timeout: 10000 });. - 4
Параўнайце IP
console.log(res.data)павінен вывесці IP проксі. Калі выводзіцца ўласны адрас вашага сервера, агент не быў ужыты.
Частыя пытанні
Чаму налада Axios proxy: { host, port, auth } дае збой на сайтах з HTTPS?
Гэтая опцыя адпраўляе на проксі звычайны HTTP-запыт замест таго, каб спачатку запытаць тунэль HTTP CONNECT, таму TLS-злучэнне з мэтавым рэсурсам не наладжваецца належным чынам. Выкарыстоўвайце httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port') і пазначце proxy: false.
Як дадаць проксі ва ўбудаваны fetch() у Node 18, 20 або 22?
fetch у Node працуе на базе undici, таму імпартуйце ProxyAgent з undici і перадайце { dispatcher: new ProxyAgent('http://user:pass@ip:port') } у наладах fetch().
Мой пароль змяшчае @ або :. Ці зламаецца URL?
Можа, бо гэтыя сімвалы маюць адмысловае значэнне ўнутры URL. Закадзіруйце пароль праз encodeURIComponent(password), перш чым будаваць http://user:pass@ip:port.
Запыт вяртае 407. У чым праблема?
Проксі адказаў, але адхіліў уваход. Пераправерце лагін і пароль з вашага заказу; на старонцы выпраўлення памылкі 407 пералічаны асноўныя прычыны.
Крыніцы
Статычныя IPv4 для вашых задач Node.js
Прыватныя IPv4 у 7 краінах плюс статычныя ISP у ЗША і В'етнаме, безлімітны трафік, адзін кліент на IP. Купляйце адзін або некалькі.
Праверыць актуальныя цэны для ЗША