Прокси с авторизацией в Node.js: Axios, нативный fetch и Got
От инженерной команды ProxyV4 · Updated:
Надежный способ использовать прокси в Node.js с Axios — передать HttpsProxyAgent в параметре httpsAgent вместе с proxy: false. Собственная настройка Axios proxy: { host, port } не открывает туннель HTTP CONNECT, поэтому дает сбой на адресах https://; для нативного fetch() вместо этого требуется ProxyAgent из undici. На этой странице показана настройка каждого клиента с URL вида http://user:pass@ip:port от ProxyV4 и проверка выходного IP.
new HttpsProxyAgent('http://user:pass@ip:port')- 1 IP1,85 $
- От 3 IP1,70 $
- От 10 IP1,60 $
- От 25 IP1,50 $
- От 50 IP1,40 $
- От 100 IP1,30 $
- От 200 IP1,20 $
- От 500 IP1,10 $
- 1 IP1,85 $
- От 3 IP1,70 $
- От 10 IP1,60 $
- От 25 IP1,50 $
- От 50 IP1,40 $
- От 100 IP1,30 $
- От 200 IP1,20 $
- От 500 IP1,10 $
Выберите пример для своего HTTP-клиента
Все три клиента принимают один и тот же URL прокси. Сформируйте его из строки вида ip:port:user:pass из вашего заказа; протоколом остается http://, так как клиент обращается к прокси по HTTP и туннелирует через него TLS.
| Клиент | Установка | Подключение прокси |
|---|---|---|
| Axios | npm i https-proxy-agent | axios.get(url, { httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port'), proxy: false }) |
Нативный fetch (Node 18+) | npm i undici | fetch(url, { dispatcher: new ProxyAgent('http://user:pass@ip:port') }) |
| Got | npm i hpagent | got(url, { agent: { https: new HttpsProxyAgent({ proxy: 'http://user:pass@ip:port' }) } }) |
Зачем указывать `proxy: false` в Axios
Axios автоматически проверяет переменные окружения HTTP_PROXY и HTTPS_PROXY. Если одна из них задана на машине (что часто бывает в CI-раннерах и контейнерах) и при этом передан агент, возникает конфликт конфигураций. Параметр proxy: false указывает Axios игнорировать окружение и встроенную логику прокси, поэтому маршрут запроса определяется исключительно агентом.
Повторное использование агентов для множества запросов
- Создавайте один агент на каждый IP прокси вне цикла запросов: агент сохраняет сокеты keep-alive, а создание нового агента на каждый вызов сбрасывает их
- При работе с несколькими прокси храните соответствие IP и агентов в
Mapи берите их оттуда, вместо того чтобы создавать агенты на лету - Задавайте
timeoutдля каждого вызова (например,timeout: 10000в Axios), чтобы зависший целевой ресурс не блокировал воркер бесконечно - Нужен список прокси в виде данных? Конвертер форматов прокси преобразует строки
ip:port:user:passв массив JSON, который можно подключить черезrequireилиimport
Преимущества стабильного IP для задач Node.js
Индивидуальный IPv4 от ProxyV4 закрепляется за одним клиентом на весь период аренды и сохраняет тот же адрес при продлении, поэтому доступ к API из белого списка, активные сессии и лимиты запросов, привязанные к этому IP, сохраняются между деплоями. Трафик не тарифицируется, что обеспечивает предсказуемость длительных процессов. Рекомендации по краулингу и распределению нагрузки см. в разделе сценарии веб-скрейпинга.
Пошаговые инструкции
- 1
Установите клиент и агент
Выполните
npm install axios https-proxy-agentв проекте (илиnpm install undici, если используется нативныйfetch). - 2
Создайте экземпляр агента
Создайте
const agent = new HttpsProxyAgent('http://user:pass@ip:port');, указав данные из вашего заказа в ProxyV4. - 3
Отправьте запрос через агент
Вызовите
const res = await axios.get('https://proxyv4.com/api/my-ip', { httpsAgent: agent, proxy: false, timeout: 10000 });. - 4
Сверьте IP-адрес
Команда
console.log(res.data)должна вывести IP прокси. Если выводится собственный адрес вашего сервера, значит, агент не применился.
Часто задаваемые вопросы
Почему настройка Axios proxy: { host, port, auth } не работает с сайтами HTTPS?
Эта опция отправляет на прокси обычный HTTP-запрос вместо запроса туннеля HTTP CONNECT, из-за чего TLS-соединение с целевым сервером не устанавливается должным образом. Используйте httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port') и укажите proxy: false.
Как подключить прокси к нативному fetch() в Node 18, 20 или 22?
В Node fetch работает на базе undici, поэтому импортируйте ProxyAgent из undici и передайте { dispatcher: new ProxyAgent('http://user:pass@ip:port') } в параметрах fetch().
В моем пароле есть символы @ или :. Не сломает ли это URL?
Может сломать, так как эти символы являются служебными в структуре URL. Закодируйте пароль с помощью encodeURIComponent(password) перед формированием строки http://user:pass@ip:port.
Запрос возвращает ошибку 407. В чем причина?
Прокси ответил, но отклонил авторизацию. Проверьте имя пользователя и пароль из вашего заказа; основные причины описаны на странице устранения ошибки 407.
Источники
Статические IPv4 для ваших воркеров Node.js
Индивидуальные IPv4 в 7 странах и статические провайдерские (ISP) в США и Вьетнаме. Безлимитный трафик, один клиент на IP. Поштучно или оптом.
Посмотреть актуальные цены в США