Прокси для парсинга: фиксированный пул IP с безлимитным трафиком
Updated:
Прокси для парсинга с тарификацией за гигабайты делают краулер дороже по мере того, как страницы становятся тяжелее, поэтому для регулярного сбора данных выгоднее постоянный пул адресов с безлимитным трафиком. ProxyV4 предлагает приватные IPv4 в семи странах и статические ISP в США и Вьетнаме с оплатой за каждый IP без учета трафика. Вы настраиваете размер пула под допустимый лимит запросов в секунду на целевых сайтах, а расходы остаются неизменными независимо от веса страниц.
- 1 IP1,85 $
- От 3 IP1,70 $
- От 10 IP1,60 $
- От 25 IP1,50 $
- От 50 IP1,40 $
- От 100 IP1,30 $
- От 200 IP1,20 $
- От 500 IP1,10 $
- 1 IP1,85 $
- От 3 IP1,70 $
- От 10 IP1,60 $
- От 25 IP1,50 $
- От 50 IP1,40 $
- От 100 IP1,30 $
- От 200 IP1,20 $
- От 500 IP1,10 $
Оплата за IP или оплата за ГБ для краулера
| Вопрос | Статический пул (за IP) | Тарификация трафика (за ГБ) |
|---|---|---|
| Что определяет стоимость | Количество IP и срок аренды | Объем скачанных данных, включая HTML, JS и ресурсы |
| Что происходит, когда страницы тяжелеют | Ничего: трафик безлимитный | Счет растет вместе с ними |
| Что ограничивает пропускную способность | Лимит запросов на один IP у целевого сайта | Бюджет |
| Как масштабироваться | Добавить IP: цена за адрес снижается при увеличении объема | Докупить трафик |
Почему парсеры блокируют и как помогает пул
При сборе каталогов, объявлений и работе с публичными API большинство блокировок связано не с тем, кто отправляет запросы, а с их частотой: при превышении лимита сайт возвращает HTTP 429. Пул от 10 до 100 статических IP с умеренной параллельностью на каждый адрес позволяет удерживать нагрузку ниже порога, сохраняя нужную вам скорость работы всего краулера.
Здесь также помогает индивидуальная аренда. Каждый IP от ProxyV4 закрепляется за одним клиентом на весь оплаченный период, поэтому история запросов, которую видит целевой сайт, принадлежит только вам.
Подбор пула под целевой сайт
- Публичные каталоги и высоконагруженные API: приватные IPv4 в США или Сингапуре с минимальной ценой за IP
- Вьетнамский e-commerce и локальные порталы: IPv4 Вьетнама для доступа к внутренним страницам и местным ценам
- Сайты, фильтрующие ASN хостингов за WAF: статические ISP в США или Вьетнаме, оформленные на домашних провайдеров, что обычно снижает число проверок Cloudflare
- Сайты, требующие новый IP на каждый запрос: ротационные прокси Вьетнама пока не продаются; список ожидания доступен на странице ротационных прокси Вьетнама
Настройки краулера для долговечности статического пула
Каждая строка использует стандартные учетные данные, поэтому в Python подключение прокси выглядит просто: proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Распределяйте запросы по списку методом round-robin и добавляйте случайную задержку, примерно от 2 до 5 секунд на один IP для каждого целевого домена
- Используйте повторно соединения с помощью
requests.Session()или пула клиентов, чтобы не тратить ресурсы на рукопожатие TLS при каждом запросе - В Playwright и Puppeteer блокируйте изображения, шрифты и медиа, которые не требуется парсить
- Если IP получает HTTP 429 или 503, временно исключите его из ротации на период охлаждения и снизьте частоту запросов вместо немедленных повторных попыток
Пошаговые инструкции
- 1
Купите пул под ваши задачи
Выберите количество для нужной страны, например IPv4 для США, Японии или Великобритании. Скидка за объем применяется автоматически по мере роста количества.
- 2
Преобразуйте список в URL-адреса
Вставьте строки вида
ip:port:user:passв конвертер форматов прокси, чтобы получить строкиhttp://user:pass@ip:portили JSON. - 3
Подключите пул к вашему фреймворку
Используйте инструкции по настройке для Python Requests, Scrapy, Selenium или Node.js Axios.
- 4
Протестируйте перед первым запуском
Проверьте время отклика с помощью теста скорости прокси и отключите адреса, которые медленно отвечают на запросы к вашей цели.
Часто задаваемые вопросы
Учитывается ли трафик для парсинга на прокси ProxyV4?
Нет. Приватные IPv4 и статические ISP тарифицируются за каждый IP на весь срок аренды без ограничений по трафику.
Сколько страниц в день может собирать один статический IP?
Это зависит от лимитов целевого ресурса. При частоте 1–3 запроса в минуту к одному домену один IP собирает примерно от 1 500 до 4 000 страниц в день, не привлекая внимания.
Продаются ли у вас ротационные прокси для парсинга?
Пока нет. На ротационные прокси Вьетнама открыт только список ожидания. На данный момент статический пул с распределением round-robin решает те же задачи для большинства регулярных краулеров.
Как быстро перевести 50 прокси в формат Scrapy?
Вставьте их в конвертер форматов прокси. Он прямо в браузере преобразует строки ip:port:user:pass в формат URL или массив JSON.
Соберите пул для парсинга с фиксированной стоимостью в месяц
Приватные IPv4 в семи странах и статические ISP в США и Вьетнаме с оплатой за IP и безлимитным трафиком.
Посмотреть актуальные цены на IPv4 в США