ProxyV4

Разработка скрейпера на базе пула выделенных IP

Updated:

Прокси для веб-скрейпинга распределяют запросы по множеству адресов, чтобы ни один IP не брал на себя весь парсинг. Для большинства целей пул индивидуальных IPv4 — самый быстрый и недорогой вариант; статические ISP-адреса служат резервом для сайтов, блокирующих диапазоны дата-центров. Ротация пула выполняется в вашем коде, поэтому вы всегда точно знаете, какой IP загрузил каждую страницу.

Почему один IP перестает работать

Сайты ограничивают число запросов с одного адреса. Краулер, запущенный из офисной сети, быстро упрется в этот лимит, и блокировка может затронуть всех остальных в здании. Пул прокси делит нагрузку, скрывает вашу сеть из логов и позволяет получать версии страниц для пользователей из конкретной страны.

Типичные пользователи: команды в e-commerce, отслеживающие цены и остатки конкурентов, аналитики при сборе открытых датасетов, агрегаторы вакансий, недвижимости и путешествий, а также разработчики, тестирующие свои сайты из других стран.

Статический пул против ротационного шлюза

При использовании статического пула список адресов закреплен за вами на весь срок аренды. Ваш планировщик выбирает IP для каждого запроса или сессии, логирует его и временно исключает адреса, которые начали получать троттлинг. Каждый IP выделяется в одни руки, поэтому его репутация зависит только от вашего трафика, а фиксированный список легко добавить в белые списки внутренних инструментов.

Трафик на индивидуальных IPv4 и статических ISP не тарифицируется. Тяжелые страницы, изображения и долгий парсинг оплачиваются поштучно за каждый IP, а не за гигабайты.

Подбор продукта под целевой ресурс

ЦельПродуктПричина
Открытые каталоги, API, большинство сайтовPrivate IPv4Быстро, выгодно, семь стран
Сайты, блокирующие диапазоны дата-центровStatic ISP, США или ВьетнамАдреса, зарегистрированные на домашних провайдеров
Масштабный парсинг сайтов с поддержкой IPv6IPv6Много адресов по низкой цене за IP; убедитесь, что сайт поддерживает IPv6
Локализованные страницы в АзииPrivate IPv4 в Японии, Южной Корее, Сингапуре, Гонконге или ВьетнамеСбор данных в том виде, в каком их видят местные пользователи

Размер пула и правила отправки запросов

  • Рассчитывайте размер пула исходя из целевой частоты запросов: большее число адресов с умеренной нагрузкой на каждый IP прослужит дольше, чем несколько перегруженных адресов.
  • Закрепляйте один адрес на все время авторизованной сессии или работы с корзиной, затем переключайтесь.
  • Отправляйте реалистичные заголовки, добавляйте джиттер между запросами и снижайте частоту при ответах HTTP 429 и 403.
  • Валидируйте ответы, чтобы страницы с капчей и заглушки блокировок не попадали в датасет.
  • Проверяйте адреса через прокси-чекер (до 100 за раз, пароли не сохраняются) и исключайте медленные или заблокированные.

Интеграция пула в ваш стек

Каждый адрес работает по HTTP(S) или SOCKS5 с логином и паролем и выдается в формате ip:port:user:pass в разделе Заказы. Популярные библиотеки поддерживают этот формат напрямую; инструкции по настройке доступны для Python requests, Scrapy, Playwright и Puppeteer. Десктопные программы без встроенных настроек прокси можно перенаправить через Proxifier. Дополнительные рекомендации под конкретные задачи собраны на странице прокси для скрейпинга.

Ответственный сбор данных

Прокси меняет источник запроса, но не дает дополнительных прав на сбор данных. Соблюдайте robots.txt, правила сайтов и применимое законодательство о защите данных, а также не собирайте персональные данные без законных оснований для их обработки. Флуд параллельными запросами, парсинг закрытых страниц под чужими аккаунтами и любые злоупотребления также нарушают наши условия использования.

Часто задаваемые вопросы

С каких прокси лучше начать скрейпинг — дата-центровых или ISP?

С дата-центровых. Private IPv4 быстрее и доступны в большем числе стран. Переводите задачу на static ISP, только если ресурс блокирует диапазоны дата-центров. Подробнее о различиях читайте в сравнении типов прокси.

Обязательно ли использовать сервис ротационных прокси?

Нет. Статический пул с ротацией в собственном коде дает полный контроль над тем, какой адрес обрабатывает каждый конкретный запрос.

Учитывается ли объем трафика?

Нет. Private IPv4 и static ISP предоставляют безлимитный трафик — вы платите фиксированную цену за каждый IP на весь срок аренды.

Можно ли использовать SOCKS5 в Scrapy или Playwright?

Да. Платные прокси поддерживают HTTP(S) и SOCKS5 с логином и паролем; переключить заказ на SOCKS5 (или оба протокола) можно на странице заказа в панели управления. Встроенный middleware в Scrapy работает только по HTTP, поэтому для него оставьте HTTP. Подробнее см. в статье HTTP или SOCKS5.

Законен ли веб-скрейпинг?

Это зависит от собираемых данных, вашей юрисдикции и правил конкретного сайта. Сбор открытых неперсональных данных с соблюдением robots.txt — общепринятая практика, но юридические требования стоит уточнить под ваш проект.

Создайте пул для скрейпинга

Закажите столько индивидуальных IPv4, сколько нужно для парсинга: цена за IP снижается при росте объема, а трафик не тарифицируется.

Посмотреть цены на дата-центры в США

Related articles

Сценарии использования
Как настроить трекинг позиций для получения точной локальной выдачи
Проверяйте позиции в Google глазами местных пользователей: выделяйте IP под каждый рынок, распределяйте запросы и избегайте ошибок в настройке.
Прокси по платформам
Прокси для парсинга: фиксированный пул IP с безлимитным трафиком
Прокси для парсинга на Python, Scrapy, Playwright и Selenium: пул приватных IPv4 и статических ISP-адресов, безлимитный трафик, фиксированная оплата за IP.
База знаний
Серверные, ISP или резидентские: разбор трех типов прокси-IP
ISP, серверные и резидентские прокси: кому принадлежат IP, где работают, сроки действия, тарификация и выбор для аккаунтов, рекламы или сбора данных.
Настройка прокси
Прокси в Scrapy: meta['proxy'], порядок middleware и ротация
Используйте HTTP(S)-прокси с авторизацией в Scrapy: задайте request.meta['proxy'], порядок до HttpProxyMiddleware (750), ротация IP и контроль частоты.
Бесплатные инструменты
Массовая проверка прокси: статус, выходной IP и задержка
Бесплатный чекер прокси: вставьте до 100 строк ip:port:user:pass и узнайте статус, выходной IP, пинг прокси и значение каждой ошибки при проверке.
ISP · vietnam
Статические ISP-прокси Вьетнама для основных магазинов и рекламных аккаунтов
Статические ISP-прокси Вьетнама на IP домашних провайдеров. Фиксированный IP для основных магазинов Shopee, TikTok Shop, рекламы Facebook и Zalo OA.
ISP · united states
Статические ISP-прокси США: неизменный резидентный IP для постоянной работы
Статические ISP-прокси США на IP домашних интернет-провайдеров. Один постоянный IP на аккаунт для продавцов Amazon, рекламных кабинетов и Instagram.
Прокси по платформам
Прокси для продавцов TikTok Shop с несколькими магазинами
Прокси TikTok Shop для нескольких магазинов: статический ISP или приватный IPv4 в США, Вьетнаме, Великобритании или Сингапуре с сохранением IP при продлении.