Разработка скрейпера на базе пула выделенных IP
Updated:
Прокси для веб-скрейпинга распределяют запросы по множеству адресов, чтобы ни один IP не брал на себя весь парсинг. Для большинства целей пул индивидуальных IPv4 — самый быстрый и недорогой вариант; статические ISP-адреса служат резервом для сайтов, блокирующих диапазоны дата-центров. Ротация пула выполняется в вашем коде, поэтому вы всегда точно знаете, какой IP загрузил каждую страницу.
Почему один IP перестает работать
Сайты ограничивают число запросов с одного адреса. Краулер, запущенный из офисной сети, быстро упрется в этот лимит, и блокировка может затронуть всех остальных в здании. Пул прокси делит нагрузку, скрывает вашу сеть из логов и позволяет получать версии страниц для пользователей из конкретной страны.
Типичные пользователи: команды в e-commerce, отслеживающие цены и остатки конкурентов, аналитики при сборе открытых датасетов, агрегаторы вакансий, недвижимости и путешествий, а также разработчики, тестирующие свои сайты из других стран.
Статический пул против ротационного шлюза
При использовании статического пула список адресов закреплен за вами на весь срок аренды. Ваш планировщик выбирает IP для каждого запроса или сессии, логирует его и временно исключает адреса, которые начали получать троттлинг. Каждый IP выделяется в одни руки, поэтому его репутация зависит только от вашего трафика, а фиксированный список легко добавить в белые списки внутренних инструментов.
Трафик на индивидуальных IPv4 и статических ISP не тарифицируется. Тяжелые страницы, изображения и долгий парсинг оплачиваются поштучно за каждый IP, а не за гигабайты.
Подбор продукта под целевой ресурс
| Цель | Продукт | Причина |
|---|---|---|
| Открытые каталоги, API, большинство сайтов | Private IPv4 | Быстро, выгодно, семь стран |
| Сайты, блокирующие диапазоны дата-центров | Static ISP, США или Вьетнам | Адреса, зарегистрированные на домашних провайдеров |
| Масштабный парсинг сайтов с поддержкой IPv6 | IPv6 | Много адресов по низкой цене за IP; убедитесь, что сайт поддерживает IPv6 |
| Локализованные страницы в Азии | Private IPv4 в Японии, Южной Корее, Сингапуре, Гонконге или Вьетнаме | Сбор данных в том виде, в каком их видят местные пользователи |
Размер пула и правила отправки запросов
- Рассчитывайте размер пула исходя из целевой частоты запросов: большее число адресов с умеренной нагрузкой на каждый IP прослужит дольше, чем несколько перегруженных адресов.
- Закрепляйте один адрес на все время авторизованной сессии или работы с корзиной, затем переключайтесь.
- Отправляйте реалистичные заголовки, добавляйте джиттер между запросами и снижайте частоту при ответах HTTP 429 и 403.
- Валидируйте ответы, чтобы страницы с капчей и заглушки блокировок не попадали в датасет.
- Проверяйте адреса через прокси-чекер (до 100 за раз, пароли не сохраняются) и исключайте медленные или заблокированные.
Интеграция пула в ваш стек
Каждый адрес работает по HTTP(S) или SOCKS5 с логином и паролем и выдается в формате ip:port:user:pass в разделе Заказы. Популярные библиотеки поддерживают этот формат напрямую; инструкции по настройке доступны для Python requests, Scrapy, Playwright и Puppeteer. Десктопные программы без встроенных настроек прокси можно перенаправить через Proxifier. Дополнительные рекомендации под конкретные задачи собраны на странице прокси для скрейпинга.
Ответственный сбор данных
Прокси меняет источник запроса, но не дает дополнительных прав на сбор данных. Соблюдайте robots.txt, правила сайтов и применимое законодательство о защите данных, а также не собирайте персональные данные без законных оснований для их обработки. Флуд параллельными запросами, парсинг закрытых страниц под чужими аккаунтами и любые злоупотребления также нарушают наши условия использования.
Часто задаваемые вопросы
С каких прокси лучше начать скрейпинг — дата-центровых или ISP?
С дата-центровых. Private IPv4 быстрее и доступны в большем числе стран. Переводите задачу на static ISP, только если ресурс блокирует диапазоны дата-центров. Подробнее о различиях читайте в сравнении типов прокси.
Обязательно ли использовать сервис ротационных прокси?
Нет. Статический пул с ротацией в собственном коде дает полный контроль над тем, какой адрес обрабатывает каждый конкретный запрос.
Учитывается ли объем трафика?
Нет. Private IPv4 и static ISP предоставляют безлимитный трафик — вы платите фиксированную цену за каждый IP на весь срок аренды.
Можно ли использовать SOCKS5 в Scrapy или Playwright?
Да. Платные прокси поддерживают HTTP(S) и SOCKS5 с логином и паролем; переключить заказ на SOCKS5 (или оба протокола) можно на странице заказа в панели управления. Встроенный middleware в Scrapy работает только по HTTP, поэтому для него оставьте HTTP. Подробнее см. в статье HTTP или SOCKS5.
Законен ли веб-скрейпинг?
Это зависит от собираемых данных, вашей юрисдикции и правил конкретного сайта. Сбор открытых неперсональных данных с соблюдением robots.txt — общепринятая практика, но юридические требования стоит уточнить под ваш проект.
Создайте пул для скрейпинга
Закажите столько индивидуальных IPv4, сколько нужно для парсинга: цена за IP снижается при росте объема, а трафик не тарифицируется.
Посмотреть цены на дата-центры в США