ProxyV4

Розробка скрейпера на базі пулу виділених IP-адрес

Updated:

Проксі для веб-скрейпінгу розподіляють ваші запити між багатьма адресами, щоб жоден окремий IP не зазнавав усього навантаження. Для більшості цілей пул приватних адрес IPv4 є найшвидшим та найвигіднішим варіантом; статичні ISP-адреси слугують резервом для сайтів, що блокують діапазони дата-центрів. Ви ротуєте пул у власному коді, тобто завжди знаєте, яка саме IP-адреса завантажила кожну сторінку.

Чому одна IP-адреса перестає працювати

Сайти обмежують кількість запитів, яку може надіслати одна адреса. Краулер, запущений з вашої офісної мережі, швидко досягне цього ліміту, а блокування може зачепити всіх інших у будівлі. Пул проксі розподіляє навантаження, приховує вашу власну мережу з логів і дозволяє отримувати версію сторінки, яку бачать користувачі у вибраній країні.

Типові користувачі: e-commerce команди, які відстежують ціни та залишки конкурентів, аналітики, що збирають відкриті набори даних, агрегатори подорожей, нерухомості та вакансій, а також розробники, які тестують власні сайти з інших країн.

Статичний пул чи ротаційний шлюз

Зі статичним пулом список адрес закріплюється за вами на весь період оренди. Ваш планувальник обирає IP для кожного запиту чи сесії, фіксує його в логах і тимчасово виводить з роботи адреси, для яких починаються обмеження. Кожна IP-адреса використовується виключно вами, тож її репутація залежить лише від вашого трафіку, а фіксований список легко додати до білого списку у внутрішніх інструментах.

Трафік на приватних IPv4 та статичних ISP не тарифікується. Великі сторінки, зображення та тривалі сесії скрейпінгу оплачуються за кожну IP-адресу, а не за гігабайт.

Підбір продукту під цільовий ресурс

ЦільПродуктПричина
Публічні каталоги, API, більшість сайтівPrivate IPv4Швидкі, вигідні, сім країн
Сайти, що блокують діапазони дата-центрівStatic ISP, США або В'єтнамАдреси, зареєстровані на інтернет-провайдерів (ISP)
Масштабний скрейпінг сайтів з підтримкою IPv6IPv6Багато адрес за низькою ціною за IP; переконайтеся, що сайт підтримує IPv6
Локалізовані сторінки в АзіїPrivate IPv4 в Японії, Південній Кореї, Сінгапурі, Гонконзі або В'єтнаміОтримання даних у тому вигляді, в якому їх бачать місцеві користувачі

Розмір пулу та дисципліна запитів

  • Розраховуйте розмір пулу відповідно до цільової частоти запитів: більша кількість адрес із помірним навантаженням на кожну прослужить довше, ніж кілька перевантажених адрес.
  • Закріплюйте одну адресу на весь час авторизованої сесії або роботи з кошиком, після чого змінюйте її.
  • Надсилайте реалістичні заголовки, додавайте випадкові затримки (jitter) між запитами та знижуйте навантаження при отриманні HTTP 429 і 403.
  • Перевіряйте відповіді, щоб сторінки з капчею та блокуваннями ніколи не потрапляли до набору даних.
  • Перевіряйте адреси за допомогою проксі-чекера (до 100 за раз, паролі не зберігаються) та відсіюйте повільні чи заблоковані.

Інтеграція пулу у ваш стек

Кожна адреса працює через HTTP(S) або SOCKS5 з логіном і паролем та надається у форматі ip:port:user:pass у розділі Замовлення. Популярні бібліотеки підтримують цей формат напряму; дивіться інструкції з налаштування для Python requests, Scrapy, Playwright та Puppeteer. Десктопні інструменти без налаштувань проксі можна спрямувати через Proxifier. На сторінці проксі для веб-скрейпінгу наведено додаткові рекомендації для конкретних цілей.

Відповідальний збір даних

Проксі змінює лише те, звідки надходить запит, а не те, які дані ви маєте право збирати. Дотримуйтесь robots.txt, правил використання сайту та чинного законодавства про захист даних і не збирайте персональні дані, на обробку яких ви не маєте права. Перевантаження сайтів паралельними запитами, скрейпінг закритого контенту з чужими акаунтами та будь-які зловживання також порушують наші умови використання.

Часті запитання

З яких проксі для скрейпінгу краще почати: дата-центрових чи ISP?

З дата-центрових. Private IPv4 швидші й доступні у більшій кількості країн. Переходьте на статичні ISP лише тоді, коли цільовий ресурс блокує діапазони дата-центрів. У порівнянні типів проксі пояснено всі переваги та недоліки кожного варіанта.

Чи потрібен обов'язково сервіс ротаційних проксі?

Ні. Статичний пул із ротацією у вашому власному коді дає повний контроль над тим, яка саме адреса обробляє кожен запит.

Чи враховується витрачений трафік?

Ні. Для Private IPv4 та статичних ISP трафік необмежений; ви платите лише за кожну IP-адресу на термін оренди.

Чи можна використовувати SOCKS5 зі Scrapy або Playwright?

Так. Платні проксі підтримують HTTP(S) і SOCKS5 з логіном та паролем; змініть протокол замовлення на SOCKS5 (або обидва) на відповідній сторінці в панелі керування. Вбудоване middleware у Scrapy підтримує лише HTTP, тому для нього залишайте HTTP. Дивіться HTTP vs SOCKS5.

Чи законний веб-скрейпінг?

Це залежить від того, які дані ви збираєте, вашої юрисдикції та умов використання сайту. Збір загальнодоступних неперсональних даних із дотриманням robots.txt є загальноприйнятою практикою; перевірте правила саме для вашого проєкту.

Створіть пул для скрейпінгу

Замовляйте стільки адрес Private IPv4, скільки потрібно для вашого скрейпінгу; ціна за IP знижується зі збільшенням кількості, а трафік не тарифікується.

Дізнатися ціни на дата-центри США

Related articles

Сценарії використання
Створення системи моніторингу позицій із реальними локальними даними
Перевіряйте позиції в Google очима місцевих користувачів: плануйте IP на кожен ринок, регулюйте темп запитів та уникайте помилок, що спотворюють дані.
Проксі за платформами
Проксі для парсингу: фіксований пул IP з безлімітним трафіком
Проксі для парсингу сайтів на Python, Scrapy, Playwright і Selenium: пул приватних IPv4 та статичних ISP-адрес, безлімітний трафік, фіксована ціна за IP.
База знань
Дата-центрові, ISP чи резидентські: розбір трьох типів проксі-IP
ISP, дата-центр чи резидентські проксі: кому належить IP, де працює, скільки живе, як тарифікується та що краще для акаунтів, реклами чи збору даних.
Налаштування проксі
Проксі для Scrapy: meta['proxy'], порядок middleware та ротація
Авторизовані HTTP(S)-проксі у Scrapy: задайте request.meta['proxy'], ставте свій middleware перед HttpProxyMiddleware (750), ротуйте IP та регулюйте темп.
Безкоштовні інструменти
Масова перевірка проксі: статус, вихідний IP та затримка
Безкоштовний проксі-чекер онлайн: вставте до 100 рядків ip:port:user:pass і дізнайтеся статус, вихідний IP, затримку та причини можливих помилок.
ISP · vietnam
Статичні ISP-проксі В'єтнаму для основних магазинів і рекламних акаунтів
Статичні ISP-проксі В'єтнаму на IP домашніх провайдерів. Фіксована IP для головних магазинів Shopee, TikTok Shop, рекламних акаунтів Facebook та Zalo OA.
ISP · united states
Статичні ISP-проксі США: домашній IP, який ніколи не змінюється
Статичні ISP-проксі США на базі IP домашніх провайдерів. Один фіксований американський IP на акаунт для продавців Amazon, реклами та Instagram.
Проксі за платформами
Проксі для продавців TikTok Shop з кількома магазинами
Проксі для TikTok Shop: статичний ISP або приватний IPv4 на магазин у США, В'єтнамі, Британії чи Сінгапурі зі збереженням тієї самої IP під час продовження.