Проксі для парсингу: фіксований пул IP з безлімітним трафіком
Updated:
Проксі для парсингу з оплатою за гігабайт роблять краулер дорожчим щоразу, коли сторінки стають важчими, тому для регулярного парсингу за розкладом вигідніший фіксований пул адрес із безлімітним трафіком. ProxyV4 продає приватні IPv4 у семи країнах та статичні ISP у США та В'єтнамі з фіксованою ціною за IP без обліку трафіку. Ви формуєте розмір пулу за кількістю запитів на секунду, яку витримують цільові сайти, а рахунок залишається незмінним незалежно від обсягу сторінок.
- 1 IP1,85 USD
- Від 3 IP1,70 USD
- Від 10 IP1,60 USD
- Від 25 IP1,50 USD
- Від 50 IP1,40 USD
- Від 100 IP1,30 USD
- Від 200 IP1,20 USD
- Від 500 IP1,10 USD
- 1 IP1,85 USD
- Від 3 IP1,70 USD
- Від 10 IP1,60 USD
- Від 25 IP1,50 USD
- Від 50 IP1,40 USD
- Від 100 IP1,30 USD
- Від 200 IP1,20 USD
- Від 500 IP1,10 USD
Оплата за IP проти оплати за гігабайти для краулера
| Питання | Статичний пул (за IP) | Тарифікація трафіку (за ГБ) |
|---|---|---|
| Що формує вартість | Кількість IP і термін оренди | Завантажені байти, включно з HTML, JS та ресурсами |
| Що відбувається, коли сторінки важчають | Нічого; трафік безлімітний | Рахунок зростає разом із ними |
| Що обмежує пропускну здатність | Ліміт частоти запитів цільового сайту на один IP | Бюджет |
| Як масштабуватися | Додавати IP; ціна за IP знижується зі зростанням обсягу | Купувати більше трафіку |
Чому скрапери блокують і як допомагає пул
Під час парсингу каталогів, оголошень та публічних API більшість блокувань стаються не через те, хто ви, а через швидкість ваших запитів: якщо одна адреса перевищує допустиму частоту запитів сайту, вона отримує HTTP 429. Пул із 10–100 статичних IP із помірною кількістю паралельних потоків тримає кожну адресу нижче порогового значення, дозволяючи краулеру в цілому працювати з потрібною швидкістю.
Індивідуальне використання також має значення. Кожна IP-адреса ProxyV4 належить лише одному клієнту протягом усього терміну оренди, тому історія запитів, яку бачить цільовий сайт для цієї адреси, належить виключно вам.
Підбір пулу під цільовий ресурс
- Публічні каталоги та високонавантажені API: приватні IPv4 у США або Сінгапурі з найнижчою ціною за IP
- В'єтнамська електронна комерція та локальні портали: IPv4 у В'єтнамі для доступу до внутрішніх сторінок і локальних цін
- Цільові сайти з WAF, що фільтрують хостинг-ASN: статичні ISP у США або В'єтнамі, зареєстровані на провайдерів для домашніх користувачів, що зазвичай зменшує кількість перевірок Cloudflare
- Цільові сайти, які потребують нового IP для кожного запиту: ротаційні проксі у В'єтнамі ще не продаються; список очікування доступний на сторінці ротаційних проксі у В'єтнамі
Налаштування краулера для довговічності статичного пулу
Кожна лінія використовує стандартні облікові дані, тому в Python проксі підключається просто: proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Розподіляйте запити за принципом round-robin по списку та додавайте випадкову затримку, приблизно від 2 до 5 секунд на один IP для кожного цільового домену
- Повторно використовуйте з'єднання через
requests.Session()або клієнт із пулом з'єднань, щоб не витрачати ресурси на TLS-рукостискання під час кожного запиту - У Playwright та Puppeteer блокуйте зображення, шрифти й медіафайли, які ви не парсите
- Коли IP отримує HTTP 429 або 503, виведіть його з ротації на час охолодження та збільште інтервал замість негайних повторних спроб
Покрокова інструкція
- 1
Придбайте пул під ваші завдання
Оберіть кількість за країнами, наприклад IPv4 у США, Японії або Великобританії. Знижки за обсяг застосовуються автоматично зі збільшенням кількості.
- 2
Перетворіть список на URL-адреси
Вставте рядки
ip:port:user:passу конвертер форматів проксі, щоб отримати рядкиhttp://user:pass@ip:portабо JSON. - 3
Підключіть пул до вашого фреймворку
Скористайтеся інструкціями з налаштування для Python Requests, Scrapy, Selenium або Node.js Axios.
- 4
Протестуйте перед першим повноцінним запуском
Перевірте час відгуку за допомогою тесту швидкості проксі та виключіть адреси з повільним доступом до цільового ресурсу.
Часті запитання
Чи тарифікується трафік для парсингу на проксі ProxyV4?
Ні. Приватні IPv4 та статичні ISP оплачуються за кожен IP на термін оренди з безлімітним трафіком.
Скільки сторінок на день може обробити одна статична IP-адреса?
Це залежить від ліміту запитів цільового сайту. За частоти від 1 до 3 запитів на хвилину для одного домену одна IP-адреса збирає приблизно від 1,500 до 4,000 сторінок на день, не привертаючи уваги.
Чи продаєте ви ротаційні проксі для скрапінгу?
Поки ні. Ротаційні проксі у В'єтнамі доступні лише за списком очікування. Наразі статичний пул із розподілом round-robin виконує те саме завдання для більшості запусків за розкладом.
Як швидко конвертувати 50 проксі у формат Scrapy?
Вставте їх у конвертер форматів проксі. Він перетворює рядки ip:port:user:pass на URL-рядки або JSON-масив прямо в браузері.
Створіть пул для скрапінгу з фіксованою щомісячною вартістю
Приватні IPv4 у семи країнах та статичні ISP у США та В'єтнамі з оплатою за IP та безлімітним трафіком.
Переглянути актуальні ціни на IPv4 у США