ProxyV4

Проксі для Scrapy: meta['proxy'], порядок middleware та ротація

· Updated:

У Scrapy проксі встановлюється для кожного запиту окремо через request.meta['proxy'] = 'http://user:pass@ip:port', а вбудований HttpProxyMiddleware (пріоритет 750) перетворює частину user:pass на заголовок Proxy-Authorization. Додайте власний невеликий downloader middleware перед ним, наприклад із пріоритетом 740, і кожен створений павуком запит зможе вибирати IP з вашого пулу ProxyV4.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Приватні IPv4 (дата-центри)
🇺🇸 Сполучені Штати
В наявності
Від
1,10 USD / IP / місяць
Знижки за кількість
  • 1 IP1,85 USD
  • Від 3 IP1,70 USD
  • Від 10 IP1,60 USD
  • Від 25 IP1,50 USD
  • Від 50 IP1,40 USD
  • Від 100 IP1,30 USD
  • Від 200 IP1,20 USD
  • Від 500 IP1,10 USD
Купити Сполучені Штати
Приватні IPv4 (дата-центри)
🇬🇧 Велика Британія
В наявності
Від
1,10 USD / IP / місяць
Знижки за кількість
  • 1 IP1,85 USD
  • Від 3 IP1,70 USD
  • Від 10 IP1,60 USD
  • Від 25 IP1,50 USD
  • Від 50 IP1,40 USD
  • Від 100 IP1,30 USD
  • Від 200 IP1,20 USD
  • Від 500 IP1,10 USD
Купити Велика Британія
Проксі за платформами:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Чому порядковий номер middleware має значення

Downloader middleware виконуються за зростанням номерів під час відправки запитів. HttpProxyMiddleware із пріоритетом 750 зчитує meta['proxy'], вилучає облікові дані з URL і формує заголовок авторизації. Якщо ваш власний middleware задає проксі пізніше, наприклад на позиції 800, вбудований компонент уже відпрацює, облікові дані не будуть перетворені, і проксі поверне помилку 407. Реєстрація вашого компонента з номером 740 запустить його першим.

ПараметрРекомендоване значенняРезультат
request.meta['proxy']'http://user:pass@ip:port'Надсилає цей запит через указаний проксі ProxyV4
Порядок вашого middleware740Запускається перед HttpProxyMiddleware (750), тому дані для входу кодуються
CONCURRENT_REQUESTS_PER_IPвід 2 до 4Обмежує паралельні запити до кожного цільового IP — коректний ліміт навантаження на цільовий сервер
AUTOTHROTTLE_ENABLEDTrueДозволяє Scrapy збільшувати або зменшувати затримки залежно від швидкості відповіді цільового сервера

Схема роботи middleware для ротації

  • Зчитуйте список проксі з налаштувань у from_crawler() і зберігайте його в екземплярі middleware
  • У process_request() призначайте request.meta['proxy'] = random.choice(self.proxies), якщо запит ще не містить проксі
  • Якщо повертається відповідь 429 або 503, повторіть запит з іншим проксі з пулу замість відхиленого
  • Поєднуйте DOWNLOAD_DELAY = 1.0 із RANDOMIZE_DOWNLOAD_DELAY = True, щоб інтервал між запитами варіювався, а не працював як метроном

Розрахунок розміру пулу

Під час краулінгу Scrapy може надсилати велику кількість запитів за хвилину, тому кількість IP визначає навантаження на кожну окрему адресу. У ProxyV4 немає мінімального замовлення, а ціна за IP знижується зі зростанням обсягу, причому трафік на приватних IPv4 безлімітний, тому масштабний збір даних коштує стільки ж за трафік, скільки й невеликий. Кожен IP використовується лише одним клієнтом, тож його репутація залежить виключно від вашого краулінгу. Для планування обсягу та коректності збору див. посібник із веб-скрейпінгу.

Покрокова інструкція

  1. 1

    Підготуйте URL-адреси проксі

    Перетворіть рядки ProxyV4 формату ip:port:user:pass на http://user:pass@ip:port за допомогою конвертера форматів проксі та збережіть їх у налаштуваннях або у файлі.

  2. 2

    Створіть ProxyPoolMiddleware

    У middlewares.py реалізуйте метод process_request(self, request, spider), щоб він встановлював request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Зареєструйте його перед вбудованим middleware

    У settings.py додайте 'myproject.middlewares.ProxyPoolMiddleware': 740 до DOWNLOADER_MIDDLEWARES і встановіть CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Перевірте ротацію

    Надішліть кілька запитів до https://proxyv4.com/api/my-ip через scrapy shell або короткий тестовий павук і переконайтеся, що отримана IP-адреса змінюється з вашого пулу.

Часті запитання

Мій middleware проксі з пріоритетом 800 видає помилки 407. Чому?

На позиції 800 він виконується після HttpProxyMiddleware (750), тому user:pass у вашому URL проксі не перетворюється на заголовок Proxy-Authorization. Перемістіть ваш middleware до позиції з меншим номером, ніж 750, наприклад на 740.

Чи можна встановити проксі лише для одного запиту?

Так. Передайте meta={'proxy': 'http://user:pass@ip:port'} під час створення Request; вбудований middleware опрацює авторизацію лише для цього конкретного запиту.

Чи вичерпається ліміт трафіку при зборі мільйонів сторінок?

Ні, на приватних IPv4 або статичних ISP-проксі ProxyV4 трафік безлімітний. Єдине практичне обмеження — швидкість, з якою цільовий сайт дозволяє виконувати запити.

Джерела

Статичні IP без ліміту трафіку для краулінгу в Scrapy

Приватні IPv4 у 7 країнах і статичні ISP у США та В'єтнамі: від одного IP до великого пулу зі знижками від обсягу в реальному часі.

Переглянути актуальні ціни для США

Related articles

Проксі за платформами
Проксі для парсингу: фіксований пул IP з безлімітним трафіком
Проксі для парсингу сайтів на Python, Scrapy, Playwright і Selenium: пул приватних IPv4 та статичних ISP-адрес, безлімітний трафік, фіксована ціна за IP.
Налаштування проксі
Запити в Python requests через проксі з авторизацією: покроково
Надсилайте запити Python через HTTP(S)-проксі з авторизацією: створіть словник proxies, додайте до Session, кодуйте паролі, чергуйте список і перевірте IP.
Налаштування проксі
Автентифікація проксі у Playwright: окремий статичний IP для кожного контексту
Задайте кожному контексту Playwright власний авторизований HTTP(S)-проксі в Node.js чи Python, підберіть таймзону й локаль під IP та перевірте вихідну адресу.
Безкоштовні інструменти
Перетворіть список проксі у формат, потрібний вашому інструменту
Масово конвертуйте списки проксі у браузері між ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, масивами JSON та файлами імпорту FoxyProxy.
Проксі за платформами
Проксі для трекінгу позицій в SEO: дивіться видачу очима місцевого користувача
SEO-проксі з приватним IPv4 у США, Великій Британії, В'єтнамі, Японії та ще 4 ринках: позиції, локальні блоки й реклама збігаються з тим, що бачать місцеві.
Проксі за платформами
Проксі для Amazon, що дають кожному акаунту постійну адресу
Проксі для Amazon під Seller Central, KDP та Merch: статичний ISP у США чи приватний IPv4 у Британії/Японії на акаунт. В одні руки, без змін при продовженні.
IPV4 · united states
Пул приватних IPv4-проксі США для парсингу, відстеження позицій та перевірки реклами
Купуйте приватні IPv4-проксі США: статичні датацентр-IP, один клієнт на адресу, безлімітний трафік. Для скрапінгу, трекінгу SERP та перевірки реклами в США.
IPV4 · united kingdom
Приватні IPv4-проксі Великої Британії для маркетплейсів, пошуку та кампаній
Приватний IPv4-проксі UK зі статичним датацентровим IP в одні руки: аналіз eBay UK і Amazon.co.uk, трекінг google.co.uk та перевірка британської реклами.