ProxyV4

Прокси в Scrapy: meta['proxy'], порядок middleware и ротация

· Updated:

В Scrapy прокси задается для каждого запроса через request.meta['proxy'] = 'http://user:pass@ip:port', а встроенный HttpProxyMiddleware (с приоритетом 750) преобразует часть user:pass в заголовок Proxy-Authorization. Добавьте перед ним небольшой downloader middleware с приоритетом 740, и каждый запрос паука сможет брать IP из пула ProxyV4.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Приватные IPv4 (серверные)
🇺🇸 США
В наличии
От
1,10 $ / IP / мес.
Скидки за объем
  • 1 IP1,85 $
  • От 3 IP1,70 $
  • От 10 IP1,60 $
  • От 25 IP1,50 $
  • От 50 IP1,40 $
  • От 100 IP1,30 $
  • От 200 IP1,20 $
  • От 500 IP1,10 $
Купить: США
Приватные IPv4 (серверные)
🇬🇧 Великобритания
В наличии
От
1,10 $ / IP / мес.
Скидки за объем
  • 1 IP1,85 $
  • От 3 IP1,70 $
  • От 10 IP1,60 $
  • От 25 IP1,50 $
  • От 50 IP1,40 $
  • От 100 IP1,30 $
  • От 200 IP1,20 $
  • От 500 IP1,10 $
Купить: Великобритания
Прокси по платформам:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Почему важен порядок middleware

Downloader middleware при отправке запросов выполняются по возрастанию приоритета. HttpProxyMiddleware с номером 750 считывает meta['proxy'], удаляет данные авторизации из URL и формирует заголовок auth. Если ваш собственный middleware задает прокси позже, например с 800, встроенный компонент уже отработает, учетные данные не преобразуются, и прокси вернет 407. Регистрация вашего middleware с номером 740 ставит его на первое место.

ПараметрРекомендуемое значениеРезультат
request.meta['proxy']'http://user:pass@ip:port'Отправляет этот запрос через указанный прокси ProxyV4
Порядок вашего middleware740Запускается перед HttpProxyMiddleware (750), поэтому данные входа кодируются
CONCURRENT_REQUESTS_PER_IPот 2 до 4Ограничивает параллельные запросы к одному целевому IP, снижая нагрузку на сервер
AUTOTHROTTLE_ENABLEDTrueПозволяет Scrapy увеличивать или уменьшать задержки в зависимости от скорости ответа цели

Принцип работы middleware для ротации

  • Считывайте список прокси из настроек в from_crawler() и сохраняйте его в экземпляре middleware
  • В process_request() задавайте request.meta['proxy'] = random.choice(self.proxies), если в запросе еще не указан прокси
  • Если возвращается ответ с кодом 429 или 503, повторите запрос через другой прокси из пула вместо отклоненного
  • Сочетайте DOWNLOAD_DELAY = 1.0 с RANDOMIZE_DOWNLOAD_DELAY = True, чтобы интервал между запросами варьировался, а не повторялся с точностью метронома

Выбор размера пула

Сбор данных в Scrapy может генерировать множество запросов в минуту, поэтому количество IP определяет нагрузку на каждый из них. В ProxyV4 нет минимального заказа, цена за IP снижается при росте объема, а трафик на индивидуальных IPv4 не тарифицируется, поэтому масштабный парсинг обходится по трафику не дороже небольшого. Каждый IP используется только одним клиентом, так что его репутация зависит исключительно от ваших задач. Рекомендации по планированию объема сбора и частоты запросов читайте в руководстве по веб-скрейпингу.

Пошаговые инструкции

  1. 1

    Подготовьте URL прокси

    Преобразуйте строки вида ip:port:user:pass от ProxyV4 в формат http://user:pass@ip:port с помощью конвертера форматов прокси и сохраните их в настройках или файле.

  2. 2

    Напишите ProxyPoolMiddleware

    В middlewares.py реализуйте метод process_request(self, request, spider), задающий request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Зарегистрируйте его перед встроенным компонентом

    В settings.py добавьте 'myproject.middlewares.ProxyPoolMiddleware': 740 в DOWNLOADER_MIDDLEWARES и установите CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Проверьте ротацию

    Сделайте несколько запросов к https://proxyv4.com/api/my-ip через scrapy shell или короткий тестовый паук и убедитесь, что возвращаемый IP меняется в пределах вашего пула.

Часто задаваемые вопросы

Мой proxy middleware с приоритетом 800 выдает ошибки 407. Почему?

При приоритете 800 он выполняется после HttpProxyMiddleware (750), поэтому user:pass из URL прокси не преобразуется в заголовок Proxy-Authorization. Переместите ваш middleware на позицию до 750, например 740.

Можно ли задать прокси только для одного запроса?

Да. Передайте meta={'proxy': 'http://user:pass@ip:port'} при создании Request; встроенный middleware обработает данные входа только для этого запроса.

Будет ли ограничение по трафику при парсинге миллионов страниц?

Нет, на индивидуальных IPv4 и статических провайдерских (ISP) прокси от ProxyV4 трафик безлимитный. Единственное реальное ограничение — допустимая скорость сбора на целевом сайте.

Источники

Статические IP без лимита трафика для Scrapy

Индивидуальные IPv4 в 7 странах и статические ISP в США и Вьетнаме: от одного IP до крупного пула с динамическими скидками за объем.

Посмотреть актуальные цены для США

Related articles

Прокси по платформам
Прокси для парсинга: фиксированный пул IP с безлимитным трафиком
Прокси для парсинга на Python, Scrapy, Playwright и Selenium: пул приватных IPv4 и статических ISP-адресов, безлимитный трафик, фиксированная оплата за IP.
Настройка прокси
Пошаговая настройка Python requests через прокси с авторизацией
Отправляйте запросы в Python через HTTP(S)-прокси с авторизацией: словарь proxies, привязка к Session, экранирование паролей, перебор списка и проверка IP.
Настройка прокси
Авторизация прокси в Playwright: отдельный статический IP на контекст
Настройте свой HTTP(S)-прокси с авторизацией для каждого контекста Playwright в Node.js или Python, задайте таймзону и локаль под IP и проверьте внешний адрес.
Бесплатные инструменты
Преобразуйте список прокси в нужный формат для вашей программы
Массово конвертируйте списки прокси в браузере: ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, массивы JSON и файлы импорта для FoxyProxy.
Прокси по платформам
Прокси для отслеживания позиций в SEO: смотрите выдачу глазами местных пользователей
SEO-прокси с приватными IPv4 в США, Британии, Вьетнаме, Японии и еще 4 странах. Позиции, локальная выдача и реклама в точности такие, как видят местные жители.
Прокси по платформам
Прокси для Amazon, которые дают каждому аккаунту постоянный адрес
Прокси для Amazon Seller Central, KDP и Merch: статический ISP США или приватный IPv4 Великобритании/Японии на аккаунт. В одни руки, сохраняются при продлении.
IPV4 · united states
Пул приватных IPv4-прокси США для парсинга, отслеживания позиций и проверки рекламы
Купите приватные IPv4-прокси США: статические серверные IP дата-центров, один клиент на IP, безлимитный трафик. Для парсинга, SERP и проверки рекламы в США.
IPV4 · united kingdom
Приватные IPv4-прокси Великобритании для маркетплейсов, поиска и рекламных кампаний
Приватный серверный IPv4 прокси Великобритании в одни руки. Статический IP для eBay UK, Amazon.co.uk, трекинга google.co.uk и проверки британской рекламы.