Прокси в Scrapy: meta['proxy'], порядок middleware и ротация
От инженерной команды ProxyV4 · Updated:
В Scrapy прокси задается для каждого запроса через request.meta['proxy'] = 'http://user:pass@ip:port', а встроенный HttpProxyMiddleware (с приоритетом 750) преобразует часть user:pass в заголовок Proxy-Authorization. Добавьте перед ним небольшой downloader middleware с приоритетом 740, и каждый запрос паука сможет брать IP из пула ProxyV4.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 $
- От 3 IP1,70 $
- От 10 IP1,60 $
- От 25 IP1,50 $
- От 50 IP1,40 $
- От 100 IP1,30 $
- От 200 IP1,20 $
- От 500 IP1,10 $
- 1 IP1,85 $
- От 3 IP1,70 $
- От 10 IP1,60 $
- От 25 IP1,50 $
- От 50 IP1,40 $
- От 100 IP1,30 $
- От 200 IP1,20 $
- От 500 IP1,10 $
Почему важен порядок middleware
Downloader middleware при отправке запросов выполняются по возрастанию приоритета. HttpProxyMiddleware с номером 750 считывает meta['proxy'], удаляет данные авторизации из URL и формирует заголовок auth. Если ваш собственный middleware задает прокси позже, например с 800, встроенный компонент уже отработает, учетные данные не преобразуются, и прокси вернет 407. Регистрация вашего middleware с номером 740 ставит его на первое место.
| Параметр | Рекомендуемое значение | Результат |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Отправляет этот запрос через указанный прокси ProxyV4 |
| Порядок вашего middleware | 740 | Запускается перед HttpProxyMiddleware (750), поэтому данные входа кодируются |
CONCURRENT_REQUESTS_PER_IP | от 2 до 4 | Ограничивает параллельные запросы к одному целевому IP, снижая нагрузку на сервер |
AUTOTHROTTLE_ENABLED | True | Позволяет Scrapy увеличивать или уменьшать задержки в зависимости от скорости ответа цели |
Принцип работы middleware для ротации
- Считывайте список прокси из настроек в
from_crawler()и сохраняйте его в экземпляре middleware - В
process_request()задавайтеrequest.meta['proxy'] = random.choice(self.proxies), если в запросе еще не указан прокси - Если возвращается ответ с кодом
429или503, повторите запрос через другой прокси из пула вместо отклоненного - Сочетайте
DOWNLOAD_DELAY = 1.0сRANDOMIZE_DOWNLOAD_DELAY = True, чтобы интервал между запросами варьировался, а не повторялся с точностью метронома
Выбор размера пула
Сбор данных в Scrapy может генерировать множество запросов в минуту, поэтому количество IP определяет нагрузку на каждый из них. В ProxyV4 нет минимального заказа, цена за IP снижается при росте объема, а трафик на индивидуальных IPv4 не тарифицируется, поэтому масштабный парсинг обходится по трафику не дороже небольшого. Каждый IP используется только одним клиентом, так что его репутация зависит исключительно от ваших задач. Рекомендации по планированию объема сбора и частоты запросов читайте в руководстве по веб-скрейпингу.
Пошаговые инструкции
- 1
Подготовьте URL прокси
Преобразуйте строки вида
ip:port:user:passот ProxyV4 в форматhttp://user:pass@ip:portс помощью конвертера форматов прокси и сохраните их в настройках или файле. - 2
Напишите ProxyPoolMiddleware
В
middlewares.pyреализуйте методprocess_request(self, request, spider), задающийrequest.meta['proxy'] = random.choice(self.proxies). - 3
Зарегистрируйте его перед встроенным компонентом
В
settings.pyдобавьте'myproject.middlewares.ProxyPoolMiddleware': 740вDOWNLOADER_MIDDLEWARESи установитеCONCURRENT_REQUESTS_PER_IP = 2. - 4
Проверьте ротацию
Сделайте несколько запросов к
https://proxyv4.com/api/my-ipчерезscrapy shellили короткий тестовый паук и убедитесь, что возвращаемый IP меняется в пределах вашего пула.
Часто задаваемые вопросы
Мой proxy middleware с приоритетом 800 выдает ошибки 407. Почему?
При приоритете 800 он выполняется после HttpProxyMiddleware (750), поэтому user:pass из URL прокси не преобразуется в заголовок Proxy-Authorization. Переместите ваш middleware на позицию до 750, например 740.
Можно ли задать прокси только для одного запроса?
Да. Передайте meta={'proxy': 'http://user:pass@ip:port'} при создании Request; встроенный middleware обработает данные входа только для этого запроса.
Будет ли ограничение по трафику при парсинге миллионов страниц?
Нет, на индивидуальных IPv4 и статических провайдерских (ISP) прокси от ProxyV4 трафик безлимитный. Единственное реальное ограничение — допустимая скорость сбора на целевом сайте.
Источники
Статические IP без лимита трафика для Scrapy
Индивидуальные IPv4 в 7 странах и статические ISP в США и Вьетнаме: от одного IP до крупного пула с динамическими скидками за объем.
Посмотреть актуальные цены для США