Проксі для Scrapy: meta['proxy'], порядок middleware та ротація
Від інженерної команди ProxyV4 · Updated:
У Scrapy проксі встановлюється для кожного запиту окремо через request.meta['proxy'] = 'http://user:pass@ip:port', а вбудований HttpProxyMiddleware (пріоритет 750) перетворює частину user:pass на заголовок Proxy-Authorization. Додайте власний невеликий downloader middleware перед ним, наприклад із пріоритетом 740, і кожен створений павуком запит зможе вибирати IP з вашого пулу ProxyV4.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 USD
- Від 3 IP1,70 USD
- Від 10 IP1,60 USD
- Від 25 IP1,50 USD
- Від 50 IP1,40 USD
- Від 100 IP1,30 USD
- Від 200 IP1,20 USD
- Від 500 IP1,10 USD
- 1 IP1,85 USD
- Від 3 IP1,70 USD
- Від 10 IP1,60 USD
- Від 25 IP1,50 USD
- Від 50 IP1,40 USD
- Від 100 IP1,30 USD
- Від 200 IP1,20 USD
- Від 500 IP1,10 USD
Чому порядковий номер middleware має значення
Downloader middleware виконуються за зростанням номерів під час відправки запитів. HttpProxyMiddleware із пріоритетом 750 зчитує meta['proxy'], вилучає облікові дані з URL і формує заголовок авторизації. Якщо ваш власний middleware задає проксі пізніше, наприклад на позиції 800, вбудований компонент уже відпрацює, облікові дані не будуть перетворені, і проксі поверне помилку 407. Реєстрація вашого компонента з номером 740 запустить його першим.
| Параметр | Рекомендоване значення | Результат |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Надсилає цей запит через указаний проксі ProxyV4 |
| Порядок вашого middleware | 740 | Запускається перед HttpProxyMiddleware (750), тому дані для входу кодуються |
CONCURRENT_REQUESTS_PER_IP | від 2 до 4 | Обмежує паралельні запити до кожного цільового IP — коректний ліміт навантаження на цільовий сервер |
AUTOTHROTTLE_ENABLED | True | Дозволяє Scrapy збільшувати або зменшувати затримки залежно від швидкості відповіді цільового сервера |
Схема роботи middleware для ротації
- Зчитуйте список проксі з налаштувань у
from_crawler()і зберігайте його в екземплярі middleware - У
process_request()призначайтеrequest.meta['proxy'] = random.choice(self.proxies), якщо запит ще не містить проксі - Якщо повертається відповідь
429або503, повторіть запит з іншим проксі з пулу замість відхиленого - Поєднуйте
DOWNLOAD_DELAY = 1.0ізRANDOMIZE_DOWNLOAD_DELAY = True, щоб інтервал між запитами варіювався, а не працював як метроном
Розрахунок розміру пулу
Під час краулінгу Scrapy може надсилати велику кількість запитів за хвилину, тому кількість IP визначає навантаження на кожну окрему адресу. У ProxyV4 немає мінімального замовлення, а ціна за IP знижується зі зростанням обсягу, причому трафік на приватних IPv4 безлімітний, тому масштабний збір даних коштує стільки ж за трафік, скільки й невеликий. Кожен IP використовується лише одним клієнтом, тож його репутація залежить виключно від вашого краулінгу. Для планування обсягу та коректності збору див. посібник із веб-скрейпінгу.
Покрокова інструкція
- 1
Підготуйте URL-адреси проксі
Перетворіть рядки ProxyV4 формату
ip:port:user:passнаhttp://user:pass@ip:portза допомогою конвертера форматів проксі та збережіть їх у налаштуваннях або у файлі. - 2
Створіть ProxyPoolMiddleware
У
middlewares.pyреалізуйте методprocess_request(self, request, spider), щоб він встановлювавrequest.meta['proxy'] = random.choice(self.proxies). - 3
Зареєструйте його перед вбудованим middleware
У
settings.pyдодайте'myproject.middlewares.ProxyPoolMiddleware': 740доDOWNLOADER_MIDDLEWARESі встановітьCONCURRENT_REQUESTS_PER_IP = 2. - 4
Перевірте ротацію
Надішліть кілька запитів до
https://proxyv4.com/api/my-ipчерезscrapy shellабо короткий тестовий павук і переконайтеся, що отримана IP-адреса змінюється з вашого пулу.
Часті запитання
Мій middleware проксі з пріоритетом 800 видає помилки 407. Чому?
На позиції 800 він виконується після HttpProxyMiddleware (750), тому user:pass у вашому URL проксі не перетворюється на заголовок Proxy-Authorization. Перемістіть ваш middleware до позиції з меншим номером, ніж 750, наприклад на 740.
Чи можна встановити проксі лише для одного запиту?
Так. Передайте meta={'proxy': 'http://user:pass@ip:port'} під час створення Request; вбудований middleware опрацює авторизацію лише для цього конкретного запиту.
Чи вичерпається ліміт трафіку при зборі мільйонів сторінок?
Ні, на приватних IPv4 або статичних ISP-проксі ProxyV4 трафік безлімітний. Єдине практичне обмеження — швидкість, з якою цільовий сайт дозволяє виконувати запити.
Джерела
Статичні IP без ліміту трафіку для краулінгу в Scrapy
Приватні IPv4 у 7 країнах і статичні ISP у США та В'єтнамі: від одного IP до великого пулу зі знижками від обсягу в реальному часі.
Переглянути актуальні ціни для США