Проксі ў Scrapy: meta['proxy'], парадак middleware і ратацыя
Ад інжынернай каманды ProxyV4 · Updated:
У Scrapy проксі задаецца для кожнага запыту праз request.meta['proxy'] = 'http://user:pass@ip:port', а ўбудаваны HttpProxyMiddleware (парадак 750) пераўтварае частку user:pass у загаловак Proxy-Authorization. Дадайце невялікі downloader middleware, які працуе перад ім, на ўзроўні 740, і кожны запыт вашага спайдэра зможа выбіраць IP з вашага пула ProxyV4.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 $
- Ад 3 IP1,70 $
- Ад 10 IP1,60 $
- Ад 25 IP1,50 $
- Ад 50 IP1,40 $
- Ад 100 IP1,30 $
- Ад 200 IP1,20 $
- Ад 500 IP1,10 $
- 1 IP1,85 $
- Ад 3 IP1,70 $
- Ад 10 IP1,60 $
- Ад 25 IP1,50 $
- Ад 50 IP1,40 $
- Ад 100 IP1,30 $
- Ад 200 IP1,20 $
- Ад 500 IP1,10 $
Чаму нумар middleware мае значэнне
Downloader middlewares выконваюцца ў парадку ўзрастання пры адпраўцы запытаў. HttpProxyMiddleware з прыярытэтам 750 счытвае meta['proxy'], выдаляе ўліковыя даныя з URL і запісвае загаловак аўтарызацыі. Калі ваш уласны middleware задае проксі пазней, напрыклад на 800, убудаваны кампанент ужо адпрацаваў, даныя аўтэнтыфікацыі не канвертуюцца, і проксі вяртае памылку 407. Рэгістрацыя вашага middleware на ўзроўні 740 ставіць яго на першае месца.
| Параметр | Рэкамендаванае значэнне | Эфект |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Накіроўвае гэты запыт праз пазначаны проксі ProxyV4 |
| Парадак вашага middleware | 740 | Запускаецца перад HttpProxyMiddleware (750), таму даныя ўваходу паспяхова кадуюцца |
CONCURRENT_REQUESTS_PER_IP | ад 2 да 4 | Абмяжоўвае паралельныя запыты да кожнага мэтавага IP — карэктны ліміт нагрузкі на кожны сервер |
AUTOTHROTTLE_ENABLED | True | Дазваляе Scrapy павялічваць або памяншаць затрымкі ў залежнасці ад хуткасці адказу мэтавага сервера |
Асноўныя прынцыпы middleware для ратацыі
- Счытвайце спіс проксі з налад у
from_crawler()і захоўвайце яго ў асобніку middleware - У
process_request()прызначайцеrequest.meta['proxy'] = random.choice(self.proxies), калі ў запыце ўжо не зададзены іншы проксі - Калі адказ вяртаецца з кодам
429ці503, паўтарыце запыт з іншым проксі з пула замест таго, які толькі што атрымаў адмову - Камбінуйце
DOWNLOAD_DELAY = 1.0зRANDOMIZE_DOWNLOAD_DELAY = True, каб інтэрвал паміж запытамі змяняўся, а не ішоў строга як па метраноме
Вызначэнне памеру пула
Краулінг у Scrapy можа генераваць шмат запытаў за хвіліну, таму колькасць IP вызначае, наколькі ашчадна выкарыстоўваецца кожны з іх. У ProxyV4 няма мінімальнага заказу, а цана за адзін IP зніжаецца з павелічэннем аб'ёму; пры гэтым трафік прыватных IPv4 не абмяжоўваецца, таму выдаткі на прапускную здольнасць для вялікага і малога скрапінгу аднолькавыя. Кожны IP выкарыстоўваецца толькі адным кліентам, таму яго рэпутацыя залежыць выключна ад вашага краўлінгу. Каб спланаваць аб'ём і карэктны тэмп запытаў, глядзіце кіраўніцтва па вэб-скрапінгу.
Крок за крокам
- 1
Падрыхтуйце URL-адрасы проксі
Канвертуйце радкі
ip:port:user:passад ProxyV4 у фарматhttp://user:pass@ip:portз дапамогай канвертара фарматаў проксі і захавайце іх у наладах або ў файле. - 2
Напішыце ProxyPoolMiddleware
У
middlewares.pyрэалізуйцеprocess_request(self, request, spider), каб метад задаваўrequest.meta['proxy'] = random.choice(self.proxies). - 3
Зарэгіструйце яго перад убудаваным middleware
У
settings.pyдадайце'myproject.middlewares.ProxyPoolMiddleware': 740уDOWNLOADER_MIDDLEWARESі задайцеCONCURRENT_REQUESTS_PER_IP = 2. - 4
Праверце ратацыю
Адпраўце некалькі запытаў да
https://proxyv4.com/api/my-ipпразscrapy shellабо тэставы спайдэр і пераканайцеся, што атрыманы IP змяняецца ў межах вашага пула.
Частыя пытанні
Мой proxy middleware з прыярытэтам 800 атрымлівае памылкі 407. Чаму?
На ўзроўні 800 ён запускаецца пасля HttpProxyMiddleware (750), таму user:pass у вашым URL проксі не пераўтвараецца ў загаловак Proxy-Authorization. Перанясіце ваш middleware ніжэй за 750, напрыклад на 740.
Ці магу я задаць проксі толькі для аднаго запыту?
Так. Перадайце meta={'proxy': 'http://user:pass@ip:port'} пры стварэнні Request; убудаваны middleware апрацуе аўтарызацыю толькі для гэтага запыту.
Ці будзе вычарпаны ліміт трафіку пры скрапінгу мільёнаў старонак?
Не, прыватныя IPv4 і статычныя ISP проксі ад ProxyV4 маюць неабмежаваны трафік. Адзінае практычнае абмежаванне — гэта тое, наколькі хутка мэтавы сайт дазваляе збіраць даныя.
Крыніцы
Статычныя IP без абмежавання трафіку для Scrapy
Прыватныя IPv4 у 7 краінах і статычныя ISP у ЗША і В'етнаме: ад аднаго IP да вялікага пула з аўтаматычнымі зніжкамі за аб'ём.
Паглядзець актуальныя цэны для ЗША