Scrapy проксији: meta['proxy'], редослед middleware-а и ротација
Аутор: Инжењерски тим ProxyV4 · Updated:
У Scrapy-ју, прокси се поставља по захтеву преко request.meta['proxy'] = 'http://user:pass@ip:port', а уграђени HttpProxyMiddleware (редослед 750) претвара део user:pass у заглавље Proxy-Authorization. Додајте мали downloader middleware који се извршава пре њега, на 740, и сваки захтев који ваш паук генерише моћи ће да изабере IP из вашег ProxyV4 пула.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 US$
- 3+ IP адреса1,70 US$
- 10+ IP адреса1,60 US$
- 25+ IP адреса1,50 US$
- 50+ IP адреса1,40 US$
- 100+ IP адреса1,30 US$
- 200+ IP адреса1,20 US$
- 500+ IP адреса1,10 US$
- 1 IP1,85 US$
- 3+ IP адреса1,70 US$
- 10+ IP адреса1,60 US$
- 25+ IP адреса1,50 US$
- 50+ IP адреса1,40 US$
- 100+ IP адреса1,30 US$
- 200+ IP адреса1,20 US$
- 500+ IP адреса1,10 US$
Зашто је број middleware-а важан
Downloader middleware-и се при слању захтева извршавају у растућем редоследу. HttpProxyMiddleware са бројем 750 чита meta['proxy'], уклања акредитиве из URL-а и уписује заглавље за аутентификацију. Ако ваш middleware постави прокси након тога, на пример на 800, уграђени је већ извршен, акредитиви се никада не конвертују и прокси одговара са 407. Регистровањем вашег на 740 постављате га на прво место.
| Подешавање | Предложена вредност | Ефекат |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Шаље тај захтев преко наведеног ProxyV4 проксија |
| Редослед вашег middleware-а | 740 | Извршава се пре HttpProxyMiddleware (750), па су подаци за пријаву кодирани |
CONCURRENT_REQUESTS_PER_IP | 2 до 4 | Ограничава паралелне захтеве по циљној IP адреси, што представља учтиво ограничење оптерећења сваког сервера |
AUTOTHROTTLE_ENABLED | True | Омогућава Scrapy-ју да продужи или скрати паузе у зависности од тога колико брзо циљни сервер одговара |
Преглед middleware-а за ротацију
- Учитајте листу проксија из подешавања у
from_crawler()и сачувајте је у инстанци middleware-а - У
process_request(), доделитеrequest.meta['proxy'] = random.choice(self.proxies)осим ако захтев већ не садржи прокси - Када одговор врати
429или503, поновите захтев користећи други прокси из пула уместо оног који је управо одбијен - Комбинујте
DOWNLOAD_DELAY = 1.0саRANDOMIZE_DOWNLOAD_DELAY = Trueкако би размак између захтева варирао уместо да откуцава као метроном
Одређивање величине пула
Scrapy пузање може слати велики број захтева у минуту, па број IP адреса одређује колико се свака од њих умерено користи. Уз ProxyV4 нема минималне поруџбине, а цена по IP адреси опада како количина расте; уз то, приватни IPv4 саобраћај се не мери, па велики crawl троши исто као и мали што се тиче протока. Сваку IP адресу користи искључиво један корисник, па њена репутација одражава само ваше пузање и ничије друго. За планирање обима и умерености слања захтева, погледајте водич за web scraping.
Корак по корак
- 1
Припремите URL-ове проксија
Претворите своје ProxyV4
ip:port:user:passлиније уhttp://user:pass@ip:portпомоћу конвертора формата проксија и сачувајте их у подешавањима или датотеци. - 2
Напишите ProxyPoolMiddleware
У
middlewares.py, имплементирајтеprocess_request(self, request, spider)тако да поставиrequest.meta['proxy'] = random.choice(self.proxies). - 3
Региструјте га пре уграђеног
У
settings.py, додајте'myproject.middlewares.ProxyPoolMiddleware': 740уDOWNLOADER_MIDDLEWARESи поставитеCONCURRENT_REQUESTS_PER_IP = 2. - 4
Потврдите ротацију
Пошаљите захтев ка
https://proxyv4.com/api/my-ipнеколико пута помоћуscrapy shellили кратког тест паука и проверите да ли се пријављена IP адреса мења кроз ваш пул.
Често постављана питања
Мој proxy middleware са приоритетом 800 добија грешке 407. Зашто?
На 800 се извршава после HttpProxyMiddleware (750), па се user:pass у вашем URL-у проксија никада не претвара у заглавље Proxy-Authorization. Померите свој middleware испред 750, нпр. на 740.
Могу ли да поставим прокси за само један захтев?
Да. Проследите meta={'proxy': 'http://user:pass@ip:port'} када креирате Request; уграђени middleware обрађује пријаву само за тај захтев.
Да ли ће crawl са милионима страница достићи ограничење протока?
Не на ProxyV4 приватним IPv4 или статичким ISP проксијима; оба имају неограничен проток. Практично ограничење је брзина којом вам циљни сајт дозвољава да пузите.
Извори
Неограничене статичке IP адресе за Scrapy пузање
Приватни IPv4 у 7 земаља плус статички ISP у САД и Вијетнаму, од једне IP адресе до великог пула, уз цене према количини у реалном времену.
Погледајте тренутне цене за САД