Scrapy проксија: meta['proxy'], редослед на middleware и ротација
Од инженерскиот тим на ProxyV4 · Updated:
Во Scrapy, прокси се поставува по барање преку request.meta['proxy'] = 'http://user:pass@ip:port', а вградениот HttpProxyMiddleware (со редослед 750) го претвора делот user:pass во заглавие Proxy-Authorization. Додајте мал downloader middleware што се извршува пред него, на 740, и секое барање што го испраќа вашиот spider може да избере IP-адреса од вашиот ProxyV4 пул.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
Зошто е важен бројот на middleware
Downloader middleware компонентите се извршуваат во растечки редослед при испраќањето. HttpProxyMiddleware на позиција 750 го чита meta['proxy'], ги отстранува акредитивите од URL-то и го запишува заглавието за автентикација. Ако вашиот сопствен middleware го постави проксито подоцна, на пример на 800, вградениот веќе се извршил, акредитивите никогаш не се конвертираат и проксито враќа 407. Со регистрирање на вашиот на 740, тој се извршува прв.
| Поставка | Препорачана вредност | Ефект |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Го испраќа тоа барање преку наведеното ProxyV4 прокси |
| Редослед на вашиот middleware | 740 | Се извршува пред HttpProxyMiddleware (750), па најавата е кодирана |
CONCURRENT_REQUESTS_PER_IP | 2 до 4 | Ги ограничува паралелните барања по целна IP-адреса, љубезна граница за оптоварувањето на секој сервер |
AUTOTHROTTLE_ENABLED | True | Му овозможува на Scrapy да ги зголемува или скратува паузите во зависност од брзината на одговор на целта |
Преглед на middleware за ротација
- Прочитајте ја листата со проксија од поставките во
from_crawler()и чувајте ја на инстанцата на middleware - Во
process_request(), доделетеrequest.meta['proxy'] = random.choice(self.proxies)освен ако барањето веќе нема зададено прокси - Кога одговорот ќе врати
429или503, обидете се повторно со друго прокси од пулот наместо со она што штотуку било одбиено - Комбинирајте
DOWNLOAD_DELAY = 1.0соRANDOMIZE_DOWNLOAD_DELAY = Trueза паузата меѓу барањата да варира наместо да отчукува рамномерно како метроном
Одредување на големината на пулот
Еден Scrapy crawl може да испрати голем број барања во минута, па бројот на IP-адреси одредува колку умерено се користи секоја од нив. Со ProxyV4 нема минимална нарачка и цената по IP се намалува со зголемување на количината, а приватниот IPv4 сообраќај не се мери, па голем crawl чини исто како мал според потрошениот проток. Секоја IP-адреса ја користи само еден корисник, па нејзината репутација го одразува само вашиот crawl и на никој друг. За планирање на обемот и умереноста на барањата, погледнете го водичот за web scraping.
Чекор по чекор
- 1
Подгответе ги URL-адресите за прокси
Конвертирајте ги вашите ProxyV4 линии во формат
ip:port:user:passвоhttp://user:pass@ip:portсо конверторот на формат за прокси и зачувајте ги во поставките или во датотека. - 2
Напишете ProxyPoolMiddleware
Во
middlewares.py, имплементирајтеprocess_request(self, request, spider)така што ќе поставиrequest.meta['proxy'] = random.choice(self.proxies). - 3
Регистрирајте го пред вградениот middleware
Во
settings.py, додајте го'myproject.middlewares.ProxyPoolMiddleware': 740воDOWNLOADER_MIDDLEWARESи поставетеCONCURRENT_REQUESTS_PER_IP = 2. - 4
Потврдете ја ротацијата
Повикајте
https://proxyv4.com/api/my-ipнеколку пати прекуscrapy shellили краток тест spider и проверете дали прикажаната IP-адреса се менува во рамките на вашиот пул.
Често поставувани прашања
Мојот middleware за прокси со приоритет 800 добива грешки 407. Зошто?
На 800 тој се извршува по HttpProxyMiddleware (750), па делот user:pass од вашето URL за прокси никогаш не се претвора во заглавие Proxy-Authorization. Поместете го вашиот middleware под 750, на пример на 740.
Може ли да поставам прокси само за едно барање?
Да. Проследете meta={'proxy': 'http://user:pass@ip:port'} кога го креирате Request; вградениот middleware ќе се погрижи за најавата само за тоа барање.
Дали crawl на милиони страници ќе достигне лимит на проток?
Не и на ProxyV4 приватните IPv4 или статички ISP проксија; двете опции имаат неограничен проток. Единственото практично ограничување е брзината со која целната страница ви дозволува да испраќате барања.
Извори
Статички IP-адреси без лимит на проток за Scrapy crawls
Приватен IPv4 во 7 земји плус статички ISP во САД и Виетнам, од една IP до голем пул, со цени во живо според количината.
Проверете ги цените во САД во живо