Scrapy проксилери: meta['proxy'], middleware ирети жана ротация
ProxyV4 инженердик тобу тарабынан · Updated:
Scrapy'де прокси ар бир сурамга request.meta['proxy'] = 'http://user:pass@ip:port' аркылуу орнотулат жана камтылган HttpProxyMiddleware (ирети 750) user:pass бөлүгүн Proxy-Authorization аталышына айлантат. Андан мурун, 740 иретинде иштеген чакан downloader middleware кошуңуз, ошондо спайдериңиз жөнөткөн ар бир сурам сиздин ProxyV4 пулуңуздан IP тандай алат.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
Эмне үчүн middleware номери маанилүү
Downloader middleware'лер чыгыш жолунда өсүү тартибинде иштейт. 750 иретиндеги HttpProxyMiddleware meta['proxy'] маанисин окуйт, URL'ден логин-паролду алып салат жана аутентификация аталышын жазат. Эгер сиздин жеке middleware проксини андан кийин, мисалы 800 иретинде орнотсо, камтылган компонент иштеп бүткөн болот, логин-пароль эч качан өзгөртүлбөйт жана прокси 407 катасын берет. Өзүңүздүкүн 740 ирети менен каттоо аны биринчи орунга коёт.
| Орнотуу | Сунушталган маани | Натыйжасы |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Ошол сурамды көрсөтүлгөн ProxyV4 проксиси аркылуу жөнөтөт |
| Сиздин middleware иретиңиз | 740 | HttpProxyMiddleware (750) алдында иштейт, ошондуктан логин-пароль коддолот |
CONCURRENT_REQUESTS_PER_IP | 2ден 4кө чейин | Ар бир максаттуу IPге карата параллелдүү сурамдарды чектейт, бул ар бир серверге күч келтирүүнү сылык чектөө болуп саналат |
AUTOTHROTTLE_ENABLED | True | Максаттуу сервердин жооп берүү ылдамдыгына жараша Scrapy'ге кечигүүлөрдү узартууга же кыскартууга мүмкүндүк берет |
Ротациялык middleware'дин кыскача түзүлүшү
from_crawler()ичиндеги settings'тен проксилер тизмесин окуп, аны middleware нускасында сактаңыз- Эгер сурамда прокси көрсөтүлө элек болсо,
process_request()ичиндеrequest.meta['proxy'] = random.choice(self.proxies)деп дайындаңыз - Жооп
429же503болуп келгенде, жаңы эле баш тартылган проксинин ордуна пулдагы башка прокси менен кайра аракет кылыңыз - Сурамдардын ортосундагы интервал метроном сыяктуу бир калыпта болбой, өзгөрүп турушу үчүн
DOWNLOAD_DELAY = 1.0мененRANDOMIZE_DOWNLOAD_DELAY = Trueайкалыштырыңыз
Пулдун көлөмүн тандоо
Scrapy краулинги мүнөтүнө көп сандагы сурамдарды жөнөтө алат, андыктан IPлердин саны ар бир даректин канчалык жумшак колдонулушун аныктайт. ProxyV4 менен минималдуу буйрутма жок жана саны көбөйгөн сайын ар бир IPнин баасы арзандайт, ошондой эле жеке IPv4 трафиги чектелбейт, андыктан трафик жагынан чоң краулинг кичинекей краулинг сыяктуу эле баада болот. Ар бир IP бир гана кардар тарабынан колдонулат, ошондуктан анын бедели башка эч кимди эмес, сиздин гана краулингиңизди чагылдырат. Краулингдин көлөмүн жана сылыктык эрежелерин пландаштыруу үчүн веб-скрейпинг боюнча колдонмону караңыз.
Кадам-кадам боюнча
- 1
Прокси URL'дерин даярдоо
ProxyV4
ip:port:user:passсаптарыңызды прокси форматын конвертер аркылууhttp://user:pass@ip:portформатына өзгөртүп, аларды settings'те же файлда сактаңыз. - 2
ProxyPoolMiddleware жазуу
middlewares.pyичиндеprocess_request(self, request, spider)функциясынrequest.meta['proxy'] = random.choice(self.proxies)коё тургандай кылып ишке ашырыңыз. - 3
Аны камтылган компоненттен мурун каттаңыз
settings.pyфайлындаDOWNLOADER_MIDDLEWARESбөлүмүнө'myproject.middlewares.ProxyPoolMiddleware': 740кошуп,CONCURRENT_REQUESTS_PER_IP = 2деп коюңуз. - 4
Ротацияны текшериңиз
scrapy shellже кыска тесттик спайдер мененhttps://proxyv4.com/api/my-ipдарегине бир нече жолу сурам жөнөтүп, кайтарылган IP пулуңуздагы даректерге өзгөрүп жатканын текшериңиз.
Көп берилүүчү суроолор
800 артыкчылыгындагы менин прокси middleware'им 407 каталарын алып жатат. Эмне үчүн?
800 иретинде ал HttpProxyMiddleware (750) кийин иштейт, ошондуктан прокси URL'деги user:pass эч качан Proxy-Authorization аталышына айланбайт. Middleware'иңизди 750дөн төмөн жылдырыңыз, мисалы 740.
Проксини бир гана сурам үчүн орното аламбы?
Ооба. Request түзгөндө meta={'proxy': 'http://user:pass@ip:port'} бериңиз; камтылган middleware логинди ошол сурам үчүн гана иштетет.
Миллиондогон барактарды краулинг кылуу трафик чегине жетеби?
ProxyV4 жеке IPv4 же статикалык ISP проксилеринде эмес; экөөндө тең чексиз трафик бар. Практикалык чектөө — максаттуу сайттын сизге канчалык тез краулинг кылууга уруксат бергенинде.
Булактар
Scrapy краулинги үчүн чексиз статикалык IPлер
7 өлкөдөгү жеке IPv4 жана АКШ менен Вьетнамдагы статикалык ISP, бир IPден баштап чоң пулга чейин, реалдуу көлөмдүк баалар менен.
АКШнын актуалдуу бааларын көрүү