Scrapy proksilari: meta['proxy'], middleware tartibi va rotatsiya
ProxyV4 muhandislar jamoasi tomonidan tayyorlandi · Updated:
Scrapy-da proksi har bir so‘rov uchun request.meta['proxy'] = 'http://user:pass@ip:port' orqali o‘rnatiladi va o‘rnatilgan HttpProxyMiddleware (tartibi 750) user:pass qismini Proxy-Authorization sarlavhasiga aylantiradi. Undan oldin, 740 tartibida ishlaydigan kichik downloader middleware qo‘shing va spayderingiz yuboradigan har bir so‘rov ProxyV4 poolingizdan IP tanlashi mumkin bo‘ladi.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 ta IP1,85 US$
- 3+ ta IP1,70 US$
- 10+ ta IP1,60 US$
- 25+ ta IP1,50 US$
- 50+ ta IP1,40 US$
- 100+ ta IP1,30 US$
- 200+ ta IP1,20 US$
- 500+ ta IP1,10 US$
- 1 ta IP1,85 US$
- 3+ ta IP1,70 US$
- 10+ ta IP1,60 US$
- 25+ ta IP1,50 US$
- 50+ ta IP1,40 US$
- 100+ ta IP1,30 US$
- 200+ ta IP1,20 US$
- 500+ ta IP1,10 US$
Middleware raqami nima uchun muhim
Downloader middleware-lari so‘rov jo‘natilishida o‘sish tartibida ishlaydi. 750 tartibidagi HttpProxyMiddleware meta['proxy'] qiymatini o‘qiydi, ma’lumotlarni URL-dan ajratib oladi va avtorizatsiya sarlavhasini yozadi. Agar shaxsiy middleware-ingiz proksini undan keyin, masalan 800 da o‘rnatsa, o‘rnatilgan middleware allaqachon ishlab bo‘lgan bo‘ladi, login ma’lumotlari hech qachon o‘girilmaydi va proksi 407 xatosini qaytaradi. O‘zingiznikini 740 da ro‘yxatdan o‘tkazish uni birinchi o‘ringa qo‘yadi.
| Sozlama | Tavsiya etilgan qiymat | Samarasi |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Ushbu so‘rovni ko‘rsatilgan ProxyV4 proksisi orqali yuboradi |
| Middleware tartibingiz | 740 | HttpProxyMiddleware (750) dan oldin ishlaydi, shuning uchun login kodlanadi |
CONCURRENT_REQUESTS_PER_IP | 2 dan 4 gacha | Har bir maqsadli IP uchun parallel so‘rovlarni cheklaydi, bu har bir serverga ortiqcha yuk tushirmaslikning madaniy me’yoridir |
AUTOTHROTTLE_ENABLED | True | Maqsadli server qanchalik tez javob berishiga qarab, Scrapy-ga kechikishlarni uzaytirish yoki qisqartirish imkonini beradi |
Rotatsiya middleware-ining umumiy ko‘rinishi
- Proksilar ro‘yxatini
from_crawler()ichida sozlamalardan o‘qing va uni middleware nusxasida saqlang process_request()ichida, agar so‘rovda proksi mavjud bo‘lmasa,request.meta['proxy'] = random.choice(self.proxies)ni biriktiring- Javob
429yoki503bo‘lib qaytganda, rad etilgan proksi o‘rniga pooldagi boshqa proksi bilan so‘rovni qayta yuboring DOWNLOAD_DELAY = 1.0sozlamasiniRANDOMIZE_DOWNLOAD_DELAY = Truebilan birlashtiring, shunda so‘rovlar orasidagi oraliq metronomdek bir xil bo‘lmasdan, o‘zgarib turadi
Pool hajmini tanlash
Scrapy kroulingi daqiqasiga juda ko‘p so‘rov jo‘natishi mumkin, shuning uchun IP-lar soni har birining qanchalik ehtiyotkorlik bilan ishlatilishini belgilaydi. ProxyV4 bilan minimal buyurtma talabi yo‘q va miqdor oshgani sari har bir IP narxi pasayadi, shuningdek shaxsiy IPv4 trafigi cheklanmagan, shu sababli trafik sarfi bo‘yicha katta krouling ham kichigi kabi bir xil narxga tushadi. Har bir IP faqat bitta mijoz tomonidan ishlatiladi, shuning uchun uning obro‘si boshqalarning emas, faqat o‘z kroulingingizni aks ettiradi. Krouling hajmi va qoidalarini rejalashtirish uchun veb-skreyping qo‘llanmasiga qarang.
Bosqichma-bosqich
- 1
Proksi URL-larini tayyorlang
ProxyV4 taqdim etgan
ip:port:user:passqatorlarini proksi formatini o‘zgartirgich yordamidahttp://user:pass@ip:portholatiga o‘tkazing va ularni sozlamalarda yoki faylda saqlang. - 2
ProxyPoolMiddleware-ni yozing
middlewares.pyfaylidaprocess_request(self, request, spider)metodini urequest.meta['proxy'] = random.choice(self.proxies)deb o‘rnatadigan qilib amalga oshiring. - 3
Uni o‘rnatilganidan oldin ro‘yxatdan o‘tkazing
settings.pyfaylidaDOWNLOADER_MIDDLEWARESro‘yxatiga'myproject.middlewares.ProxyPoolMiddleware': 740ni qo‘shing vaCONCURRENT_REQUESTS_PER_IP = 2ni o‘rnating. - 4
Rotatsiyani tasdiqlang
scrapy shellyoki qisqa test spayder yordamidahttps://proxyv4.com/api/my-ipmanzilini bir necha marta chaqiring va ko‘rsatilgan IP poolingiz bo‘ylab o‘zgarayotganini tekshiring.
Ko‘p beriladigan savollar
Ustuvorligi 800 bo‘lgan proksi middleware-im 407 xatolarini olmoqda. Nega?
800 da u HttpProxyMiddleware (750) dan keyin ishlaydi, shuning uchun proksi URL-ingizdagi user:pass hech qachon Proxy-Authorization sarlavhasiga aylantirilmaydi. Middleware-ingizni 750 dan oldinga, masalan 740 ga ko‘chiring.
Proksini faqat bitta so‘rov uchun o‘rnatsam bo‘ladimi?
Ha. Request yaratayotganda meta={'proxy': 'http://user:pass@ip:port'} parametrini uzating; o‘rnatilgan middleware faqat o‘sha so‘rov uchun loginni amalga oshiradi.
Millionlab sahifalarni krouling qilish trafik limitiga duch keladimi?
ProxyV4 shaxsiy IPv4 yoki statik ISP proksilarida emas; ikkalasi ham cheksiz trafikka ega. Amaldagi yagona cheklov — maqsadli sayt sizga qanchalik tez krouling qilishga ruxsat berishidir.
Manbalar
Scrapy kroulinglari uchun cheksiz statik IP-lar
7 ta mamlakatdagi shaxsiy IPv4 hamda AQSH va Vyetnamdagi statik ISP, bitta IP-dan tortib katta poolgacha, real vaqtdagi hajm narxlari bilan.
AQSH bo‘yicha real narxlarni ko‘rish