ProxyV4

Scrapy proksilari: meta['proxy'], middleware tartibi va rotatsiya

· Updated:

Scrapy-da proksi har bir so‘rov uchun request.meta['proxy'] = 'http://user:pass@ip:port' orqali o‘rnatiladi va o‘rnatilgan HttpProxyMiddleware (tartibi 750) user:pass qismini Proxy-Authorization sarlavhasiga aylantiradi. Undan oldin, 740 tartibida ishlaydigan kichik downloader middleware qo‘shing va spayderingiz yuboradigan har bir so‘rov ProxyV4 poolingizdan IP tanlashi mumkin bo‘ladi.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Xususiy IPv4 (datacenter)
🇺🇸 AQSh
Mavjud
Dan
1,10 US$ / IP / oy
Miqdoriy chegirmalar
  • 1 ta IP1,85 US$
  • 3+ ta IP1,70 US$
  • 10+ ta IP1,60 US$
  • 25+ ta IP1,50 US$
  • 50+ ta IP1,40 US$
  • 100+ ta IP1,30 US$
  • 200+ ta IP1,20 US$
  • 500+ ta IP1,10 US$
AQSh sotib olish
Xususiy IPv4 (datacenter)
🇬🇧 Buyuk Britaniya
Mavjud
Dan
1,10 US$ / IP / oy
Miqdoriy chegirmalar
  • 1 ta IP1,85 US$
  • 3+ ta IP1,70 US$
  • 10+ ta IP1,60 US$
  • 25+ ta IP1,50 US$
  • 50+ ta IP1,40 US$
  • 100+ ta IP1,30 US$
  • 200+ ta IP1,20 US$
  • 500+ ta IP1,10 US$
Buyuk Britaniya sotib olish
Platformalar bo‘yicha proksilar:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Middleware raqami nima uchun muhim

Downloader middleware-lari so‘rov jo‘natilishida o‘sish tartibida ishlaydi. 750 tartibidagi HttpProxyMiddleware meta['proxy'] qiymatini o‘qiydi, ma’lumotlarni URL-dan ajratib oladi va avtorizatsiya sarlavhasini yozadi. Agar shaxsiy middleware-ingiz proksini undan keyin, masalan 800 da o‘rnatsa, o‘rnatilgan middleware allaqachon ishlab bo‘lgan bo‘ladi, login ma’lumotlari hech qachon o‘girilmaydi va proksi 407 xatosini qaytaradi. O‘zingiznikini 740 da ro‘yxatdan o‘tkazish uni birinchi o‘ringa qo‘yadi.

SozlamaTavsiya etilgan qiymatSamarasi
request.meta['proxy']'http://user:pass@ip:port'Ushbu so‘rovni ko‘rsatilgan ProxyV4 proksisi orqali yuboradi
Middleware tartibingiz740HttpProxyMiddleware (750) dan oldin ishlaydi, shuning uchun login kodlanadi
CONCURRENT_REQUESTS_PER_IP2 dan 4 gachaHar bir maqsadli IP uchun parallel so‘rovlarni cheklaydi, bu har bir serverga ortiqcha yuk tushirmaslikning madaniy me’yoridir
AUTOTHROTTLE_ENABLEDTrueMaqsadli server qanchalik tez javob berishiga qarab, Scrapy-ga kechikishlarni uzaytirish yoki qisqartirish imkonini beradi

Rotatsiya middleware-ining umumiy ko‘rinishi

  • Proksilar ro‘yxatini from_crawler() ichida sozlamalardan o‘qing va uni middleware nusxasida saqlang
  • process_request() ichida, agar so‘rovda proksi mavjud bo‘lmasa, request.meta['proxy'] = random.choice(self.proxies) ni biriktiring
  • Javob 429 yoki 503 bo‘lib qaytganda, rad etilgan proksi o‘rniga pooldagi boshqa proksi bilan so‘rovni qayta yuboring
  • DOWNLOAD_DELAY = 1.0 sozlamasini RANDOMIZE_DOWNLOAD_DELAY = True bilan birlashtiring, shunda so‘rovlar orasidagi oraliq metronomdek bir xil bo‘lmasdan, o‘zgarib turadi

Pool hajmini tanlash

Scrapy kroulingi daqiqasiga juda ko‘p so‘rov jo‘natishi mumkin, shuning uchun IP-lar soni har birining qanchalik ehtiyotkorlik bilan ishlatilishini belgilaydi. ProxyV4 bilan minimal buyurtma talabi yo‘q va miqdor oshgani sari har bir IP narxi pasayadi, shuningdek shaxsiy IPv4 trafigi cheklanmagan, shu sababli trafik sarfi bo‘yicha katta krouling ham kichigi kabi bir xil narxga tushadi. Har bir IP faqat bitta mijoz tomonidan ishlatiladi, shuning uchun uning obro‘si boshqalarning emas, faqat o‘z kroulingingizni aks ettiradi. Krouling hajmi va qoidalarini rejalashtirish uchun veb-skreyping qo‘llanmasiga qarang.

Bosqichma-bosqich

  1. 1

    Proksi URL-larini tayyorlang

    ProxyV4 taqdim etgan ip:port:user:pass qatorlarini proksi formatini o‘zgartirgich yordamida http://user:pass@ip:port holatiga o‘tkazing va ularni sozlamalarda yoki faylda saqlang.

  2. 2

    ProxyPoolMiddleware-ni yozing

    middlewares.py faylida process_request(self, request, spider) metodini u request.meta['proxy'] = random.choice(self.proxies) deb o‘rnatadigan qilib amalga oshiring.

  3. 3

    Uni o‘rnatilganidan oldin ro‘yxatdan o‘tkazing

    settings.py faylida DOWNLOADER_MIDDLEWARES ro‘yxatiga 'myproject.middlewares.ProxyPoolMiddleware': 740 ni qo‘shing va CONCURRENT_REQUESTS_PER_IP = 2 ni o‘rnating.

  4. 4

    Rotatsiyani tasdiqlang

    scrapy shell yoki qisqa test spayder yordamida https://proxyv4.com/api/my-ip manzilini bir necha marta chaqiring va ko‘rsatilgan IP poolingiz bo‘ylab o‘zgarayotganini tekshiring.

Ko‘p beriladigan savollar

Ustuvorligi 800 bo‘lgan proksi middleware-im 407 xatolarini olmoqda. Nega?

800 da u HttpProxyMiddleware (750) dan keyin ishlaydi, shuning uchun proksi URL-ingizdagi user:pass hech qachon Proxy-Authorization sarlavhasiga aylantirilmaydi. Middleware-ingizni 750 dan oldinga, masalan 740 ga ko‘chiring.

Proksini faqat bitta so‘rov uchun o‘rnatsam bo‘ladimi?

Ha. Request yaratayotganda meta={'proxy': 'http://user:pass@ip:port'} parametrini uzating; o‘rnatilgan middleware faqat o‘sha so‘rov uchun loginni amalga oshiradi.

Millionlab sahifalarni krouling qilish trafik limitiga duch keladimi?

ProxyV4 shaxsiy IPv4 yoki statik ISP proksilarida emas; ikkalasi ham cheksiz trafikka ega. Amaldagi yagona cheklov — maqsadli sayt sizga qanchalik tez krouling qilishga ruxsat berishidir.

Manbalar

Scrapy kroulinglari uchun cheksiz statik IP-lar

7 ta mamlakatdagi shaxsiy IPv4 hamda AQSH va Vyetnamdagi statik ISP, bitta IP-dan tortib katta poolgacha, real vaqtdagi hajm narxlari bilan.

AQSH bo‘yicha real narxlarni ko‘rish

Related articles

Platformalar bo‘yicha proksilar
Veb-skreyping uchun proksilar: cheksiz trafikka ega belgilangan IP puli
Python, Scrapy, Playwright va Selenium uchun veb-skreyping proksilari: shaxsiy IPv4 va statik ISP manzillar puli, cheksiz trafik, har bir IP uchun qat'iy narx.
Proksini sozlash
Autentifikatsiyali proksi orqali Python requests, bosqichma-bosqich
Python so‘rovlarini autentifikatsiyali HTTP(S) proksi orqali yuboring: proxies lug‘ati, Session, parollarni kodlash, ro‘yxatni aylantirish va IP tekshiruvi.
Proksini sozlash
Playwright proksi autentifikatsiyasi: har bir kontekst uchun bitta statik IP
Node.js yoki Python'da har bir Playwright kontekstiga autentifikatsiyali HTTP(S) proksi bering, mintaqa va tilni moslang hamda chiquvchi manzilni tekshiring.
Bepul vositalar
Proksi ro‘yxatini dasturingiz talab qiladigan formatga o‘tkazing
Proksi ro‘yxatlarini brauzerda ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON massivlari va FoxyProxy fayllariga ommaviy o‘zgartiring.
Platformalar bo‘yicha proksilar
SEO pozitsiyalarini kuzatish uchun proksilar: mahalliy qidiruvchi koʻradigan natijalar sahifasini koʻring
AQSh, Buyuk Britaniya, Vyetnam, Yaponiya va yana 4 bozorda shaxsiy IPv4 SEO proksilari: reyting, lokal paket va reklamalar mahalliy natijaga toʻliq mos keladi.
Platformalar bo‘yicha proksilar
Har bir hisobga doimiy manzil taqdim etuvchi Amazon sotuvchi proksilari
Seller Central, KDP va Merch uchun Amazon proksisi: har hisobga AQSh statik ISP yoki UK/Yaponiya xususiy IPv4; faqat sizga beriladi va uzaytirishda saqlanadi.
IPV4 · united states
Skreyping, pozitsiyalarni kuzatish va reklamalarni tekshirish uchun AQSh xususiy IPv4 proksi puli
AQSh shaxsiy IPv4 proksilarini xarid qiling: statik datacenter IP-lari, cheksiz trafik. Skreyping, SERP monitoringi va AQSh reklamalarini tekshirish uchun.
IPV4 · united kingdom
Marketpleyslar, qidiruv va kampaniyalar uchun Buyuk Britaniya xususiy IPv4 proksisi
Bir mijozga beriladigan statik Britaniya datacenter IP'li UK xususiy IPv4 proksi: eBay UK, Amazon.co.uk tahlili, google.co.uk va reklama tekshiruvi uchun.