بروكسيات Scrapy: الخاصية meta['proxy'] وترتيب الوسيط وتدوير العناوين
بقلم الفريق الهندسي لـ ProxyV4 · Updated:
في Scrapy، يتم تعيين البروكسي لكل طلب عبر request.meta['proxy'] = 'http://user:pass@ip:port'، حيث يحوّل وسيط التنزيل المدمج HttpProxyMiddleware (الترتيب 750) جزء user:pass إلى ترويسة Proxy-Authorization. أضف وسيط تنزيل بسيطًا يعمل قبله بالترتيب 740، ليتمكن كل طلب يرسله الزاحف الخاص بك من اختيار عنوان IP من مجموعة ProxyV4 لديك.
request.meta['proxy'] = 'http://user:pass@ip:port'- عنوان IP واحد1.85 US$
- +3 عناوين IP1.70 US$
- +10 عناوين IP1.60 US$
- +25 عناوين IP1.50 US$
- +50 عناوين IP1.40 US$
- +100 عناوين IP1.30 US$
- +200 عناوين IP1.20 US$
- +500 عناوين IP1.10 US$
- عنوان IP واحد1.85 US$
- +3 عناوين IP1.70 US$
- +10 عناوين IP1.60 US$
- +25 عناوين IP1.50 US$
- +50 عناوين IP1.40 US$
- +100 عناوين IP1.30 US$
- +200 عناوين IP1.20 US$
- +500 عناوين IP1.10 US$
أهمية رقم ترتيب الوسيط
تعمل وسائط التنزيل بترتيب تصاعدي أثناء إرسال الطلبات. يقرأ HttpProxyMiddleware عند الترتيب 750 المعامل meta['proxy']، ويزيل بيانات الاعتماد من الرابط ويكتب ترويسة المصادقة. إذا قام الوسيط الخاص بك بتعيين البروكسي بعد ذلك، عند 800 مثلاً، فسيكون الوسيط المدمج قد تم تنفيذه بالفعل، ولن تُحوَّل بيانات الاعتماد أبدًا، وسيرد البروكسي بالخطأ 407. يؤدي تسجيل الوسيط الخاص بك عند 740 إلى تشغيله أولاً.
| الإعداد | القيمة المقترحة | التأثير |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | يرسل هذا الطلب عبر بروكسي ProxyV4 المحدد |
| ترتيب الوسيط الخاص بك | 740 | يعمل قبل HttpProxyMiddleware (750)، مما يضمن تشفير بيانات تسجيل الدخول |
CONCURRENT_REQUESTS_PER_IP | من 2 إلى 4 | يحدد عدد الطلبات المتزامنة لكل عنوان IP مستهدف، وهو حد لطيف لتجنب إرهاق الخادم |
AUTOTHROTTLE_ENABLED | True | يتيح لـ Scrapy زيادة أو تقليل فترات التأخير بناءً على سرعة استجابة الخادم المستهدف |
مخطط وسيط التدوير
- قراءة قائمة البروكسي من الإعدادات في
from_crawler()والاحتفاظ بها في كائن الوسيط - في
process_request()، قم بتعيينrequest.meta['proxy'] = random.choice(self.proxies)ما لم يكن الطلب يتضمن بروكسي بالفعل - عند تلقي استجابة برمز
429أو503، أعد محاولة الطلب باستخدام بروكسي مختلف من المجموعة بدلاً من البروكسي الذي تم رفضه للتو - ادمج
DOWNLOAD_DELAY = 1.0معRANDOMIZE_DOWNLOAD_DELAY = Trueحتى يتفاوت الفارق الزمني بين الطلبات بدلاً من إرسالها بوتيرة ثابتة كبندول الإيقاع
تحديد حجم مجموعة العناوين
يمكن لعملية الزحف عبر Scrapy إرسال عدد كبير من الطلبات في الدقيقة، لذا يحدد عدد عناوين IP مدى توزيع الحمل والضغط على كل عنوان. مع ProxyV4 لا يوجد حد أدنى للطلب، وينخفض سعر كل عنوان IP مع زيادة الكمية، كما أن حركة مرور IPv4 المخصصة غير محدودة الاستهلاك، لذا فإن تكلفة النطاق الترددي للزحف الضخم هي نفسها للزحف الصغير. يُستخدم كل عنوان IP بواسطة عميل واحد فقط، لذا تعكس سمعته نشاط الزحف الخاص بك وحدك. لتخطيط حجم الزحف ومراعاة الخوادم، راجع دليل كشط الويب.
خطوة بخطوة
- 1
تجهيز روابط البروكسي
حوّل أسطر ProxyV4 بتنسيق
ip:port:user:passإلىhttp://user:pass@ip:portباستخدام محول تنسيق البروكسي واحفظها في ملف الإعدادات أو في ملف منفصل. - 2
كتابة فئة ProxyPoolMiddleware
في
middlewares.py، أنشئ الدالةprocess_request(self, request, spider)لتقوم بضبطrequest.meta['proxy'] = random.choice(self.proxies). - 3
تسجيل الوسيط قبل الوسيط المدمج
في
settings.py، أضف'myproject.middlewares.ProxyPoolMiddleware': 740إلىDOWNLOADER_MIDDLEWARESواضبطCONCURRENT_REQUESTS_PER_IP = 2. - 4
التحقق من تدوير العناوين
اجلب الرابط
https://proxyv4.com/api/my-ipبضع مرات باستخدامscrapy shellأو عبر زاحف اختبار بسيط وتأكد من أن عنوان IP الظاهر يتغير عبر مجموعتك.
الأسئلة الشائعة
يحصل وسيط البروكسي الخاص بي ذو الأولوية 800 على أخطاء 407. ما السبب؟
عند الترتيب 800، يتم تشغيله بعد HttpProxyMiddleware (750)، وبالتالي لا يتم تحويل user:pass في رابط البروكسي إلى ترويسة Proxy-Authorization. انقل الوسيط الخاص بك ليكون قبل 750، على سبيل المثال 740.
هل يمكنني تعيين البروكسي لطلب واحد فقط؟
نعم. مرر meta={'proxy': 'http://user:pass@ip:port'} عند إنشاء Request؛ وسيتولى الوسيط المدمج عملية تسجيل الدخول لهذا الطلب فقط.
هل ستصطدم عملية زحف لملايين الصفحات بحد استهلاك البيانات؟
ليس مع بروكسيات IPv4 المخصصة أو بروكسيات ISP الثابتة من ProxyV4؛ فكلاهما يوفر نطاقًا تردديًا غير محدود. الحد الفعلي الوحيد هو السرعة التي يسمح لك بها الموقع المستهدف بالزحف.
المصادر
عناوين IP ثابتة غير محدودة لعمليات زحف Scrapy
بروكسيات IPv4 مخصصة في 7 دول بالإضافة إلى بروكسيات ISP ثابتة في الولايات المتحدة وفيتنام، من عنوان IP واحد إلى مجموعة كبيرة، مع تسعير مباشر حسب الكمية.
اطّلع على الأسعار المباشرة في الولايات المتحدة