ProxyV4

بروكسيات Scrapy: الخاصية meta['proxy'] وترتيب الوسيط وتدوير العناوين

· Updated:

في Scrapy، يتم تعيين البروكسي لكل طلب عبر request.meta['proxy'] = 'http://user:pass@ip:port'، حيث يحوّل وسيط التنزيل المدمج HttpProxyMiddleware (الترتيب 750) جزء user:pass إلى ترويسة Proxy-Authorization. أضف وسيط تنزيل بسيطًا يعمل قبله بالترتيب 740، ليتمكن كل طلب يرسله الزاحف الخاص بك من اختيار عنوان IP من مجموعة ProxyV4 لديك.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
IPv4 خاص (مراكز بيانات)
🇺🇸 الولايات المتحدة
متوفر
بدءاً من
‏1.10 US$ / IP / شهرياً
خصومات الكميات
  • عنوان IP واحد‏1.85 US$
  • +3 عناوين IP‏1.70 US$
  • +10 عناوين IP‏1.60 US$
  • +25 عناوين IP‏1.50 US$
  • +50 عناوين IP‏1.40 US$
  • +100 عناوين IP‏1.30 US$
  • +200 عناوين IP‏1.20 US$
  • +500 عناوين IP‏1.10 US$
شراء في الولايات المتحدة
IPv4 خاص (مراكز بيانات)
🇬🇧 المملكة المتحدة
متوفر
بدءاً من
‏1.10 US$ / IP / شهرياً
خصومات الكميات
  • عنوان IP واحد‏1.85 US$
  • +3 عناوين IP‏1.70 US$
  • +10 عناوين IP‏1.60 US$
  • +25 عناوين IP‏1.50 US$
  • +50 عناوين IP‏1.40 US$
  • +100 عناوين IP‏1.30 US$
  • +200 عناوين IP‏1.20 US$
  • +500 عناوين IP‏1.10 US$
شراء في المملكة المتحدة
البروكسيات حسب المنصة:Web Scraping & CrawlingSEO & SERP TrackingAmazon

أهمية رقم ترتيب الوسيط

تعمل وسائط التنزيل بترتيب تصاعدي أثناء إرسال الطلبات. يقرأ HttpProxyMiddleware عند الترتيب 750 المعامل meta['proxy']، ويزيل بيانات الاعتماد من الرابط ويكتب ترويسة المصادقة. إذا قام الوسيط الخاص بك بتعيين البروكسي بعد ذلك، عند 800 مثلاً، فسيكون الوسيط المدمج قد تم تنفيذه بالفعل، ولن تُحوَّل بيانات الاعتماد أبدًا، وسيرد البروكسي بالخطأ 407. يؤدي تسجيل الوسيط الخاص بك عند 740 إلى تشغيله أولاً.

الإعدادالقيمة المقترحةالتأثير
request.meta['proxy']'http://user:pass@ip:port'يرسل هذا الطلب عبر بروكسي ProxyV4 المحدد
ترتيب الوسيط الخاص بك740يعمل قبل HttpProxyMiddleware (750)، مما يضمن تشفير بيانات تسجيل الدخول
CONCURRENT_REQUESTS_PER_IPمن 2 إلى 4يحدد عدد الطلبات المتزامنة لكل عنوان IP مستهدف، وهو حد لطيف لتجنب إرهاق الخادم
AUTOTHROTTLE_ENABLEDTrueيتيح لـ Scrapy زيادة أو تقليل فترات التأخير بناءً على سرعة استجابة الخادم المستهدف

مخطط وسيط التدوير

  • قراءة قائمة البروكسي من الإعدادات في from_crawler() والاحتفاظ بها في كائن الوسيط
  • في process_request()، قم بتعيين request.meta['proxy'] = random.choice(self.proxies) ما لم يكن الطلب يتضمن بروكسي بالفعل
  • عند تلقي استجابة برمز 429 أو 503، أعد محاولة الطلب باستخدام بروكسي مختلف من المجموعة بدلاً من البروكسي الذي تم رفضه للتو
  • ادمج DOWNLOAD_DELAY = 1.0 مع RANDOMIZE_DOWNLOAD_DELAY = True حتى يتفاوت الفارق الزمني بين الطلبات بدلاً من إرسالها بوتيرة ثابتة كبندول الإيقاع

تحديد حجم مجموعة العناوين

يمكن لعملية الزحف عبر Scrapy إرسال عدد كبير من الطلبات في الدقيقة، لذا يحدد عدد عناوين IP مدى توزيع الحمل والضغط على كل عنوان. مع ProxyV4 لا يوجد حد أدنى للطلب، وينخفض سعر كل عنوان IP مع زيادة الكمية، كما أن حركة مرور IPv4 المخصصة غير محدودة الاستهلاك، لذا فإن تكلفة النطاق الترددي للزحف الضخم هي نفسها للزحف الصغير. يُستخدم كل عنوان IP بواسطة عميل واحد فقط، لذا تعكس سمعته نشاط الزحف الخاص بك وحدك. لتخطيط حجم الزحف ومراعاة الخوادم، راجع دليل كشط الويب.

خطوة بخطوة

  1. 1

    تجهيز روابط البروكسي

    حوّل أسطر ProxyV4 بتنسيق ip:port:user:pass إلى http://user:pass@ip:port باستخدام محول تنسيق البروكسي واحفظها في ملف الإعدادات أو في ملف منفصل.

  2. 2

    كتابة فئة ProxyPoolMiddleware

    في middlewares.py، أنشئ الدالة process_request(self, request, spider) لتقوم بضبط request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    تسجيل الوسيط قبل الوسيط المدمج

    في settings.py، أضف 'myproject.middlewares.ProxyPoolMiddleware': 740 إلى DOWNLOADER_MIDDLEWARES واضبط CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    التحقق من تدوير العناوين

    اجلب الرابط https://proxyv4.com/api/my-ip بضع مرات باستخدام scrapy shell أو عبر زاحف اختبار بسيط وتأكد من أن عنوان IP الظاهر يتغير عبر مجموعتك.

الأسئلة الشائعة

يحصل وسيط البروكسي الخاص بي ذو الأولوية 800 على أخطاء 407. ما السبب؟

عند الترتيب 800، يتم تشغيله بعد HttpProxyMiddleware (750)، وبالتالي لا يتم تحويل user:pass في رابط البروكسي إلى ترويسة Proxy-Authorization. انقل الوسيط الخاص بك ليكون قبل 750، على سبيل المثال 740.

هل يمكنني تعيين البروكسي لطلب واحد فقط؟

نعم. مرر meta={'proxy': 'http://user:pass@ip:port'} عند إنشاء Request؛ وسيتولى الوسيط المدمج عملية تسجيل الدخول لهذا الطلب فقط.

هل ستصطدم عملية زحف لملايين الصفحات بحد استهلاك البيانات؟

ليس مع بروكسيات IPv4 المخصصة أو بروكسيات ISP الثابتة من ProxyV4؛ فكلاهما يوفر نطاقًا تردديًا غير محدود. الحد الفعلي الوحيد هو السرعة التي يسمح لك بها الموقع المستهدف بالزحف.

المصادر

عناوين IP ثابتة غير محدودة لعمليات زحف Scrapy

بروكسيات IPv4 مخصصة في 7 دول بالإضافة إلى بروكسيات ISP ثابتة في الولايات المتحدة وفيتنام، من عنوان IP واحد إلى مجموعة كبيرة، مع تسعير مباشر حسب الكمية.

اطّلع على الأسعار المباشرة في الولايات المتحدة

Related articles

البروكسيات حسب المنصة
بروكسيات لكشط الويب: مجمع عناوين IP ثابت مع حركة مرور غير محدودة
بروكسيات كشط الويب لأدوات Python وScrapy وPlaywright وSelenium: مجمع عناوين IPv4 خاصة وعناوين ISP ثابتة، مع سعة نقل غير محدودة وتسعير ثابت لكل IP.
إعداد البروكسي
طلبات Python requests عبر بروكسي مصادق، خطوة بخطوة
أرسل طلبات Python عبر بروكسي HTTP(S) مصادق: أنشئ قاموس proxies، واربطه مع Session، وشفّر كلمات المرور الخاصة، وبدّل القائمة، وتحقق من عنوان IP.
إعداد البروكسي
مصادقة بروكسي Playwright، عنوان IP ثابت واحد لكل سياق
خصّص لكل سياق متصفح في Playwright بروكسي HTTP(S) بمصادقة خاصاً به في Node.js أو Python، وطابق المنطقة الزمنية واللغة مع الـ IP وتحقق من عنوان الخروج.
أدوات مجانية
أعد صياغة قائمة البروكسي بالصيغة التي تطلبها أداتك
حوّل قوائم البروكسي في متصفحك بين ip:port:user:pass وuser:pass@ip:port وعناوين http:// وروابط SOCKS5 ومصفوفات JSON وملفات استيراد FoxyProxy دفعة واحدة.
البروكسيات حسب المنصة
بروكسيات لتتبع تصنيف SEO: شاهد صفحة النتائج كما يراها الباحث المحلي
بروكسيات تتبع ترتيب SEO مع IPv4 خاص في أمريكا وبريطانيا وفيتنام واليابان و4 أسواق أخرى، لتطابق التصنيفات والحزم المحلية والإعلانات ما يراه السكان المحليون.
البروكسيات حسب المنصة
بروكسيات بائع أمازون تمنح كل حساب عنواناً دائماً
بروكسيات بائع أمازون لـ Seller Central وKDP وMerch: عنوان ISP ثابت أمريكي أو IPv4 خاص للمملكة المتحدة/اليابان لكل حساب، مؤجر لك وحدك ويبقى عند التجديد.
IPV4 · united states
مجموعة بروكسي IPv4 خاصة في الولايات المتحدة لجمع البيانات وتتبع الترتيب وفحص الإعلانات
اشترِ بروكسي IPv4 أمريكي خاص: عناوين IP داتا سنتر ثابتة، عميل واحد لكل عنوان، وباندويث غير محدود. مخصص للكشط وتتبع نتائج البحث والتحقق من الإعلانات في أمريكا.
IPV4 · united kingdom
بروكسي IPv4 خاص في المملكة المتحدة للمتاجر الإلكترونية والبحث والحملات
بروكسي IPv4 بريطاني خاص بعنوان IP ثابت لمركز بيانات مخصص لعميل واحد، لأبحاث eBay UK وAmazon.co.uk وتتبع google.co.uk والتحقق من إعلانات المملكة المتحدة.