طلبات Python requests عبر بروكسي مصادق، خطوة بخطوة
بقلم الفريق الهندسي لـ ProxyV4 · Updated:
لاستخدام بروكسي في Python requests، مرّر قاموس proxies بحيث يشير كل من المفتاحين 'http' و'https' إلى http://user:pass@ip:port. عيّن هذا القاموس في requests.Session() لإعادة استخدام الاتصال نفسه بالبروكسي لكل طلب، وهو ما يعد أسرع من فتح اتصال جديد مع كل استدعاء. أدناه: القاموس، والجلسة، والأخطاء الشائعة المحتملة، وسطر فحص لعنوان IP المخرج لـ ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- عنوان IP واحد1.85 US$
- +3 عناوين IP1.70 US$
- +10 عناوين IP1.60 US$
- +25 عناوين IP1.50 US$
- +50 عناوين IP1.40 US$
- +100 عناوين IP1.30 US$
- +200 عناوين IP1.20 US$
- +500 عناوين IP1.10 US$
- عنوان IP واحد1.85 US$
- +3 عناوين IP1.70 US$
- +10 عناوين IP1.60 US$
- +25 عناوين IP1.50 US$
- +50 عناوين IP1.40 US$
- +100 عناوين IP1.30 US$
- +200 عناوين IP1.20 US$
- +500 عناوين IP1.10 US$
شرح قاموس proxies
| الإعداد | القيمة | السبب |
|---|---|---|
مفتاح 'http' | 'http://user:pass@ip:port' | يُستخدم لروابط http:// العادية |
مفتاح 'https' | 'http://user:pass@ip:port' | يظل رابط بروكسي http://: يطلب urllib3 من البروكسي نفق CONNECT ويشغّل TLS بداخله |
timeout | timeout=(5, 15) | 5 ثوانٍ للاتصال و15 ثانية للقراءة، حتى لا يتسبب الهدف غير المستجيب في تجميد مؤشر الترابط |
| التبديل | itertools.cycle(proxy_list) | يوزع عناوين IP الثابتة الخاصة بك بالتناوب |
لماذا تتفوق Session على استدعاء requests.get() المباشر
ينشئ كل استدعاء مباشر لـ requests.get() مجمّع اتصالات جديداً، مما يؤدي إلى تكرار اتصال TCP بالبروكسي ومصافحة TLS مع الموقع في كل مرة. تحافظ Session على بقاء هذه الاتصالات مفتوحة بين الطلبات. بالنسبة لنص برمجي يجلب مئات الصفحات عبر عنوان IP واحد، فإن هذا الفارق يكون واضحاً في إجمالي وقت التشغيل.
عيّن s.proxies.update(proxies) مرة واحدة وسيمر كل من s.get() وs.post() عبر البروكسي. تجدر الإشارة إلى أنه إذا تم ضبط HTTP_PROXY أو HTTPS_PROXY في متغيرات البيئة، فقد تدمجها مكتبة requests مع إعدادات الجلسة؛ مرّر proxies= في الاستدعاء نفسه عندما تحتاج إلى التأكد من البروكسي المستخدم.
الأخطاء وكيفية قراءتها
ProxyErrorمع407 Proxy Authentication Required: يمكن الوصول إلى البروكسي ولكن بيانات تسجيل الدخول في الرابط لا تتطابق مع الطلب. راجع صفحة خطأ 407- كلمات المرور التي تحتوي على
@أو:أو/تؤدي إلى تلف الرابط؛ قم بتشفيرها أولاً باستخدامurllib.parse.quote(password, safe='') - تغيير رابط البروكسي إلى
https://يؤدي عادةً إلى قطع الاتصال؛ احتفظ بـhttp://لكلا المفتاحين ما لم يكن منفذ البروكسي لديك منفذ TLS مخصصاً - يشير
ConnectTimeoutإلى مشكلة في عنوان IP أو المنفذ، وليس في بيانات الاعتماد؛ اختبر إمكانية الوصول باستخدام أداة فحص المنافذ
النمط نفسه في httpx وaiohttp
ينطبق تنسيق الرابط نفسه هنا أيضاً. في httpx، أنشئ httpx.Client(proxy='http://user:pass@ip:port')؛ وفي aiohttp، مرّر proxy= إلى session.get(url, proxy=...). أما عمليات الزحف الأكبر التي تتطلب جدولة وإعادة محاولة، فتكون أسهل عادةً باستخدام Scrapy.
خطوة بخطوة
- 1
إنشاء رابط البروكسي
أعد كتابة كل سطر
ip:port:user:passمن ProxyV4 بصيغةhttp://user:pass@ip:port، أو حوّل القائمة بأكملها باستخدام محول تنسيق البروكسي. - 2
إنشاء القاموس
اكتب
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
ربطه مع Session
أنشئ
s = requests.Session()واستدعِs.proxies.update(proxies)للحفاظ على بقاء الاتصالات مفتوحة بين الطلبات. - 4
طباعة عنوان IP المخرج
شغّل
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())؛ يجب أن يكون عنوان IP في النتيجة هو عنوان البروكسي.
الأسئلة الشائعة
لماذا يُكتب مدخل 'https' برابط http://؟
يصف المخطط (scheme) كيفية اتصال Python بالبروكسي، وليس بالموقع الإلكتروني. تتصل مكتبة urllib3 بالبروكسي عبر HTTP عادي، وترسل أمر CONNECT، ثم تُجري اتصال TLS مع موقع https:// عبر ذلك النفق، وبالتالي تظل حركة مرور الصفحة مشفرة.
كيف أوزع الطلبات على 25 بروكسي ثابت؟
ضع الـ 25 رابطاً في قائمة، وأنشئ pool = itertools.cycle(PROXIES)، ومع كل طلب خذ p = next(pool) ومرّر proxies={'http': p, 'https': p}. حافظ على مهلة زمنية معقولة لكل عنوان IP لتجنب الضغط المكثف على أي عنوان منفرد.
هل حركة المرور من برمجيات Python مقيدة أو محسوبة؟
لا. تأتي خطط IPv4 الخاصة وISP الثابتة من ProxyV4 بنطاق ترددي غير محدود، لذلك لن تواجه البرمجيات التي تعمل لفترات طويلة حداً أقصى للبيانات.
المصادر
مجمّع عناوين IP ثابتة لبرمجيات Python
عناوين IPv4 خاصة في 7 دول بالإضافة إلى ISP ثابت في الولايات المتحدة وفيتنام. اشترِ عنوان IP واحداً أو باقة كاملة؛ ينخفض سعر عنوان IP مع زيادة الكمية.
تحقق من أسعار الولايات المتحدة المباشرة