Selenium WebDriver والبروكسيات التي تتطلب مصادقة: الحلول الفعالة
بقلم الفريق الهندسي لـ ProxyV4 · Updated:
تتطلب مصادقة بروكسي Selenium حلاً بديلاً، لأن خيار --proxy-server=http://ip:port في ChromeDriver لا يمكنه حمل اسم المستخدم وكلمة المرور؛ حيث يتجاهل Chrome بيانات user:pass المضمنة ويعرض نافذة تسجيل دخول يعجز WebDriver عن ملئها. والحلان الموثوقان هما selenium-wire، الذي يتولى تسجيل الدخول إلى ProxyV4 في Python، وإضافة Chrome صغيرة تستجيب لحدث onAuthRequired بأي لغة يدعمها Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- عنوان IP واحد1.85 US$
- +3 عناوين IP1.70 US$
- +10 عناوين IP1.60 US$
- +25 عناوين IP1.50 US$
- +50 عناوين IP1.40 US$
- +100 عناوين IP1.30 US$
- +200 عناوين IP1.20 US$
- +500 عناوين IP1.10 US$
- عنوان IP واحد2.25 US$
- +3 عناوين IP2.10 US$
- +10 عناوين IP2.00 US$
- +25 عناوين IP1.90 US$
- +50 عناوين IP1.80 US$
- +100 عناوين IP1.70 US$
- +200 عناوين IP1.60 US$
- +500 عناوين IP1.50 US$
مقارنة الخيارات
| الطريقة | طريقة الإعداد | الاستخدام الأنسب |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | أسرع خيار في Python؛ ويمكن تغيير البروكسي أثناء تشغيل المتصفح |
| إضافة المصادقة | إضافة بصيغة zip يتعامل نصها البرمجي في الخلفية مع chrome.webRequest.onAuthRequired | تناسب كلاً من Java وC# وPython وundetected-chromedriver |
| الانتقال إلى Playwright | browser.newContext({ proxy: { server, username, password } }) | المشاريع الجديدة؛ فالمصادقة مدمجة دون الحاجة لأي إضافة |
ماذا يحدث مع خيار --proxy-server الافتراضي
يأخذ Chrome عنوان البروكسي من سطر الأوامر ولكنه يتجاهل أي بيانات اعتماد مدرجة فيه. وعندما يرد البروكسي بالرمز 407، يفتح Chrome نافذة تسجيل دخول خاصة بالنظام. تقع تلك النافذة خارج نطاق DOM الخاص بالصفحة، لذا لا يستطيع find_element رصدها ويظل السكربت معلقاً حتى تنتهي المهلة. ولهذا تعتمد جميع الطرق الفعالة على تمرير بيانات الاعتماد عبر وسيلة أخرى غير خيار سطر الأوامر.
يُرجى الانتباه إلى أن selenium-wire لم تعد تحظى بصيانة نشطة. ورغم أنها لا تزال تعمل في العديد من البيئات، إلا أن الاعتماد على الإضافة أو Playwright يُعد الخيار الأكثر أماناً للمشاريع طويلة الأمد.
الحفاظ على كفاءة تشغيل Selenium مع البروكسي
- عيّن
options.page_load_strategy = 'eager'ليتابع السكربت عمله بمجرد جاهزية DOM بدلاً من انتظار سكربتات الطرف الثالث البطيئة - للتشغيل في الوضع غير المرئي (headless) على Chrome 109 أو الأحدث، استخدم
--headless=new؛ حيث تعمل الإضافات، بما فيها إضافة المصادقة، كما هو الحال في النافذة العادية - عطّل تحميل الصور في تفضيلات Chrome عندما تحتاج فقط إلى نصوص مثل الأسعار أو العناوين
- ضع
driver.quit()داخل كتلةtry / finallyحتى لا يترك أي انهيار للسكربت عمليات Chrome قيد التشغيل في الخلفية
قبل التوسع وزيادة السعة
تمثل كل جلسة WebDriver متصفحاً كاملاً، لذا امنح كل جلسة عنوان IP خاصاً بها إذا كان الموقع يربط الحسابات بالعنوان. يتم تأجير عنوان IPv4 خاص من ProxyV4 لعميل واحد ويحتفظ بعنوانه عند التجديد، مما يبقي حسابات الاختبار طويلة الأمد على نفس عنوان IP. افحص البروكسيات الجديدة عبر أداة فحص البروكسي أولاً حتى لا يظهر الخط الرديء كخطأ انتهاء مهلة محير في Selenium.
إذا استمر التشغيل في فتح الصفحات من عنوان IP الخاص بالخادم نفسه أو توقف عند خطأ في النفق، فإن قسم Selenium في البروكسي لا يعمل يسرد الأسباب الشائعة بالترتيب.
خطوة بخطوة
- 1
تثبيت selenium-wire
في بيئتك الافتراضية، شغّل الأمر
pip install selenium-wire. - 2
تحديد إعدادات البروكسي
أنشئ
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}من بيانات طلبك في ProxyV4. - 3
تشغيل Chrome بتلك الخيارات
أنشئ الـ driver عبر
driver = webdriver.Chrome(seleniumwire_options=sw_options)، مع استيرادwebdriverمنseleniumwire. - 4
التحقق من IP الخروج
استدعِ
driver.get('https://proxyv4.com/api/my-ip')وتأكد من أن الصفحة تعرض عنوان البروكسي.
الأسئلة الشائعة
لماذا يتم تجاهل --proxy-server=http://user:pass@ip:port في ChromeOptions؟
يقوم Chrome بتجريد بيانات الاعتماد من قيمة --proxy-server افتراضياً حسب تصميمه. مررها عبر selenium-wire أو إضافة تستخدم onAuthRequired، أو انتقل إلى Playwright الذي يقبل اسم المستخدم وكلمة المرور مباشرة.
هل يمكن لـ selenium-wire تغيير البروكسي دون إعادة تشغيل المتصفح؟
نعم. عيّن قاموساً جديداً عبر driver.proxy = {'http': 'http://...', 'https': 'http://...'}، وستستخدم الطلبات اللاحقة البروكسي الجديد.
هل تعمل إضافة المصادقة في وضع Chrome غير المرئي (headless)؟
نعم، باستخدام --headless=new. أما وضع --headless القديم فكان لا يُحمّل الإضافات بنفس الطريقة.
تنتهي مهلة Selenium في كل صفحة عبر البروكسي. ما الخطوة التالية؟
افتح نقطة نهاية فحص الـ IP باستخدام cURL وبنفس بيانات الاعتماد. إذا فشل cURL أيضاً، فالمشكلة في الخط أو المنفذ؛ ويحتوي دليل مهلة البروكسي على قائمة بما يجب فحصه.
المصادر
عناوين IP مستقرة لجلسات Selenium
عناوين IPv4 خاصة في 7 دول وISP ثابتة في الولايات المتحدة وفيتنام، مع اسم مستخدم وكلمة مرور، وحركة مرور غير محدودة وعميل واحد لكل IP.
تحقق من الأسعار الحالية في الولايات المتحدة