Selenium WebDriver ופרוקסי עם אימות: מה באמת עובד
מאת צוות ההנדסה של ProxyV4 · Updated:
אימות פרוקסי ב-Selenium דורש פתרון מעקף, מכיוון שהדגל --proxy-server=http://ip:port של ChromeDriver אינו יכול לשאת שם משתמש וסיסמה; Chrome משמיט מחרוזות user:pass מוטמעות ומציג חלון התחברות ש-WebDriver אינו מסוגל למלא. שני הפתרונות האמינים הם selenium-wire, שמטפל בהתחברות ל-ProxyV4 ב-Python, ותוסף Chrome קטן שמשיב ל-onAuthRequired בכל שפת פיתוח של Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1.85 $
- 3+ כתובות IP1.70 $
- 10+ כתובות IP1.60 $
- 25+ כתובות IP1.50 $
- 50+ כתובות IP1.40 $
- 100+ כתובות IP1.30 $
- 200+ כתובות IP1.20 $
- 500+ כתובות IP1.10 $
- 1 IP2.25 $
- 3+ כתובות IP2.10 $
- 10+ כתובות IP2.00 $
- 25+ כתובות IP1.90 $
- 50+ כתובות IP1.80 $
- 100+ כתובות IP1.70 $
- 200+ כתובות IP1.60 $
- 500+ כתובות IP1.50 $
השוואת אפשרויות
| שיטה | אופן ההגדרה | למי זה מתאים |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | הדרך המהירה ביותר ב-Python; ניתן לשנות את הפרוקסי בזמן שהדפדפן פתוח |
| תוסף אימות | תוסף בקובץ zip שסקריפט הרקע שלו מטפל ב-chrome.webRequest.onAuthRequired | מתאים ל-Java, C#, Python וגם ל-undetected-chromedriver |
| מעבר ל-Playwright | browser.newContext({ proxy: { server, username, password } }) | פרויקטים חדשים; התחברות לפרוקסי מובנית ישירות, ללא צורך בתוסף |
מה קורה בשימוש רגיל ב---proxy-server
Chrome מקבל את כתובת הפרוקסי משורת הפקודה, אך מתעלם מכל פרטי גישה שנכללים בה. כאשר הפרוקסי מחזיר תגובת 407, Chrome פותח חלונית התחברות מקורית. חלונית זו נמצאת מחוץ ל-DOM של הדף, ולכן find_element אינו יכול לגשת אליה והסקריפט ממתין עד לשגיאת פסק זמן. לכן, כל שיטה תקינה מספקת את פרטי הגישה במקום אחר ולא דרך הדגל.
לתשומת לבכם, selenium-wire אינו מתוחזק עוד באופן פעיל. הוא עדיין פועל בתצורות רבות, אך עבור פרויקטים לטווח ארוך שימוש בתוסף או מעבר אל Playwright הם בחירה בטוחה יותר.
שמירה על יעילות הרצות Selenium עם פרוקסי
- הגדירו את
options.page_load_strategy = 'eager'כדי שהסקריפט ימשיך בריצה ברגע שה-DOM מוכן, במקום להמתין לסקריפטים איטיים של צד שלישי - להרצות במצב headless ב-Chrome 109 ומעלה השתמשו ב-
--headless=new; תוספים, כולל תוסף האימות, יפעלו בדיוק כמו בחלון רגיל - בטלו טעינת תמונות בהגדרות Chrome כאשר אתם זקוקים לטקסט בלבד, כגון מחירים או כותרות
- עטפו את
driver.quit()בבלוקtry / finallyכדי שקריסה לא תשאיר תהליכי Chrome פועלים ברקע
לפני שמרחיבים את היקף העבודה
כל סשן של WebDriver הוא דפדפן מלא, לכן הגדירו לכל סשן כתובת IP משלו אם האתר מקשר בין חשבונות לפי כתובת. כתובת IPv4 פרטית של ProxyV4 מושכרת ללקוח יחיד ושומרת על כתובתה בעת חידוש, מה שמשאיר חשבונות בדיקה ארוכי-טווח באותה כתובת IP. בדקו תחילה פרוקסים חדשים דרך בודק הפרוקסי כדי שקו תקול לא יופיע כשגיאת Selenium timeout מבלבלת.
אם הרצה עדיין פותחת דפים מכתובת ה-IP של השרת עצמו או נעצרת בשגיאת tunnel, סעיף ה-Selenium ב-פרוקסי לא עובד מפרט את הסיבות הנפוצות לפי הסדר.
צעד אחר צעד
- 1
התקנת selenium-wire
בסביבה הווירטואלית שלכם, הריצו
pip install selenium-wire. - 2
הגדרת פרטי הפרוקסי
הגדירו את
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}מתוך פרטי ההזמנה שלכם ב-ProxyV4. - 3
הפעלת Chrome עם ההגדרות הללו
צרו את ה-driver באמצעות
driver = webdriver.Chrome(seleniumwire_options=sw_options), תוך ייבואwebdriverמתוךseleniumwire. - 4
בדיקת כתובת ה-IP היוצאת
בצעו קריאה ל-
driver.get('https://proxyv4.com/api/my-ip')וודאו שהדף מציג את כתובת הפרוקסי שלכם.
שאלות נפוצות
מדוע יש התעלמות מ---proxy-server=http://user:pass@ip:port בתוך ChromeOptions?
Chrome מסיר פרטי גישה מתוך הערך של --proxy-server כחלק מתכנון הדפדפן. ספקו אותם באמצעות selenium-wire, תוסף עם onAuthRequired, או עברו אל Playwright, שתומך בקבלת שם משתמש וסיסמה באופן מובנה.
האם selenium-wire יכול להחליף פרוקסי מבלי להפעיל מחדש את הדפדפן?
כן. מגדירים מילון חדש, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, וכל הבקשות הבאות ייעשו דרך הפרוקסי החדש.
האם תוסף האימות פועל ב-Chrome במצב headless?
כן, בשימוש עם --headless=new. מצב ה---headless הישן לא טען תוספים באותו האופן.
Selenium נתקל בשגיאת פסק זמן בכל דף דרך הפרוקסי. מה לעשות עכשיו?
טענו את כתובת בדיקת ה-IP באמצעות curl עם אותם פרטי גישה. אם גם curl נכשל, התקלה היא בקו או בפורט; ה-מדריך לשגיאות פסק זמן בפרוקסי מפרט בדיוק מה כדאי לבדוק.
מקורות
כתובות IP יציבות להפעלות Selenium
IPv4 פרטי ב-7 מדינות ו-ISP סטטי בארה"ב ובווייטנאם, עם שם משתמש וסיסמה, ללא הגבלת תעבורה ולקוח יחיד לכל כתובת IP.
בדיקת מחירים עדכניים בארה"ב