ProxyV4

Selenium WebDriver ופרוקסי עם אימות: מה באמת עובד

· Updated:

אימות פרוקסי ב-Selenium דורש פתרון מעקף, מכיוון שהדגל --proxy-server=http://ip:port של ChromeDriver אינו יכול לשאת שם משתמש וסיסמה; Chrome משמיט מחרוזות user:pass מוטמעות ומציג חלון התחברות ש-WebDriver אינו מסוגל למלא. שני הפתרונות האמינים הם selenium-wire, שמטפל בהתחברות ל-ProxyV4 ב-Python, ותוסף Chrome קטן שמשיב ל-onAuthRequired בכל שפת פיתוח של Selenium.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
IPv4 פרטי (datacenter)
🇺🇸 ארצות הברית
במלאי
החל מ-
‏1.10 ‏$ / IP / חודש
הנחות כמות
  • 1 IP‏1.85 ‏$
  • 3+ כתובות IP‏1.70 ‏$
  • 10+ כתובות IP‏1.60 ‏$
  • 25+ כתובות IP‏1.50 ‏$
  • 50+ כתובות IP‏1.40 ‏$
  • 100+ כתובות IP‏1.30 ‏$
  • 200+ כתובות IP‏1.20 ‏$
  • 500+ כתובות IP‏1.10 ‏$
קנה ארצות הברית
ISP סטטי למגורים (residential)
🇺🇸 ארצות הברית
במלאי
החל מ-
‏1.50 ‏$ / IP / חודש
הנחות כמות
  • 1 IP‏2.25 ‏$
  • 3+ כתובות IP‏2.10 ‏$
  • 10+ כתובות IP‏2.00 ‏$
  • 25+ כתובות IP‏1.90 ‏$
  • 50+ כתובות IP‏1.80 ‏$
  • 100+ כתובות IP‏1.70 ‏$
  • 200+ כתובות IP‏1.60 ‏$
  • 500+ כתובות IP‏1.50 ‏$
קנה ארצות הברית
פרוקסי לפי פלטפורמה:Web Scraping & CrawlingSEO & SERP TrackingAmazon

השוואת אפשרויות

שיטהאופן ההגדרהלמי זה מתאים
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}הדרך המהירה ביותר ב-Python; ניתן לשנות את הפרוקסי בזמן שהדפדפן פתוח
תוסף אימותתוסף בקובץ zip שסקריפט הרקע שלו מטפל ב-chrome.webRequest.onAuthRequiredמתאים ל-Java, C#, Python וגם ל-undetected-chromedriver
מעבר ל-Playwrightbrowser.newContext({ proxy: { server, username, password } })פרויקטים חדשים; התחברות לפרוקסי מובנית ישירות, ללא צורך בתוסף

מה קורה בשימוש רגיל ב---proxy-server

Chrome מקבל את כתובת הפרוקסי משורת הפקודה, אך מתעלם מכל פרטי גישה שנכללים בה. כאשר הפרוקסי מחזיר תגובת 407, Chrome פותח חלונית התחברות מקורית. חלונית זו נמצאת מחוץ ל-DOM של הדף, ולכן find_element אינו יכול לגשת אליה והסקריפט ממתין עד לשגיאת פסק זמן. לכן, כל שיטה תקינה מספקת את פרטי הגישה במקום אחר ולא דרך הדגל.

לתשומת לבכם, selenium-wire אינו מתוחזק עוד באופן פעיל. הוא עדיין פועל בתצורות רבות, אך עבור פרויקטים לטווח ארוך שימוש בתוסף או מעבר אל Playwright הם בחירה בטוחה יותר.

שמירה על יעילות הרצות Selenium עם פרוקסי

  • הגדירו את options.page_load_strategy = 'eager' כדי שהסקריפט ימשיך בריצה ברגע שה-DOM מוכן, במקום להמתין לסקריפטים איטיים של צד שלישי
  • להרצות במצב headless ב-Chrome 109 ומעלה השתמשו ב---headless=new; תוספים, כולל תוסף האימות, יפעלו בדיוק כמו בחלון רגיל
  • בטלו טעינת תמונות בהגדרות Chrome כאשר אתם זקוקים לטקסט בלבד, כגון מחירים או כותרות
  • עטפו את driver.quit() בבלוק try / finally כדי שקריסה לא תשאיר תהליכי Chrome פועלים ברקע

לפני שמרחיבים את היקף העבודה

כל סשן של WebDriver הוא דפדפן מלא, לכן הגדירו לכל סשן כתובת IP משלו אם האתר מקשר בין חשבונות לפי כתובת. כתובת IPv4 פרטית של ProxyV4 מושכרת ללקוח יחיד ושומרת על כתובתה בעת חידוש, מה שמשאיר חשבונות בדיקה ארוכי-טווח באותה כתובת IP. בדקו תחילה פרוקסים חדשים דרך בודק הפרוקסי כדי שקו תקול לא יופיע כשגיאת Selenium timeout מבלבלת.

אם הרצה עדיין פותחת דפים מכתובת ה-IP של השרת עצמו או נעצרת בשגיאת tunnel, סעיף ה-Selenium ב-פרוקסי לא עובד מפרט את הסיבות הנפוצות לפי הסדר.

צעד אחר צעד

  1. 1

    התקנת selenium-wire

    בסביבה הווירטואלית שלכם, הריצו pip install selenium-wire.

  2. 2

    הגדרת פרטי הפרוקסי

    הגדירו את sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} מתוך פרטי ההזמנה שלכם ב-ProxyV4.

  3. 3

    הפעלת Chrome עם ההגדרות הללו

    צרו את ה-driver באמצעות driver = webdriver.Chrome(seleniumwire_options=sw_options), תוך ייבוא webdriver מתוך seleniumwire.

  4. 4

    בדיקת כתובת ה-IP היוצאת

    בצעו קריאה ל-driver.get('https://proxyv4.com/api/my-ip') וודאו שהדף מציג את כתובת הפרוקסי שלכם.

שאלות נפוצות

מדוע יש התעלמות מ---proxy-server=http://user:pass@ip:port בתוך ChromeOptions?

Chrome מסיר פרטי גישה מתוך הערך של --proxy-server כחלק מתכנון הדפדפן. ספקו אותם באמצעות selenium-wire, תוסף עם onAuthRequired, או עברו אל Playwright, שתומך בקבלת שם משתמש וסיסמה באופן מובנה.

האם selenium-wire יכול להחליף פרוקסי מבלי להפעיל מחדש את הדפדפן?

כן. מגדירים מילון חדש, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, וכל הבקשות הבאות ייעשו דרך הפרוקסי החדש.

האם תוסף האימות פועל ב-Chrome במצב headless?

כן, בשימוש עם --headless=new. מצב ה---headless הישן לא טען תוספים באותו האופן.

Selenium נתקל בשגיאת פסק זמן בכל דף דרך הפרוקסי. מה לעשות עכשיו?

טענו את כתובת בדיקת ה-IP באמצעות curl עם אותם פרטי גישה. אם גם curl נכשל, התקלה היא בקו או בפורט; ה-מדריך לשגיאות פסק זמן בפרוקסי מפרט בדיוק מה כדאי לבדוק.

מקורות

כתובות IP יציבות להפעלות Selenium

IPv4 פרטי ב-7 מדינות ו-ISP סטטי בארה"ב ובווייטנאם, עם שם משתמש וסיסמה, ללא הגבלת תעבורה ולקוח יחיד לכל כתובת IP.

בדיקת מחירים עדכניים בארה"ב

Related articles

פרוקסי לפי פלטפורמה
פרוקסי ל-Web Scraping: מאגר IP קבוע עם תעבורה ללא הגבלה
פרוקסי ל-Web Scraping עבור Python, Scrapy, Playwright ו-Selenium: מאגר כתובות IPv4 פרטיות וכתובות ISP סטטיות, רוחב פס ללא הגבלה ותמחור קבוע לפי IP.
הגדרת פרוקסי
אימות פרוקסי ב-Playwright, כתובת IP סטטית אחת לכל קונטקסט
הגדירו לכל קונטקסט דפדפן ב-Playwright פרוקסי HTTP(S) מאומת משלו ב-Node.js או ב-Python, התאימו את אזור הזמן והשפה (locale) ל-IP ואמתו את כתובת היציאה.
הגדרת פרוקסי
בקשות Python דרך פרוקסי מאומת, צעד אחר צעד
שליחת בקשות ב-Python דרך פרוקסי HTTP(S) מאומת: בנו את מילון ה-proxies, חברו אותו ל-Session, קודדו סיסמאות חריגות, החליפו כתובות מרשימה ובדקו את ה-IP.
הגדרת פרוקסי
Puppeteer עם פרוקסי מאומת: דגל הפעלה לצד התחברות
אימות פרוקסי ב-Puppeteer, דוגמה עובדת תחילה: --proxy-server עבור הכתובת, page.authenticate() להתחברות, ובהמשך הגדרות SOCKS5, קונטקסטים ופתרון תקלות נפוצות.
פרוקסי לפי פלטפורמה
פרוקסי למעקב דירוגי SEO: לצפות בדף התוצאות שרואה גולש מקומי
פרוקסי למעקב דירוגי SEO עם כתובת IPv4 פרטית בארה"ב, בריטניה, וייטנאם, יפן ו-4 שווקים נוספים, כדי שהדירוגים, חבילות המפות והמודעות ישקפו את מה שרואים המקומיים.
פרוקסי לפי פלטפורמה
פרוקסי למוכרי אמזון המעניק לכל חשבון כתובת קבועה
פרוקסי למוכרי אמזון עבור Seller Central, KDP ו-Merch: כתובת ISP סטטית בארה"ב או IPv4 פרטית בבריטניה/יפן לכל חשבון, מושכרת רק לך ונשמרת בכל חידוש.
IPV4 · united states
מאגר פרוקסי IPv4 פרטי בארה"ב לגירוד נתונים, מעקב דירוגים ובדיקת מודעות
קנו פרוקסי IPv4 פרטי לארה״ב: כתובות IP סטטיות מחוות שרתים, לקוח יחיד לכל כתובת ותעבורה ללא הגבלה. מותאם לגירוד נתונים, מעקב מיקומים ובדיקת מודעות בארה״ב.
ISP · united states
פרוקסי ISP סטטי בארה"ב: כתובת IP ביתית שלעולם אינה משתנה
פרוקסי ISP סטטי לארה"ב עם כתובות IP הרשומות אצל ספקי אינטרנט ביתיים. כתובת IP אמריקאית קבועה אחת לכל חשבון עבור מוכרי Amazon, חשבונות מודעות ו-Instagram.