ProxyV4

בקשות Python דרך פרוקסי מאומת, צעד אחר צעד

· Updated:

כדי להשתמש בפרוקסי ב-Python requests, העבירו מילון proxies שמפתחות ה-'http' וה-'https' שלו מצביעים שניהם על http://user:pass@ip:port. הגדירו את המילון הזה ב-requests.Session(), ואותו חיבור לפרוקסי יישמר לשימוש חוזר בכל קריאה – מה שמהיר בהרבה מפתיחת חיבור חדש לכל בקשה. בהמשך: המילון, ה-session, השגיאות הנפוצות שעלולות להופיע, ובדיקה בשורה אחת של כתובת ה-IP היוצאת של ProxyV4.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
IPv4 פרטי (datacenter)
🇺🇸 ארצות הברית
במלאי
החל מ-
‏1.10 ‏$ / IP / חודש
הנחות כמות
  • 1 IP‏1.85 ‏$
  • 3+ כתובות IP‏1.70 ‏$
  • 10+ כתובות IP‏1.60 ‏$
  • 25+ כתובות IP‏1.50 ‏$
  • 50+ כתובות IP‏1.40 ‏$
  • 100+ כתובות IP‏1.30 ‏$
  • 200+ כתובות IP‏1.20 ‏$
  • 500+ כתובות IP‏1.10 ‏$
קנה ארצות הברית
IPv4 פרטי (datacenter)
🇻🇳 וייטנאם
במלאי
החל מ-
‏1.10 ‏$ / IP / חודש
הנחות כמות
  • 1 IP‏1.85 ‏$
  • 3+ כתובות IP‏1.70 ‏$
  • 10+ כתובות IP‏1.60 ‏$
  • 25+ כתובות IP‏1.50 ‏$
  • 50+ כתובות IP‏1.40 ‏$
  • 100+ כתובות IP‏1.30 ‏$
  • 200+ כתובות IP‏1.20 ‏$
  • 500+ כתובות IP‏1.10 ‏$
קנה וייטנאם
פרוקסי לפי פלטפורמה:Web Scraping & CrawlingSEO & SERP TrackingAmazon

הסבר על מילון ה-proxies

הגדרהערךסיבה
מפתח 'http''http://user:pass@ip:port'משמש עבור כתובות http:// רגילות
מפתח 'https''http://user:pass@ip:port'עדיין כתובת פרוקסי מסוג http://: הספרייה urllib3 מבקשת מהפרוקסי מנהרת CONNECT ומפעילה TLS בתוכה
timeouttimeout=(5, 15)5 שניות לחיבור ו-15 שניות לקריאה, כדי שיעד שאינו מגיב לא יתקע את התהליך (thread)
רוטציהitertools.cycle(proxy_list)מחלק את כתובות ה-IP הסטטיות שלכם לפי תור

מדוע Session עדיף על קריאות requests.get() ישירות

כל קריאת requests.get() ברמה העליונה יוצרת מאגר חיבורים (connection pool) חדש, כך שחיבור ה-TCP לפרוקסי ולחיצת היד של TLS מול האתר מתבצעים שוב בכל פעם. אובייקט Session שומר על החיבורים האלה פעילים בין קריאות. עבור סקריפט שמושך מאות דפים דרך כתובת IP אחת, ההבדל הזה ניכר היטב בזמן הריצה הכולל.

הגדירו s.proxies.update(proxies) פעם אחת, וכל s.get() ו-s.post() יעברו דרך הפרוקסי. נקודה שחשוב להכיר: אם משתני הסביבה HTTP_PROXY או HTTPS_PROXY מוגדרים במערכת, requests עשוי לשלב אותם עם הגדרות ה-session; העבירו את הפרמטר proxies= בקריאה עצמה כאשר אתם צריכים לוודא בדיוק באיזה פרוקסי נעשה שימוש.

שגיאות וכיצד לפענח אותן

  • ProxyError עם 407 Proxy Authentication Required: הפרוקסי זמין, אך פרטי ההתחברות בכתובת ה-URL אינם תואמים להזמנה. עיינו ב-דף שגיאה 407
  • סיסמאות המכילות @, : או / משבשות את ה-URL; קודדו אותן תחילה באמצעות urllib.parse.quote(password, safe='')
  • שינוי כתובת הפרוקסי ל-https:// בדרך כלל משבש את החיבור; השאירו http:// עבור שני המפתחות, אלא אם יציאת הפרוקסי שלכם היא יציאת TLS ייעודית
  • ConnectTimeout מעיד על בעיה ב-IP או ביציאה (port), ולא בפרטי הגישה; בדקו זמינות באמצעות בודק הפורטים

אותו דפוס עבודה ב-httpx וב-aiohttp

מבנה ה-URL זהה גם כאן. ב-httpx, יוצרים httpx.Client(proxy='http://user:pass@ip:port'); ב-aiohttp, מעבירים proxy= אל session.get(url, proxy=...). עבור סריקות נרחבות יותר הכוללות תזמון וניסיונות חוזרים, בדרך כלל קל יותר להשתמש ב-Scrapy.

צעד אחר צעד

  1. 1

    הרכיבו את כתובת הפרוקסי

    המיר כל שורת ip:port:user:pass של ProxyV4 למבנה http://user:pass@ip:port, או המירו את הרשימה כולה באמצעות ממיר פורמט הפרוקסי.

  2. 2

    צרו את המילון

    הגדירו proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    חברו אותו ל-Session

    צרו אובייקט s = requests.Session() וקראו ל-s.proxies.update(proxies) כדי שהחיבורים יישמרו פעילים בין בקשות.

  4. 4

    הדפיסו את ה-IP היוצא

    הריצו print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); כתובת ה-IP בפלט צריכה להיות זו של הפרוקסי.

שאלות נפוצות

מדוע הערך של 'https' הוא כתובת URL מסוג http://?

הפרוטוקול ב-URL מתאר כיצד Python מתקשר עם הפרוקסי, ולא עם אתר האינטרנט. הספרייה urllib3 מתחברת לפרוקסי דרך HTTP רגיל, שולחת בקשת CONNECT, ולאחר מכן מבצעת TLS מול אתר ה-https:// בתוך אותה מנהרה, כך שתעבורת הדף נשארת מוצפנת.

כיצד לפזר בקשות בין 25 פרוקסי סטטיים?

הכניסו את 25 הכתובות לרשימה, צרו pool = itertools.cycle(PROXIES), ועבור כל בקשה קחו p = next(pool) והעבירו proxies={'http': p, 'https': p}. שמרו על השהיה סבירה בין בקשות לכל IP כדי לא להעמיס יתר על המידה על כתובת בודדת.

האם התעבורה מסקריפטים של Python מוגבלת או נמדדת?

לא. חבילות ה-IPv4 הפרטי וה-ISP הסטטי של ProxyV4 מגיעות עם רוחב פס ללא הגבלה, כך שסקריפטים שרצים לאורך זמן אינם מגיעים למגבלת נתונים.

מקורות

מאגר IP סטטי לסקריפטים של Python

כתובות IPv4 פרטיות ב-7 מדינות לצד ISP סטטי בארה"ב ובווייטנאם. רכשו IP בודד או חבילה; המחיר לכל IP יורד ככל שהכמות גדלה.

בדקו מחירים עדכניים בארה"ב

Related articles

פרוקסי לפי פלטפורמה
פרוקסי ל-Web Scraping: מאגר IP קבוע עם תעבורה ללא הגבלה
פרוקסי ל-Web Scraping עבור Python, Scrapy, Playwright ו-Selenium: מאגר כתובות IPv4 פרטיות וכתובות ISP סטטיות, רוחב פס ללא הגבלה ותמחור קבוע לפי IP.
הגדרת פרוקסי
אימות פרוקסי ב-Playwright, כתובת IP סטטית אחת לכל קונטקסט
הגדירו לכל קונטקסט דפדפן ב-Playwright פרוקסי HTTP(S) מאומת משלו ב-Node.js או ב-Python, התאימו את אזור הזמן והשפה (locale) ל-IP ואמתו את כתובת היציאה.
הגדרת פרוקסי
פרוקסי ב-Scrapy: meta['proxy'], סדר ה-middleware ורוטציה
שימוש בפרוקסי HTTP(S) מאומת ב-Scrapy: הגדירו request.meta['proxy'], מקמו את ה-middleware לפני HttpProxyMiddleware (750), בצעו רוטציית IP ושלטו בקצב הסריקה.
כלים חינמיים
המרת רשימת פרוקסי לפורמט שהכלי שלך דורש
המרה בכמות גדולה בדפדפן של רשימות פרוקסי בין ip:port:user:pass, user:pass@ip:port, כתובות http://, מזהי SOCKS5 URI, מערכי JSON וקובצי ייבוא של FoxyProxy.
פרוקסי לפי פלטפורמה
פרוקסי למעקב דירוגי SEO: לצפות בדף התוצאות שרואה גולש מקומי
פרוקסי למעקב דירוגי SEO עם כתובת IPv4 פרטית בארה"ב, בריטניה, וייטנאם, יפן ו-4 שווקים נוספים, כדי שהדירוגים, חבילות המפות והמודעות ישקפו את מה שרואים המקומיים.
פרוקסי לפי פלטפורמה
פרוקסי למוכרי אמזון המעניק לכל חשבון כתובת קבועה
פרוקסי למוכרי אמזון עבור Seller Central, KDP ו-Merch: כתובת ISP סטטית בארה"ב או IPv4 פרטית בבריטניה/יפן לכל חשבון, מושכרת רק לך ונשמרת בכל חידוש.
IPV4 · united states
מאגר פרוקסי IPv4 פרטי בארה"ב לגירוד נתונים, מעקב דירוגים ובדיקת מודעות
קנו פרוקסי IPv4 פרטי לארה״ב: כתובות IP סטטיות מחוות שרתים, לקוח יחיד לכל כתובת ותעבורה ללא הגבלה. מותאם לגירוד נתונים, מעקב מיקומים ובדיקת מודעות בארה״ב.
IPV4 · vietnam
פרוקסי IPv4 פרטי בווייטנאם: כתובת IP קבועה אחת לכל חשבון בהיקף גדול
פרוקסי IPv4 פרטי לווייטנאם: כתובות IP סטטיות ממרכזי נתונים, לקוח יחיד לכל כתובת ומחיר מותאם לכמויות. מתאים לפרופילי סידינג, חנויות Shopee משניות וכלים.