בקשות Python דרך פרוקסי מאומת, צעד אחר צעד
מאת צוות ההנדסה של ProxyV4 · Updated:
כדי להשתמש בפרוקסי ב-Python requests, העבירו מילון proxies שמפתחות ה-'http' וה-'https' שלו מצביעים שניהם על http://user:pass@ip:port. הגדירו את המילון הזה ב-requests.Session(), ואותו חיבור לפרוקסי יישמר לשימוש חוזר בכל קריאה – מה שמהיר בהרבה מפתיחת חיבור חדש לכל בקשה. בהמשך: המילון, ה-session, השגיאות הנפוצות שעלולות להופיע, ובדיקה בשורה אחת של כתובת ה-IP היוצאת של ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1.85 $
- 3+ כתובות IP1.70 $
- 10+ כתובות IP1.60 $
- 25+ כתובות IP1.50 $
- 50+ כתובות IP1.40 $
- 100+ כתובות IP1.30 $
- 200+ כתובות IP1.20 $
- 500+ כתובות IP1.10 $
- 1 IP1.85 $
- 3+ כתובות IP1.70 $
- 10+ כתובות IP1.60 $
- 25+ כתובות IP1.50 $
- 50+ כתובות IP1.40 $
- 100+ כתובות IP1.30 $
- 200+ כתובות IP1.20 $
- 500+ כתובות IP1.10 $
הסבר על מילון ה-proxies
| הגדרה | ערך | סיבה |
|---|---|---|
מפתח 'http' | 'http://user:pass@ip:port' | משמש עבור כתובות http:// רגילות |
מפתח 'https' | 'http://user:pass@ip:port' | עדיין כתובת פרוקסי מסוג http://: הספרייה urllib3 מבקשת מהפרוקסי מנהרת CONNECT ומפעילה TLS בתוכה |
timeout | timeout=(5, 15) | 5 שניות לחיבור ו-15 שניות לקריאה, כדי שיעד שאינו מגיב לא יתקע את התהליך (thread) |
| רוטציה | itertools.cycle(proxy_list) | מחלק את כתובות ה-IP הסטטיות שלכם לפי תור |
מדוע Session עדיף על קריאות requests.get() ישירות
כל קריאת requests.get() ברמה העליונה יוצרת מאגר חיבורים (connection pool) חדש, כך שחיבור ה-TCP לפרוקסי ולחיצת היד של TLS מול האתר מתבצעים שוב בכל פעם. אובייקט Session שומר על החיבורים האלה פעילים בין קריאות. עבור סקריפט שמושך מאות דפים דרך כתובת IP אחת, ההבדל הזה ניכר היטב בזמן הריצה הכולל.
הגדירו s.proxies.update(proxies) פעם אחת, וכל s.get() ו-s.post() יעברו דרך הפרוקסי. נקודה שחשוב להכיר: אם משתני הסביבה HTTP_PROXY או HTTPS_PROXY מוגדרים במערכת, requests עשוי לשלב אותם עם הגדרות ה-session; העבירו את הפרמטר proxies= בקריאה עצמה כאשר אתם צריכים לוודא בדיוק באיזה פרוקסי נעשה שימוש.
שגיאות וכיצד לפענח אותן
ProxyErrorעם407 Proxy Authentication Required: הפרוקסי זמין, אך פרטי ההתחברות בכתובת ה-URL אינם תואמים להזמנה. עיינו ב-דף שגיאה 407- סיסמאות המכילות
@,:או/משבשות את ה-URL; קודדו אותן תחילה באמצעותurllib.parse.quote(password, safe='') - שינוי כתובת הפרוקסי ל-
https://בדרך כלל משבש את החיבור; השאירוhttp://עבור שני המפתחות, אלא אם יציאת הפרוקסי שלכם היא יציאת TLS ייעודית ConnectTimeoutמעיד על בעיה ב-IP או ביציאה (port), ולא בפרטי הגישה; בדקו זמינות באמצעות בודק הפורטים
אותו דפוס עבודה ב-httpx וב-aiohttp
מבנה ה-URL זהה גם כאן. ב-httpx, יוצרים httpx.Client(proxy='http://user:pass@ip:port'); ב-aiohttp, מעבירים proxy= אל session.get(url, proxy=...). עבור סריקות נרחבות יותר הכוללות תזמון וניסיונות חוזרים, בדרך כלל קל יותר להשתמש ב-Scrapy.
צעד אחר צעד
- 1
הרכיבו את כתובת הפרוקסי
המיר כל שורת
ip:port:user:passשל ProxyV4 למבנהhttp://user:pass@ip:port, או המירו את הרשימה כולה באמצעות ממיר פורמט הפרוקסי. - 2
צרו את המילון
הגדירו
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
חברו אותו ל-Session
צרו אובייקט
s = requests.Session()וקראו ל-s.proxies.update(proxies)כדי שהחיבורים יישמרו פעילים בין בקשות. - 4
הדפיסו את ה-IP היוצא
הריצו
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); כתובת ה-IP בפלט צריכה להיות זו של הפרוקסי.
שאלות נפוצות
מדוע הערך של 'https' הוא כתובת URL מסוג http://?
הפרוטוקול ב-URL מתאר כיצד Python מתקשר עם הפרוקסי, ולא עם אתר האינטרנט. הספרייה urllib3 מתחברת לפרוקסי דרך HTTP רגיל, שולחת בקשת CONNECT, ולאחר מכן מבצעת TLS מול אתר ה-https:// בתוך אותה מנהרה, כך שתעבורת הדף נשארת מוצפנת.
כיצד לפזר בקשות בין 25 פרוקסי סטטיים?
הכניסו את 25 הכתובות לרשימה, צרו pool = itertools.cycle(PROXIES), ועבור כל בקשה קחו p = next(pool) והעבירו proxies={'http': p, 'https': p}. שמרו על השהיה סבירה בין בקשות לכל IP כדי לא להעמיס יתר על המידה על כתובת בודדת.
האם התעבורה מסקריפטים של Python מוגבלת או נמדדת?
לא. חבילות ה-IPv4 הפרטי וה-ISP הסטטי של ProxyV4 מגיעות עם רוחב פס ללא הגבלה, כך שסקריפטים שרצים לאורך זמן אינם מגיעים למגבלת נתונים.
מקורות
מאגר IP סטטי לסקריפטים של Python
כתובות IPv4 פרטיות ב-7 מדינות לצד ISP סטטי בארה"ב ובווייטנאם. רכשו IP בודד או חבילה; המחיר לכל IP יורד ככל שהכמות גדלה.
בדקו מחירים עדכניים בארה"ב