פרוקסי ב-Scrapy: meta['proxy'], סדר ה-middleware ורוטציה
מאת צוות ההנדסה של ProxyV4 · Updated:
ב-Scrapy, מגדירים פרוקסי לכל בקשה באמצעות request.meta['proxy'] = 'http://user:pass@ip:port', וה-HttpProxyMiddleware המובנה (סדר 750) ממיר את חלק ה-user:pass לכותרת Proxy-Authorization. הוסיפו downloader middleware קטן שרץ לפניו, ב-740, וכל בקשה שה-spider שלכם מפיק תוכל לבחור כתובת IP ממאגר ProxyV4 שלכם.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1.85 $
- 3+ כתובות IP1.70 $
- 10+ כתובות IP1.60 $
- 25+ כתובות IP1.50 $
- 50+ כתובות IP1.40 $
- 100+ כתובות IP1.30 $
- 200+ כתובות IP1.20 $
- 500+ כתובות IP1.10 $
- 1 IP1.85 $
- 3+ כתובות IP1.70 $
- 10+ כתובות IP1.60 $
- 25+ כתובות IP1.50 $
- 50+ כתובות IP1.40 $
- 100+ כתובות IP1.30 $
- 200+ כתובות IP1.20 $
- 500+ כתובות IP1.10 $
מדוע מספר ה-middleware חשוב
רכיבי Downloader middleware פועלים בסדר עולה בדרכם החוצה. HttpProxyMiddleware בעדיפות 750 קורא את meta['proxy'], מסיר את פרטי ההתחברות מכתובת ה-URL וכותב את כותרת האימות. אם ה-middleware שלכם מגדיר את הפרוקסי לאחר מכן, למשל ב-800, הרכיב המובנה כבר רץ, פרטי ההתחברות לעולם לא יומרו, והפרוקסי יחזיר שגיאת 407. רישום הרכיב שלכם ב-740 מציב אותו ראשון.
| הגדרה | ערך מומלץ | השפעה |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | שולח את הבקשה דרך פרוקסי ProxyV4 שצוין |
| סדר ה-middleware שלכם | 740 | רץ לפני HttpProxyMiddleware (750), כך שפרטי ההתחברות מקודדים |
CONCURRENT_REQUESTS_PER_IP | 2 עד 4 | מגביל בקשות מקבילות לכל כתובת IP של היעד, מגבלה מנומסת על העומס המופעל על כל שרת |
AUTOTHROTTLE_ENABLED | True | מאפשר ל-Scrapy להאריך או לקצר את ההשהיות בהתאם למהירות התגובה של היעד |
מבנה כללי של middleware לרוטציה
- קריאת רשימת הפרוקסי מתוך ההגדרות ב-
from_crawler()ושמירתה על מופע ה-middleware - ב-
process_request(), הקצאתrequest.meta['proxy'] = random.choice(self.proxies)אלא אם הבקשה כבר כוללת פרוקסי - כאשר מתקבלת תגובה עם קוד
429או503, ביצוע ניסיון חוזר עם פרוקסי אחר מהמאגר במקום זה שסירב לבקשה - שילוב של
DOWNLOAD_DELAY = 1.0עםRANDOMIZE_DOWNLOAD_DELAY = Trueכדי שהמרווח בין בקשות ישתנה ולא יתקתק כמו מטרונום
התאמת גודל המאגר
סריקה ב-Scrapy יכולה להוציא בקשות רבות לדקה, ולכן מספר כתובות ה-IP קובע את מידת העדינות שבה נעשה שימוש בכל כתובת. ב-ProxyV4 אין מינימום הזמנה והמחיר לכל IP יורד ככל שהכמות גדלה, ותעבורת ה-IPv4 הפרטית אינה מוגבלת, כך שסריקה גדולה עולה בדיוק כמו סריקה קטנה מבחינת רוחב פס. כל כתובת IP משמשת לקוח אחד בלבד, כך שהמוניטין שלה משקף את הסריקה שלכם בלבד ולא של אף אחד אחר. לתכנון היקף הסריקה והתנהגות מנומסת של הבוט, עיינו ב-מדריך ל-web scraping.
צעד אחר צעד
- 1
הכנת כתובות ה-URL של הפרוקסי
המיר את שורות ה-
ip:port:user:passשל ProxyV4 ל-http://user:pass@ip:portבעזרת ממיר פורמט הפרוקסי ושמרו אותן בהגדרות או בקובץ. - 2
כתיבת ProxyPoolMiddleware
ב-
middlewares.py, ממשו אתprocess_request(self, request, spider)כך שיגדירrequest.meta['proxy'] = random.choice(self.proxies). - 3
רישום הרכיב לפני המובנה
ב-
settings.py, הוסיפו את'myproject.middlewares.ProxyPoolMiddleware': 740ל-DOWNLOADER_MIDDLEWARESוהגדירוCONCURRENT_REQUESTS_PER_IP = 2. - 4
אימות הרוטציה
שלפו את
https://proxyv4.com/api/my-ipמספר פעמים באמצעותscrapy shellאו spider בדיקה קצר, וודאו שכתובת ה-IP המדווחת משתנה בין הכתובות במאגר שלכם.
שאלות נפוצות
ה-proxy middleware שלי בעדיפות 800 מקבל שגיאות 407. מדוע?
בעדיפות 800 הוא רץ אחרי HttpProxyMiddleware (750), ולכן ה-user:pass בכתובת ה-URL של הפרוקסי שלכם אינו מומר לכותרת Proxy-Authorization. העבירו את ה-middleware שלכם לעדיפות נמוכה מ-750, למשל 740.
האם אפשר להגדיר פרוקסי לבקשה אחת בלבד?
כן. העבירו meta={'proxy': 'http://user:pass@ip:port'} בעת יצירת ה-Request; ה-middleware המובנה יטפל באימות עבור בקשה זו בלבד.
האם סריקה של מיליוני דפים תגיע למגבלת רוחב פס?
לא בפרוקסי IPv4 פרטי או פרוקסי ISP סטטי של ProxyV4; בשניהם רוחב הפס אינו מוגבל. המגבלה המעשית היא הקצב שבו היעד מאפשר לכם לסרוק.
מקורות
כתובות IP סטטיות ללא הגבלת תעבורה לסריקות Scrapy
IPv4 פרטי ב-7 מדינות לצד ISP סטטי בארה"ב ובווייטנאם, החל מ-IP בודד ועד למאגר רחב, עם תמחור כמות בזמן אמת.
בדיקת מחירים בזמן אמת בארה"ב