ProxyV4

פרוקסי ב-Scrapy: meta['proxy'], סדר ה-middleware ורוטציה

· Updated:

ב-Scrapy, מגדירים פרוקסי לכל בקשה באמצעות request.meta['proxy'] = 'http://user:pass@ip:port', וה-HttpProxyMiddleware המובנה (סדר 750) ממיר את חלק ה-user:pass לכותרת Proxy-Authorization. הוסיפו downloader middleware קטן שרץ לפניו, ב-740, וכל בקשה שה-spider שלכם מפיק תוכל לבחור כתובת IP ממאגר ProxyV4 שלכם.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
IPv4 פרטי (datacenter)
🇺🇸 ארצות הברית
במלאי
החל מ-
‏1.10 ‏$ / IP / חודש
הנחות כמות
  • 1 IP‏1.85 ‏$
  • 3+ כתובות IP‏1.70 ‏$
  • 10+ כתובות IP‏1.60 ‏$
  • 25+ כתובות IP‏1.50 ‏$
  • 50+ כתובות IP‏1.40 ‏$
  • 100+ כתובות IP‏1.30 ‏$
  • 200+ כתובות IP‏1.20 ‏$
  • 500+ כתובות IP‏1.10 ‏$
קנה ארצות הברית
IPv4 פרטי (datacenter)
🇬🇧 הממלכה המאוחדת
במלאי
החל מ-
‏1.10 ‏$ / IP / חודש
הנחות כמות
  • 1 IP‏1.85 ‏$
  • 3+ כתובות IP‏1.70 ‏$
  • 10+ כתובות IP‏1.60 ‏$
  • 25+ כתובות IP‏1.50 ‏$
  • 50+ כתובות IP‏1.40 ‏$
  • 100+ כתובות IP‏1.30 ‏$
  • 200+ כתובות IP‏1.20 ‏$
  • 500+ כתובות IP‏1.10 ‏$
קנה הממלכה המאוחדת
פרוקסי לפי פלטפורמה:Web Scraping & CrawlingSEO & SERP TrackingAmazon

מדוע מספר ה-middleware חשוב

רכיבי Downloader middleware פועלים בסדר עולה בדרכם החוצה. HttpProxyMiddleware בעדיפות 750 קורא את meta['proxy'], מסיר את פרטי ההתחברות מכתובת ה-URL וכותב את כותרת האימות. אם ה-middleware שלכם מגדיר את הפרוקסי לאחר מכן, למשל ב-800, הרכיב המובנה כבר רץ, פרטי ההתחברות לעולם לא יומרו, והפרוקסי יחזיר שגיאת 407. רישום הרכיב שלכם ב-740 מציב אותו ראשון.

הגדרהערך מומלץהשפעה
request.meta['proxy']'http://user:pass@ip:port'שולח את הבקשה דרך פרוקסי ProxyV4 שצוין
סדר ה-middleware שלכם740רץ לפני HttpProxyMiddleware (750), כך שפרטי ההתחברות מקודדים
CONCURRENT_REQUESTS_PER_IP2 עד 4מגביל בקשות מקבילות לכל כתובת IP של היעד, מגבלה מנומסת על העומס המופעל על כל שרת
AUTOTHROTTLE_ENABLEDTrueמאפשר ל-Scrapy להאריך או לקצר את ההשהיות בהתאם למהירות התגובה של היעד

מבנה כללי של middleware לרוטציה

  • קריאת רשימת הפרוקסי מתוך ההגדרות ב-from_crawler() ושמירתה על מופע ה-middleware
  • ב-process_request(), הקצאת request.meta['proxy'] = random.choice(self.proxies) אלא אם הבקשה כבר כוללת פרוקסי
  • כאשר מתקבלת תגובה עם קוד 429 או 503, ביצוע ניסיון חוזר עם פרוקסי אחר מהמאגר במקום זה שסירב לבקשה
  • שילוב של DOWNLOAD_DELAY = 1.0 עם RANDOMIZE_DOWNLOAD_DELAY = True כדי שהמרווח בין בקשות ישתנה ולא יתקתק כמו מטרונום

התאמת גודל המאגר

סריקה ב-Scrapy יכולה להוציא בקשות רבות לדקה, ולכן מספר כתובות ה-IP קובע את מידת העדינות שבה נעשה שימוש בכל כתובת. ב-ProxyV4 אין מינימום הזמנה והמחיר לכל IP יורד ככל שהכמות גדלה, ותעבורת ה-IPv4 הפרטית אינה מוגבלת, כך שסריקה גדולה עולה בדיוק כמו סריקה קטנה מבחינת רוחב פס. כל כתובת IP משמשת לקוח אחד בלבד, כך שהמוניטין שלה משקף את הסריקה שלכם בלבד ולא של אף אחד אחר. לתכנון היקף הסריקה והתנהגות מנומסת של הבוט, עיינו ב-מדריך ל-web scraping.

צעד אחר צעד

  1. 1

    הכנת כתובות ה-URL של הפרוקסי

    המיר את שורות ה-ip:port:user:pass של ProxyV4 ל-http://user:pass@ip:port בעזרת ממיר פורמט הפרוקסי ושמרו אותן בהגדרות או בקובץ.

  2. 2

    כתיבת ProxyPoolMiddleware

    ב-middlewares.py, ממשו את process_request(self, request, spider) כך שיגדיר request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    רישום הרכיב לפני המובנה

    ב-settings.py, הוסיפו את 'myproject.middlewares.ProxyPoolMiddleware': 740 ל-DOWNLOADER_MIDDLEWARES והגדירו CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    אימות הרוטציה

    שלפו את https://proxyv4.com/api/my-ip מספר פעמים באמצעות scrapy shell או spider בדיקה קצר, וודאו שכתובת ה-IP המדווחת משתנה בין הכתובות במאגר שלכם.

שאלות נפוצות

ה-proxy middleware שלי בעדיפות 800 מקבל שגיאות 407. מדוע?

בעדיפות 800 הוא רץ אחרי HttpProxyMiddleware (750), ולכן ה-user:pass בכתובת ה-URL של הפרוקסי שלכם אינו מומר לכותרת Proxy-Authorization. העבירו את ה-middleware שלכם לעדיפות נמוכה מ-750, למשל 740.

האם אפשר להגדיר פרוקסי לבקשה אחת בלבד?

כן. העבירו meta={'proxy': 'http://user:pass@ip:port'} בעת יצירת ה-Request; ה-middleware המובנה יטפל באימות עבור בקשה זו בלבד.

האם סריקה של מיליוני דפים תגיע למגבלת רוחב פס?

לא בפרוקסי IPv4 פרטי או פרוקסי ISP סטטי של ProxyV4; בשניהם רוחב הפס אינו מוגבל. המגבלה המעשית היא הקצב שבו היעד מאפשר לכם לסרוק.

מקורות

כתובות IP סטטיות ללא הגבלת תעבורה לסריקות Scrapy

IPv4 פרטי ב-7 מדינות לצד ISP סטטי בארה"ב ובווייטנאם, החל מ-IP בודד ועד למאגר רחב, עם תמחור כמות בזמן אמת.

בדיקת מחירים בזמן אמת בארה"ב

Related articles

פרוקסי לפי פלטפורמה
פרוקסי ל-Web Scraping: מאגר IP קבוע עם תעבורה ללא הגבלה
פרוקסי ל-Web Scraping עבור Python, Scrapy, Playwright ו-Selenium: מאגר כתובות IPv4 פרטיות וכתובות ISP סטטיות, רוחב פס ללא הגבלה ותמחור קבוע לפי IP.
הגדרת פרוקסי
בקשות Python דרך פרוקסי מאומת, צעד אחר צעד
שליחת בקשות ב-Python דרך פרוקסי HTTP(S) מאומת: בנו את מילון ה-proxies, חברו אותו ל-Session, קודדו סיסמאות חריגות, החליפו כתובות מרשימה ובדקו את ה-IP.
הגדרת פרוקסי
אימות פרוקסי ב-Playwright, כתובת IP סטטית אחת לכל קונטקסט
הגדירו לכל קונטקסט דפדפן ב-Playwright פרוקסי HTTP(S) מאומת משלו ב-Node.js או ב-Python, התאימו את אזור הזמן והשפה (locale) ל-IP ואמתו את כתובת היציאה.
כלים חינמיים
המרת רשימת פרוקסי לפורמט שהכלי שלך דורש
המרה בכמות גדולה בדפדפן של רשימות פרוקסי בין ip:port:user:pass, user:pass@ip:port, כתובות http://, מזהי SOCKS5 URI, מערכי JSON וקובצי ייבוא של FoxyProxy.
פרוקסי לפי פלטפורמה
פרוקסי למעקב דירוגי SEO: לצפות בדף התוצאות שרואה גולש מקומי
פרוקסי למעקב דירוגי SEO עם כתובת IPv4 פרטית בארה"ב, בריטניה, וייטנאם, יפן ו-4 שווקים נוספים, כדי שהדירוגים, חבילות המפות והמודעות ישקפו את מה שרואים המקומיים.
פרוקסי לפי פלטפורמה
פרוקסי למוכרי אמזון המעניק לכל חשבון כתובת קבועה
פרוקסי למוכרי אמזון עבור Seller Central, KDP ו-Merch: כתובת ISP סטטית בארה"ב או IPv4 פרטית בבריטניה/יפן לכל חשבון, מושכרת רק לך ונשמרת בכל חידוש.
IPV4 · united states
מאגר פרוקסי IPv4 פרטי בארה"ב לגירוד נתונים, מעקב דירוגים ובדיקת מודעות
קנו פרוקסי IPv4 פרטי לארה״ב: כתובות IP סטטיות מחוות שרתים, לקוח יחיד לכל כתובת ותעבורה ללא הגבלה. מותאם לגירוד נתונים, מעקב מיקומים ובדיקת מודעות בארה״ב.
IPV4 · united kingdom
פרוקסי IPv4 פרטי בבריטניה לזירות מסחר, חיפוש וקמפיינים
פרוקסי IPv4 פרטי בבריטניה עם כתובת IP סטטית מחוות שרתים ללקוח יחיד, למחקר ב-eBay UK וב-Amazon.co.uk, מעקב ב-google.co.uk ובדיקת מודעות בבריטניה.