פרוקסי ל-Web Scraping: מאגר IP קבוע עם תעבורה ללא הגבלה
Updated:
פרוקסי ל-Web Scraping בחיוב לפי ג'יגה-בייט מייקר את הסורק בכל פעם שדף נהיה כבד יותר. לכן, סורקים קבועים ומתוזמנים חסכוניים יותר עם מאגר כתובות קבוע ותעבורה ללא הגבלה. ProxyV4 מוכרת IPv4 פרטי בשבע מדינות ו-ISP סטטי בארה"ב ובווייטנאם, כולם מתומחרים לפי IP ללא הגבלת תעבורה. אתם קובעים את גודל המאגר לפי כמות הבקשות בשנייה שהיעדים מאפשרים, והחשבון נשאר זהה ללא תלות במשקל הדפים.
- 1 IP1.85 $
- 3+ כתובות IP1.70 $
- 10+ כתובות IP1.60 $
- 25+ כתובות IP1.50 $
- 50+ כתובות IP1.40 $
- 100+ כתובות IP1.30 $
- 200+ כתובות IP1.20 $
- 500+ כתובות IP1.10 $
- 1 IP1.85 $
- 3+ כתובות IP1.70 $
- 10+ כתובות IP1.60 $
- 25+ כתובות IP1.50 $
- 50+ כתובות IP1.40 $
- 100+ כתובות IP1.30 $
- 200+ כתובות IP1.20 $
- 500+ כתובות IP1.10 $
תמחור לפי IP לעומת תמחור לפי GB עבור סורק
| שאלה | מאגר סטטי (לפי IP) | תעבורה מדודה (לפי GB) |
|---|---|---|
| מה קובע את העלות | מספר ה-IP ותקופת ההשכרה | בייטים שהורדו, כולל HTML, JS ונכסים (assets) |
| מה קורה כשהדפים נהיים כבדים יותר | שום דבר; רוחב הפס אינו מוגבל | החשבון גדל בהתאם |
| מה מגביל את התפוקה | מגבלת הבקשות (rate limit) לכל IP ביעד | התקציב |
| איך להתרחב | מוסיפים כתובות IP; המחיר ל-IP יורד ככל שהכמות גדלה | קונים עוד תעבורה |
למה סורקים נחסמים, ומה מאגר כתובות משנה
בסריקת קטלוגים, מודעות ו-API ציבוריים, רוב החסימות לא קשורות לזהותכם אלא לקצב השליחה: כתובת אחת שחורגת ממגבלת הבקשות של האתר תקבל שגיאת HTTP 429. מאגר של 10 עד 100 כתובות IP סטטיות, כאשר כל אחת שומרת על קצב בקשות מתון, משאיר כל כתובת מתחת לרף החסימה בזמן שהסורק כולו רץ במהירות הדרושה לכם.
גם שימוש ייעודי (Single tenancy) עוזר כאן. כל כתובת IP ב-ProxyV4 שייכת ללקוח יחיד לאורך כל תקופת ההשכרה, כך שהיסטוריית הבקשות שאתר היעד מזהה בכתובת זו היא שלכם בלבד.
התאמת המאגר ליעד הסריקה
- קטלוגים ציבוריים וממשקי API בעומס גבוה: IPv4 פרטי בארצות הברית או בסינגפור, העלות הנמוכה ביותר ל-IP
- אתרי מסחר אלקטרוני ופורטלים מקומיים בווייטנאם: IPv4 וייטנאם לגישה לדפים מקומיים ומחירים מקומיים
- יעדים שמסננים טווחי ASN של חוות שרתים מאחורי WAF: כתובות ISP סטטי בארצות הברית או בווייטנאם, הרשומות אצל ספקי אינטרנט ביתיים, מה שבדרך כלל מפחית אתגרי Cloudflare
- יעדים הדורשים IP חדש בכל בקשה: פרוקסי מסתובב בווייטנאם עדיין אינו זמין לרכישה; רשימת ההמתנה זמינה בדף פרוקסי מסתובב וייטנאם
הגדרות סורק שישמרו על מאגר סטטי לאורך זמן
כל שורה משתמשת בפרטי התחברות סטנדרטיים, כך שב-Python הפרוקסי מוגדר פשוט כ-proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- חלקו את הבקשות בשיטת Round-Robin על פני הרשימה והוסיפו השהיה אקראית (jitter), בערך 2 עד 5 שניות לכל IP לכל דומיין יעד
- השתמשו שוב בחיבורים קיימים באמצעות
requests.Session()או קליינט עם pool מובנה, כדי לא לבצע לחיצת יד של TLS בכל בקשה מחדש - ב-Playwright וב-Puppeteer, חסמו תמונות, גופנים ומדיה שאינכם מפענחים
- כאשר כתובת IP מקבלת שגיאת HTTP 429 או 503, הוציאו אותה מסבב הבקשות לתקופת צינון (cooldown) והמתינו במקום לנסות שוב מיד
צעד אחר צעד
- 1
- 2
המרת הרשימה לכתובות URL
הדביקו את שורות ה-
ip:port:user:passלתוך ממיר פורמט פרוקסי כדי לקבל מחרוזותhttp://user:pass@ip:portאו JSON. - 3
חיבור המאגר לפריימוורק שלכם
היעזרו בדפי ההגדרה עבור Python Requests, Scrapy, Selenium או Node.js Axios.
- 4
בדיקת ביצועים לפני ההרצה המלאה
בדקו זמני תגובה באמצעות בדיקת מהירות פרוקסי והסירו כל כתובת שאיטית מול היעד שלכם.
שאלות נפוצות
האם תעבורת הסריקה בפרוקסי של ProxyV4 מוגבלת או נמדדת?
לא. כתובות IPv4 פרטיות ו-ISP סטטי מתומחרות לפי IP לתקופת ההשכרה עם רוחב פס ללא הגבלה.
כמה דפים ביום יכולה כתובת IP סטטית אחת לשלוף?
הדבר תלוי במגבלת הקצב של היעד. בקצב של 1 עד 3 בקשות לדקה לכל דומיין, כתובת IP אחת שולפת בערך 1,500 עד 4,000 דפים ביום מבלי לעורר חשד.
האם אתם מוכרים פרוקסי מסתובב ל-scraping?
עדיין לא. פרוקסי מסתובב בווייטנאם זמין ברשימת המתנה בלבד. כרגע, מאגר סטטי עם חלוקת Round-Robin עושה את אותה עבודה עבור רוב הסריקות המתוזמנות.
איך להמיר 50 כתובות פרוקסי לפורמט של Scrapy במהירות?
הדביקו אותן בממיר פורמט פרוקסי. הוא ממיר ישירות בדפדפן שורות של ip:port:user:pass למחרוזות URL או למערך JSON.
בנו מאגר לסריקה בעלות חודשית קבועה
כתובות IPv4 פרטיות בשבע מדינות ו-ISP סטטי בארה"ב ובווייטנאם, מתומחרות לפי IP עם תעבורה ללא הגבלה.
בדיקת מחירי IPv4 עדכניים בארה"ב