ProxyV4

פרוקסי ל-Web Scraping: מאגר IP קבוע עם תעבורה ללא הגבלה

Updated:

פרוקסי ל-Web Scraping בחיוב לפי ג'יגה-בייט מייקר את הסורק בכל פעם שדף נהיה כבד יותר. לכן, סורקים קבועים ומתוזמנים חסכוניים יותר עם מאגר כתובות קבוע ותעבורה ללא הגבלה. ProxyV4 מוכרת IPv4 פרטי בשבע מדינות ו-ISP סטטי בארה"ב ובווייטנאם, כולם מתומחרים לפי IP ללא הגבלת תעבורה. אתם קובעים את גודל המאגר לפי כמות הבקשות בשנייה שהיעדים מאפשרים, והחשבון נשאר זהה ללא תלות במשקל הדפים.

IPv4 פרטי (datacenter)
🇺🇸 ארצות הברית
במלאי
החל מ-
‏1.10 ‏$ / IP / חודש
הנחות כמות
  • 1 IP‏1.85 ‏$
  • 3+ כתובות IP‏1.70 ‏$
  • 10+ כתובות IP‏1.60 ‏$
  • 25+ כתובות IP‏1.50 ‏$
  • 50+ כתובות IP‏1.40 ‏$
  • 100+ כתובות IP‏1.30 ‏$
  • 200+ כתובות IP‏1.20 ‏$
  • 500+ כתובות IP‏1.10 ‏$
קנה ארצות הברית
IPv4 פרטי (datacenter)
🇻🇳 וייטנאם
במלאי
החל מ-
‏1.10 ‏$ / IP / חודש
הנחות כמות
  • 1 IP‏1.85 ‏$
  • 3+ כתובות IP‏1.70 ‏$
  • 10+ כתובות IP‏1.60 ‏$
  • 25+ כתובות IP‏1.50 ‏$
  • 50+ כתובות IP‏1.40 ‏$
  • 100+ כתובות IP‏1.30 ‏$
  • 200+ כתובות IP‏1.20 ‏$
  • 500+ כתובות IP‏1.10 ‏$
קנה וייטנאם

תמחור לפי IP לעומת תמחור לפי GB עבור סורק

שאלהמאגר סטטי (לפי IP)תעבורה מדודה (לפי GB)
מה קובע את העלותמספר ה-IP ותקופת ההשכרהבייטים שהורדו, כולל HTML, JS ונכסים (assets)
מה קורה כשהדפים נהיים כבדים יותרשום דבר; רוחב הפס אינו מוגבלהחשבון גדל בהתאם
מה מגביל את התפוקהמגבלת הבקשות (rate limit) לכל IP ביעדהתקציב
איך להתרחבמוסיפים כתובות IP; המחיר ל-IP יורד ככל שהכמות גדלהקונים עוד תעבורה

למה סורקים נחסמים, ומה מאגר כתובות משנה

בסריקת קטלוגים, מודעות ו-API ציבוריים, רוב החסימות לא קשורות לזהותכם אלא לקצב השליחה: כתובת אחת שחורגת ממגבלת הבקשות של האתר תקבל שגיאת HTTP 429. מאגר של 10 עד 100 כתובות IP סטטיות, כאשר כל אחת שומרת על קצב בקשות מתון, משאיר כל כתובת מתחת לרף החסימה בזמן שהסורק כולו רץ במהירות הדרושה לכם.

גם שימוש ייעודי (Single tenancy) עוזר כאן. כל כתובת IP ב-ProxyV4 שייכת ללקוח יחיד לאורך כל תקופת ההשכרה, כך שהיסטוריית הבקשות שאתר היעד מזהה בכתובת זו היא שלכם בלבד.

התאמת המאגר ליעד הסריקה

  • קטלוגים ציבוריים וממשקי API בעומס גבוה: IPv4 פרטי בארצות הברית או בסינגפור, העלות הנמוכה ביותר ל-IP
  • אתרי מסחר אלקטרוני ופורטלים מקומיים בווייטנאם: IPv4 וייטנאם לגישה לדפים מקומיים ומחירים מקומיים
  • יעדים שמסננים טווחי ASN של חוות שרתים מאחורי WAF: כתובות ISP סטטי בארצות הברית או בווייטנאם, הרשומות אצל ספקי אינטרנט ביתיים, מה שבדרך כלל מפחית אתגרי Cloudflare
  • יעדים הדורשים IP חדש בכל בקשה: פרוקסי מסתובב בווייטנאם עדיין אינו זמין לרכישה; רשימת ההמתנה זמינה בדף פרוקסי מסתובב וייטנאם

הגדרות סורק שישמרו על מאגר סטטי לאורך זמן

כל שורה משתמשת בפרטי התחברות סטנדרטיים, כך שב-Python הפרוקסי מוגדר פשוט כ-proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.

  • חלקו את הבקשות בשיטת Round-Robin על פני הרשימה והוסיפו השהיה אקראית (jitter), בערך 2 עד 5 שניות לכל IP לכל דומיין יעד
  • השתמשו שוב בחיבורים קיימים באמצעות requests.Session() או קליינט עם pool מובנה, כדי לא לבצע לחיצת יד של TLS בכל בקשה מחדש
  • ב-Playwright וב-Puppeteer, חסמו תמונות, גופנים ומדיה שאינכם מפענחים
  • כאשר כתובת IP מקבלת שגיאת HTTP 429 או 503, הוציאו אותה מסבב הבקשות לתקופת צינון (cooldown) והמתינו במקום לנסות שוב מיד

צעד אחר צעד

  1. 1

    רכישת מאגר מותאם ליעדים שלכם

    בחרו כמות לפי מדינה, לדוגמה IPv4 של ארה"ב, יפן או בריטניה. הנחות כמות חלות אוטומטית ככל שהכמות גדלה.

  2. 2

    המרת הרשימה לכתובות URL

    הדביקו את שורות ה-ip:port:user:pass לתוך ממיר פורמט פרוקסי כדי לקבל מחרוזות http://user:pass@ip:port או JSON.

  3. 3

    חיבור המאגר לפריימוורק שלכם

    היעזרו בדפי ההגדרה עבור Python Requests, Scrapy, Selenium או Node.js Axios.

  4. 4

    בדיקת ביצועים לפני ההרצה המלאה

    בדקו זמני תגובה באמצעות בדיקת מהירות פרוקסי והסירו כל כתובת שאיטית מול היעד שלכם.

שאלות נפוצות

האם תעבורת הסריקה בפרוקסי של ProxyV4 מוגבלת או נמדדת?

לא. כתובות IPv4 פרטיות ו-ISP סטטי מתומחרות לפי IP לתקופת ההשכרה עם רוחב פס ללא הגבלה.

כמה דפים ביום יכולה כתובת IP סטטית אחת לשלוף?

הדבר תלוי במגבלת הקצב של היעד. בקצב של 1 עד 3 בקשות לדקה לכל דומיין, כתובת IP אחת שולפת בערך 1,500 עד 4,000 דפים ביום מבלי לעורר חשד.

האם אתם מוכרים פרוקסי מסתובב ל-scraping?

עדיין לא. פרוקסי מסתובב בווייטנאם זמין ברשימת המתנה בלבד. כרגע, מאגר סטטי עם חלוקת Round-Robin עושה את אותה עבודה עבור רוב הסריקות המתוזמנות.

איך להמיר 50 כתובות פרוקסי לפורמט של Scrapy במהירות?

הדביקו אותן בממיר פורמט פרוקסי. הוא ממיר ישירות בדפדפן שורות של ip:port:user:pass למחרוזות URL או למערך JSON.

בנו מאגר לסריקה בעלות חודשית קבועה

כתובות IPv4 פרטיות בשבע מדינות ו-ISP סטטי בארה"ב ובווייטנאם, מתומחרות לפי IP עם תעבורה ללא הגבלה.

בדיקת מחירי IPv4 עדכניים בארה"ב

Related articles

תרחישי שימוש
תכנון סקרייפר סביב מאגר כתובות IP ייעודיות
מדריך תכנון לצוותי דאטה: קביעת גודל מאגר של כתובות IP סטטיות פרטיות, ניהול סבב הכתובות בקוד שלכם, בחירה בין IPv4, ISP או IPv6, ואיסוף נתונים בצורה אחראית.
הגדרת פרוקסי
בקשות Python דרך פרוקסי מאומת, צעד אחר צעד
שליחת בקשות ב-Python דרך פרוקסי HTTP(S) מאומת: בנו את מילון ה-proxies, חברו אותו ל-Session, קודדו סיסמאות חריגות, החליפו כתובות מרשימה ובדקו את ה-IP.
הגדרת פרוקסי
אימות פרוקסי ב-Playwright, כתובת IP סטטית אחת לכל קונטקסט
הגדירו לכל קונטקסט דפדפן ב-Playwright פרוקסי HTTP(S) מאומת משלו ב-Node.js או ב-Python, התאימו את אזור הזמן והשפה (locale) ל-IP ואמתו את כתובת היציאה.
הגדרת פרוקסי
פרוקסי ב-Scrapy: meta['proxy'], סדר ה-middleware ורוטציה
שימוש בפרוקסי HTTP(S) מאומת ב-Scrapy: הגדירו request.meta['proxy'], מקמו את ה-middleware לפני HttpProxyMiddleware (750), בצעו רוטציית IP ושלטו בקצב הסריקה.
IPV4 · united states
מאגר פרוקסי IPv4 פרטי בארה"ב לגירוד נתונים, מעקב דירוגים ובדיקת מודעות
קנו פרוקסי IPv4 פרטי לארה״ב: כתובות IP סטטיות מחוות שרתים, לקוח יחיד לכל כתובת ותעבורה ללא הגבלה. מותאם לגירוד נתונים, מעקב מיקומים ובדיקת מודעות בארה״ב.
IPV4 · vietnam
פרוקסי IPv4 פרטי בווייטנאם: כתובת IP קבועה אחת לכל חשבון בהיקף גדול
פרוקסי IPv4 פרטי לווייטנאם: כתובות IP סטטיות ממרכזי נתונים, לקוח יחיד לכל כתובת ומחיר מותאם לכמויות. מתאים לפרופילי סידינג, חנויות Shopee משניות וכלים.
ISP · united states
פרוקסי ISP סטטי בארה"ב: כתובת IP ביתית שלעולם אינה משתנה
פרוקסי ISP סטטי לארה"ב עם כתובות IP הרשומות אצל ספקי אינטרנט ביתיים. כתובת IP אמריקאית קבועה אחת לכל חשבון עבור מוכרי Amazon, חשבונות מודעות ו-Instagram.
הגדרת פרוקסי
Selenium WebDriver ופרוקסי עם אימות: מה באמת עובד
אימות פרוקסי ב-Selenium עבור ChromeDriver: למה --proxy-server מתעלם מ-user:pass, איך selenium-wire או תוסף onAuthRequired פותרים זאת, וכיצד מאמתים את ה-IP.