ፕሮክሲዎች ለዌብ ስክራፒንግ፦ ያልተገደበ ትራፊክ ያላቸው ቋሚ የIPዎች ስብስብ
Updated:
በጊጋባይት የሚሰሉ የዌብ ስክራፒንግ ፕሮክሲዎች ገጹ በከበደ ቁጥር ክራውለሩን የበለጠ ውድ ያደርጉታል፤ ለዚህም ነው ቋሚና በጊዜ ሰሌዳ የሚሰሩ ክራውለሮች ባልተገደበ ትራፊክ በሚቀርብ ቋሚ የአድራሻዎች ስብስብ ላይ ርካሽ የሚሆኑት። ProxyV4 የግል IPv4 በሰባት አገራት እንዲሁም ቋሚ ISP በUS እና Vietnam ያቀርባል፣ እያንዳንዱም ያለ ምንም የትራፊክ ገደብ በIP ዋጋ ይሰላል። የስብስቡን መጠን ኢላማዎቹ በሚፈቅዱት በሰከንድ የጥያቄዎች ብዛት መሰረት ይወስናሉ፣ የገጾቹ መጠን የፈለገውን ያህል ቢሆንም ሂሳቡ አይለወጥም።
- 1 IPUS$1.85
- 3+ IPዎችUS$1.70
- 10+ IPዎችUS$1.60
- 25+ IPዎችUS$1.50
- 50+ IPዎችUS$1.40
- 100+ IPዎችUS$1.30
- 200+ IPዎችUS$1.20
- 500+ IPዎችUS$1.10
- 1 IPUS$1.85
- 3+ IPዎችUS$1.70
- 10+ IPዎችUS$1.60
- 25+ IPዎችUS$1.50
- 50+ IPዎችUS$1.40
- 100+ IPዎችUS$1.30
- 200+ IPዎችUS$1.20
- 500+ IPዎችUS$1.10
ለክራውለር የነጠላ-IP ክፍያ እና የነጠላ-GB ክፍያ ንጽጽር
| ጥያቄ | ቋሚ ስብስብ (በIP) | የሚለካ ትራፊክ (በGB) |
|---|---|---|
| ወጪውን የሚወስነው ምንድን ነው | የIPዎች ብዛት እና የኪራይ ጊዜ | የወረዱ ባይቶች፣ HTML፣ JS እና ፋይሎችን ጨምሮ |
| ገጾች ሲከብዱ ምን ይፈጠራል | ምንም፤ ባንድዊድዝ ያልተገደበ ነው | ሂሳቡ አብሯቸው ያድጋል |
| ፍጥነቱን (throughput) የሚገድበው ምንድን ነው | የእያንዳንዱ ኢላማ የነጠላ-IP የጥያቄ መጠን ገደብ | በጀት |
| እንዴት ማሳደግ ይቻላል | IPዎችን ይጨምሩ፤ የነጠላ IP ዋጋ ከብዛት ጋር ይቀንሳል | ተጨማሪ ትራፊክ መግዛት |
ስክራፐሮች ለምን ይታገዳሉ፣ እና የIPዎች ስብስብ ምን ይለውጣል
በካታሎግ፣ በዝርዝሮች እና በይፋዊ API ስክራፒንግ ላይ፣ አብዛኛዎቹ እገዳዎች ማንነትዎ ላይ ሳይሆን ምን ያህል በፍጥነት እንደሚጠይቁ ላይ የተመሰረቱ ናቸው፦ የአንድን ድረ-ገጽ የጥያቄ መጠን ያላለፈ አንድ አድራሻ HTTP 429 ያጋጥመዋል። ከ 10 እስከ 100 ቋሚ IPዎች ስብስብ፣ እያንዳንዳቸው በተመጣጠነ የጥያቄ ፍጥነት እንዲሰሩ ማድረግ፣ አጠቃላይ ክራውለሩ በሚፈልጉት ፍጥነት እየሰራ ሳለ እያንዳንዱን አድራሻ ከገደቡ በታች ያቆየዋል።
ነጠላ ተጠቃሚነት (single tenancy) እዚህም ይጠቅማል። እያንዳንዱ የProxyV4 IP በጠቅላላው የኪራይ ጊዜ ለአንድ ደንበኛ ብቻ የሚመደብ ነው፤ ስለዚህ ኢላማው በዚያ አድራሻ ላይ የሚያየው የጥያቄ ታሪክ የእርስዎ ብቻ ነው።
ስብስቡን ከኢላማው ጋር ማዛመድ
- ይፋዊ ካታሎጎች እና ከፍተኛ መጠን ያላቸው APIዎች፦ የግል IPv4 በUnited States ወይም በSingapore፣ ዝቅተኛው የነጠላ IP ዋጋ
- የቬትናም ኢ-ኮሜርስ እና የአገር ውስጥ ድረ-ገጾች፦ የሀገር ውስጥ ገጾችን እና የአገር ውስጥ ዋጋዎችን ለማግኘት Vietnam IPv4
- ከWAF ጀርባ የሆስቲንግ ASNዎችን የሚያጣሩ ኢላማዎች፦ ቋሚ ISP በUnited States ወይም በVietnam፣ በመደበኛ ተጠቃሚ ISPዎች ስም የተመዘገበ፣ ይህም አነስተኛ የCloudflare ፈተናዎች ማለት ነው
- በእያንዳንዱ ጥያቄ ላይ አዲስ IP የሚፈልጉ ኢላማዎች፦ ተለዋዋጭ (rotating) የቬትናም ፕሮክሲዎች ገና ለሽያጭ አልቀረቡም፤ የተለዋዋጭ ቬትናም ገጽ የጥበቃ ዝርዝሩን ይዟል
ቋሚ ስብስብ ለረጅም ጊዜ እንዲያገለግል የሚያደርጉ የክራውለር ቅንብሮች
እያንዳንዱ መስመር መደበኛ የመግቢያ መረጃዎችን ይጠቀማል፣ ስለዚህ በPython ውስጥ ፕሮክሲው በቀላሉ proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"} ነው።
- ጥያቄዎችን በዝርዝሩ ውስጥ በቅደም ተከተል (round-robin) ይመድቡ እና የዘፈቀደ የጊዜ ልዩነት (jitter) ይጨምሩ፣ ለእያንዳንዱ የኢላማ ዶሜይን በIP ከ 2 እስከ 5 ሰከንዶች ያህል
- በእያንዳንዱ ጥያቄ ላይ ለTLS handshake ተጨማሪ ወጪ እንዳያወጡ በ
requests.Session()ወይም በጋራ ደንበኛ (pooled client) ግንኙነቶችን መልሰው ይጠቀሙ - በPlaywright እና በPuppeteer ውስጥ፣ የማትተነትኗቸውን ምስሎች፣ ፎንቶች እና ሚዲያዎች ያግዱ
- አንድ IP HTTP 429 ወይም 503 ሲያጋጥመው፣ ወዲያውኑ እንደገና ከመሞከር ይልቅ ለማረፊያ ጊዜ ከስራው ያውጡት እና ፍጥነቱን ይቀንሱ
ደረጃ በደረጃ
- 1
- 2
ዝርዝሩን ወደ URLዎች ይቀይሩ
የ
http://user:pass@ip:portጽሁፎችን ወይም JSON ለማግኘት የip:port:user:passመስመሮቹን ወደ የፕሮክሲ ፎርማት መለወጫ ይለጥፉ። - 3
ስብስቡን ከእርስዎ ፍሬምወርክ ጋር ያገናኙ
የማዋቀሪያ ገጾቹን ለPython Requests፣ Scrapy፣ Selenium ወይም Node.js Axios ይጠቀሙ።
- 4
የመጀመሪያውን ሙሉ ስራ ከማስኬድዎ በፊት ይለኩ
የምላሽ ጊዜዎችን በየፕሮክሲ ፍጥነት መሞከሪያ ይፈትሹ እና ወደ ኢላማዎ ዝግ ያለ የሆነውን ማንኛውንም መስመር ያስወግዱ።
ተደጋግመው የሚጠየቁ ጥያቄዎች
በProxyV4 ፕሮክሲዎች ላይ የስክራፒንግ ትራፊክ ይለካል?
አይለካም። የግል IPv4 እና ቋሚ ISP ያልተገደበ ባንድዊድዝ ኖሯቸው ለኪራይ ጊዜው በIP ዋጋ የሚሰሉ ናቸው።
አንድ ቋሚ IP በቀን ስንት ገጾችን ማውጣት ይችላል?
እንደ ኢላማው የጥያቄ መጠን ገደብ ይወሰናል። ለአንድ ዶሜይን በደቂቃ ከ 1 እስከ 3 ጥያቄዎች ላይ፣ አንድ IP ጥርጣሬ ሳያሳድር በቀን በግምት ከ 1,500 እስከ 4,000 ገጾችን ያወጣል።
ለስክራፒንግ የሚሆኑ ተለዋዋጭ ፕሮክሲዎችን (rotating proxies) ትሸጣላችሁ?
እስካሁን የለም። ተለዋዋጭ የቬትናም ፕሮክሲዎች በጥበቃ ዝርዝር ብቻ ናቸው። ለአሁኑ፣ ጥያቄዎችን በቅደም ተከተል (round-robin) የሚያከፋፍል ቋሚ ስብስብ ለአብዛኞቹ የታቀዱ ክራውሎች ተመሳሳይ ስራ ይሰራል።
50 ፕሮክሲዎችን በፍጥነት ወደ Scrapy ፎርማት እንዴት መቀየር እችላለሁ?
ወደ የፕሮክሲ ፎርማት መለወጫ ይለጥፏቸው። በብሮውዘሩ ውስጥ የip:port:user:pass መስመሮችን ወደ URL ጽሁፎች ወይም የJSON አሬይ ይቀይራቸዋል።
ቋሚ ወርሃዊ ወጪ ያለው የስክራፒንግ ስብስብ ይገንቡ
የግል IPv4 በሰባት አገራት እንዲሁም ቋሚ ISP በUS እና Vietnam፣ ያልተገደበ ትራፊክ ኖሮት በIP ዋጋ የሚሰላ።
የUS IPv4 የቀጥታ ዋጋዎችን ይመልከቱ