የScrapy ፕሮክሲዎች፦ meta['proxy']፣ የሚድልዌር ቅደም ተከተል እና ማሽከርከር
በProxyV4 የምህንድስና ቡድን · Updated:
በScrapy ውስጥ ለእያንዳንዱ ጥያቄ ፕሮክሲ የሚዘጋጀው በrequest.meta['proxy'] = 'http://user:pass@ip:port' አማካኝነት ሲሆን አብሮ የተሰራው HttpProxyMiddleware (ቅደም ተከተል 750) የuser:pass ክፍልን ወደ Proxy-Authorization ሄደር ይቀይረዋል። ከእሱ በፊት በ740 ላይ የሚሰራ አነስተኛ ዳውንሎደር ሚድልዌር ያክሉ፣ እና ስፓይደርዎ የሚያመነጨው እያንዳንዱ ጥያቄ ከProxyV4 ፑልዎ አይፒ መምረጥ ይችላል።
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IPUS$1.85
- 3+ IPዎችUS$1.70
- 10+ IPዎችUS$1.60
- 25+ IPዎችUS$1.50
- 50+ IPዎችUS$1.40
- 100+ IPዎችUS$1.30
- 200+ IPዎችUS$1.20
- 500+ IPዎችUS$1.10
- 1 IPUS$1.85
- 3+ IPዎችUS$1.70
- 10+ IPዎችUS$1.60
- 25+ IPዎችUS$1.50
- 50+ IPዎችUS$1.40
- 100+ IPዎችUS$1.30
- 200+ IPዎችUS$1.20
- 500+ IPዎችUS$1.10
የሚድልዌር ቁጥር ለምን አስፈላጊ ሆነ
ዳውንሎደር ሚድልዌሮች ወደ ውጭ በሚወጡበት ጊዜ በቅደም ተከተል ከትንሽ ወደ ትልቅ ይሰራሉ። በ750 ላይ ያለው HttpProxyMiddleware meta['proxy']ን ያነባል፣ ምስክርነቶችን ከURL ላይ ያስወግዳል እንዲሁም የፍቃድ ሄደሩን ይጽፋል። የእርስዎ ሚድልዌር ፕሮክሲውን ከዚያ በኋላ የሚያዘጋጅ ከሆነ (ለምሳሌ በ800)፣ አብሮ የተሰራው አስቀድሞ ሰርቷል፣ ምስክርነቶቹ አይቀየሩም፣ እና ፕሮክሲው 407 ምላሽ ይሰጣል። የእርስዎን በ740 መመዝገብ መጀመሪያ እንዲቀመጥ ያደርገዋል።
| ማስተካከያ | የተጠቆመ ዋጋ | ውጤት |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | ያንን ጥያቄ በተሰጠው የProxyV4 ፕሮክሲ በኩል ይልካል |
| የእርስዎ ሚድልዌር ቅደም ተከተል | 740 | ከHttpProxyMiddleware (750) በፊት ይሰራል፣ ስለዚህ መግቢያው ኢንኮድ ይደረጋል |
CONCURRENT_REQUESTS_PER_IP | ከ2 እስከ 4 | ለእያንዳንዱ መዳረሻ አይፒ ትይዩ ጥያቄዎችን ይገድባል፣ እያንዳንዱ አገልጋይ ምን ያህል ጫና እንደሚደርስበት በትህትና የሚገድብ ነው |
AUTOTHROTTLE_ENABLED | True | ዒላማው ምላሽ በሚሰጥበት ፍጥነት ላይ በመመስረት Scrapy መዘግየቶችን እንዲያራዝም ወይም እንዲያሳጥር ያስችለዋል |
የማሽከርከሪያ ሚድልዌር አጠቃላይ እይታ
- የፕሮክሲ ዝርዝሩን ከቅንብሮች በ
from_crawler()ውስጥ ያንብቡ እና በሚድልዌር ምሳሌ ላይ ያቆዩት - ጥያቄው አስቀድሞ ፕሮክሲ ካልያዘ በስተቀር በ
process_request()ውስጥrequest.meta['proxy'] = random.choice(self.proxies)መድቡ - ምላሹ
429ወይም503ሆኖ ሲመለስ አሁን ውድቅ ከተደረገው ይልቅ ከፑሉ በተለየ ፕሮክሲ ደግመው ይሞክሩ - በጥያቄዎች መካከል ያለው ክፍተት ልክ እንደ ሜትሮኖም ቋሚ ከመሆን ይልቅ እንዲለያይ
DOWNLOAD_DELAY = 1.0ን ከRANDOMIZE_DOWNLOAD_DELAY = Trueጋር ያጣምሩ
የፑሉን መጠን መወሰን
የScrapy ፍለጋ በደቂቃ በርካታ ጥያቄዎችን ሊያስተላልፍ ይችላል፣ ስለዚህ የአይፒዎች ብዛት እያንዳንዳቸው በምን ያህል ገርነት ጥቅም ላይ እንደሚውሉ ይወስናል። በProxyV4 ምንም አነስተኛ የትዕዛዝ ገደብ የለም፣ የአይፒዎች ብዛት ሲጨምር የነጠላ ዋጋ ይቀንሳል፣ እንዲሁም የግል IPv4 ትራፊክ በዳታ መጠን አይለካም፤ ስለዚህ ትልቅ ፍለጋ በባንድዊድዝ ረገድ ከትንሽ ጋር ተመሳሳይ ዋጋ ያስከፍላል። እያንዳንዱ አይፒ በአንድ ደንበኛ ብቻ ጥቅም ላይ ይውላል፣ ስለዚህ ዝናው የእርስዎን ፍለጋ ብቻ የሚያንፀባርቅ እንጂ የሌላውን አይደለም። የፍለጋ መጠንን እና ስነ-ስርዓትን ለማቀድ የድር ስክራፒንግ መመሪያን ይመልከቱ።
ደረጃ በደረጃ
- 1
የፕሮክሲ URLs ያዘጋጁ
የProxyV4 የ
ip:port:user:passመስመሮችዎን በየፕሮክሲ ፎርማት መቀየሪያ አማካኝነት ወደhttp://user:pass@ip:portይቀይሩ እና በቅንብሮች ወይም በፋይል ውስጥ ያስቀምጧቸው። - 2
ProxyPoolMiddleware ይጻፉ
በ
middlewares.pyውስጥprocess_request(self, request, spider)ንrequest.meta['proxy'] = random.choice(self.proxies)በሚያዘጋጅ መልኩ ይተግብሩ። - 3
አብሮ ከተሰራው በፊት ይመዝግቡት
በ
settings.pyውስጥ'myproject.middlewares.ProxyPoolMiddleware': 740ን ወደDOWNLOADER_MIDDLEWARESያክሉ እናCONCURRENT_REQUESTS_PER_IP = 2ን ያዘጋጁ። - 4
ማሽከርከሩን ያረጋግጡ
https://proxyv4.com/api/my-ipን በscrapy shellወይም በአጭር የሙከራ ስፓይደር ጥቂት ጊዜ በመጥራት ሪፖርት የተደረገው አይፒ በፑልዎ ውስጥ መቀያየሩን ያረጋግጡ።
ተደጋግመው የሚጠየቁ ጥያቄዎች
በቅድሚያ ደረጃ 800 ላይ ያለው የፕሮክሲ ሚድልዌሬ የ407 ስህተቶች ያጋጥሙታል። ለምን?
በ800 ላይ ከHttpProxyMiddleware (750) በኋላ ይሰራል፣ ስለዚህ በፕሮክሲ URLዎ ውስጥ ያለው user:pass በጭራሽ ወደ Proxy-Authorization ሄደር አይቀየርም። ሚድልዌርዎን ከ750 በታች ያድርጉ፣ ለምሳሌ 740።
ፕሮክሲውን ለአንድ ጥያቄ ብቻ ማዘጋጀት እችላለሁ?
አዎ። Request ሲፈጥሩ meta={'proxy': 'http://user:pass@ip:port'} ያስተላልፉ፤ አብሮ የተሰራው ሚድልዌር ለዚያ ጥያቄ ብቻ መግባቱን ያስተናግዳል።
የሚሊዮኖች ገጾች ፍለጋ የባንድዊድዝ ገደብ ያጋጥመዋል?
በProxyV4 የግል IPv4 ወይም ቋሚ ISP ፕሮክሲዎች ላይ አያጋጥመውም፤ ሁለቱም ያልተገደበ ባንድዊድዝ አላቸው። ተግባራዊው ገደብ ዒላማው በምን ያህል ፍጥነት እንዲፈልጉ እንደሚፈቅድልዎት ነው።
ምንጮች
ያልተገደቡ ቋሚ አይፒዎች ለScrapy ፍለጋዎች
የግል IPv4 በ7 አገሮች እንዲሁም ቋሚ ISP በአሜሪካ እና በቪዬትናም፣ ከአንድ አይፒ ጀምሮ እስከ ትልቅ ፑል፣ ከቀጥታ የብዛት ዋጋ ቅናሽ ጋር።
የአሜሪካን የቀጥታ ዋጋ ይመልከቱ