Scrapy ප්රොක්සි: meta['proxy'], middleware අනුපිළිවෙල සහ භ්රමණය
ProxyV4 ඉංජිනේරු කණ්ඩායම විසිනි · Updated:
Scrapy හි, එක් එක් ඉල්ලීම සඳහා ප්රොක්සියක් request.meta['proxy'] = 'http://user:pass@ip:port' හරහා සකසන අතර, එහි ඇති HttpProxyMiddleware (අනුපිළිවෙල 750) මඟින් user:pass කොටස Proxy-Authorization ශීර්ෂයක් බවට පත් කරයි. ඊට පෙර, එනම් 740 හි ධාවනය වන කුඩා downloader middleware එකක් එක් කරන්න, එවිට ඔබේ spider මඟින් නිකුත් කරන සෑම ඉල්ලීමකටම ඔබේ ProxyV4 pool එකෙන් IP එකක් ලබා ගත හැක.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
middleware අංකය වැදගත් වන්නේ ඇයි
පිටතට යන ගමනේදී Downloader middlewares ආරෝහණ අනුපිළිවෙලට ධාවනය වේ. 750 හි ඇති HttpProxyMiddleware මඟින් meta['proxy'] කියවා, URL වෙතින් පරිශීලක තොරතුරු ඉවත් කර auth ශීර්ෂය ලියයි. ඔබේම middleware මඟින් ප්රොක්සිය ඊට පසුව, උදාහරණයක් ලෙස 800 හි සැකසුවහොත්, සාදන ලද middleware එක ඒ වන විටත් ධාවනය වී අවසන් බැවින් තොරතුරු කිසි විටෙකත් පරිවර්තනය නොවන අතර ප්රොක්සිය 407 ලෙස පිළිතුරු දෙයි. ඔබගේ එක 740 හි ලියාපදිංචි කිරීමෙන් එය පළමුව තැබේ.
| සැකසුම | යෝජිත අගය | බලපෑම |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | අදාළ ඉල්ලීම ලබා දී ඇති ProxyV4 ප්රොක්සිය හරහා යවයි |
| ඔබේ middleware අනුපිළිවෙල | 740 | HttpProxyMiddleware (750) ට පෙර ධාවනය වේ, එබැවින් පිවිසුම් තොරතුරු encode කරනු ලැබේ |
CONCURRENT_REQUESTS_PER_IP | 2 සිට 4 දක්වා | ගමනාන්ත IP එකකට සමාන්තර ඉල්ලීම් සීමා කරයි, මෙය සෑම සේවාදායකයකටම කෙතරම් තදින් බලපෑම් එල්ල වේද යන්න පිළිබඳ ආචාරශීලී සීමාවකි |
AUTOTHROTTLE_ENABLED | True | ඉලක්කය ප්රතිචාර දක්වන වේගය මත පදනම්ව ප්රමාදයන් වැඩි කිරීමට හෝ අඩු කිරීමට Scrapy හට ඉඩ දෙයි |
භ්රමණ middleware පිළිබඳ දළ සටහනක්
from_crawler()හි settings වෙතින් ප්රොක්සි ලැයිස්තුව කියවා එය middleware instance එකෙහි තබා ගන්න- ඉල්ලීමෙහි දැනටමත් එකක් ඇතුළත් කර නොමැති නම්,
process_request()හිrequest.meta['proxy'] = random.choice(self.proxies)ලෙස පවරන්න - ප්රතිචාරයක්
429හෝ503ලෙස ලැබුණු විට, ප්රතික්ෂේප වූ එක වෙනුවට pool එකෙන් වෙනත් ප්රොක්සියක් සමඟ නැවත උත්සාහ කරන්න - ඉල්ලීම් අතර පරතරය මෙට්රොනෝමයක් මෙන් නියත නොවී වෙනස් වන පරිදි
DOWNLOAD_DELAY = 1.0සමඟRANDOMIZE_DOWNLOAD_DELAY = Trueඒකාබද්ධ කරන්න
Pool එකෙහි ප්රමාණය තීරණය කිරීම
Scrapy crawl එකක් මඟින් මිනිත්තුවකට ඉල්ලීම් විශාල ප්රමාණයක් යැවිය හැකි බැවින්, IP ගණන මඟින් ඒ සෑම එකක්ම කෙතරම් මෘදු ලෙස භාවිත කරන්නේද යන්න තීරණය කරයි. ProxyV4 සමඟ අවම ඇණවුමක් නොමැති අතර ප්රමාණය වැඩි වන විට IP එකක මිල අඩු වේ, තවද පුද්ගලික IPv4 දත්ත ගමනාගමනය මනිනු නොලැබේ, එබැවින් bandwidth අනුව විශාල crawl එකකට වැය වන්නේ කුඩා එකකට සමාන පිරිවැයකි. සෑම IP එකක්ම භාවිත කරන්නේ එක් පාරිභෝගිකයෙකු පමණක් බැවින්, එහි කීර්තිය ඔබේම crawl එක පිළිබිඹු කරන අතර වෙනත් කිසිවෙකුගේ නොවේ. Crawl පරිමාව සහ ආචාරශීලී බව සැලසුම් කිරීම සඳහා, වෙබ් scraping මාර්ගෝපදේශය බලන්න.
පියවරෙන් පියවර
- 1
ප්රොක්සි URL සූදානම් කරන්න
ප්රොක්සි ආකෘති පරිවර්තකය භාවිතයෙන් ඔබේ ProxyV4
ip:port:user:passපේළිhttp://user:pass@ip:portබවට පරිවර්තනය කර ඒවා settings හෝ ගොනුවක ගබඩා කරන්න. - 2
ProxyPoolMiddleware ලියන්න
middlewares.pyහි,request.meta['proxy'] = random.choice(self.proxies)ලෙස සකසන පරිදිprocess_request(self, request, spider)ක්රියාත්මක කරන්න. - 3
සාදන ලද එකට පෙර එය ලියාපදිංචි කරන්න
settings.pyහි,DOWNLOADER_MIDDLEWARESවෙත'myproject.middlewares.ProxyPoolMiddleware': 740එක් කරCONCURRENT_REQUESTS_PER_IP = 2ලෙස සකසන්න. - 4
භ්රමණය තහවුරු කරන්න
scrapy shellහෝ කෙටි පරීක්ෂණ spider එකක් භාවිතයෙන්https://proxyv4.com/api/my-ipකිහිප වතාවක් ලබාගෙන, වාර්තා වන IP ඔබේ pool එක පුරා වෙනස් වන බව පරීක්ෂා කරන්න.
නිතර අසන ප්රශ්න
ප්රමුඛතාව 800 හි ඇති මගේ ප්රොක්සි middleware එකට 407 දෝෂ ලැබේ. ඒ ඇයි?
800 හිදී එය HttpProxyMiddleware (750) ට පසුව ධාවනය වන බැවින්, ඔබේ ප්රොක්සි URL හි ඇති user:pass කිසි විටෙකත් Proxy-Authorization ශීර්ෂයක් බවට පත් නොවේ. ඔබේ middleware 750 ට පහළින්, උදාහරණයක් ලෙස 740 වෙත ගෙන යන්න.
මට එක් ඉල්ලීමක් සඳහා පමණක් ප්රොක්සිය සැකසිය හැකිද?
ඔව්. ඔබ Request සාදන විට meta={'proxy': 'http://user:pass@ip:port'} ලබා දෙන්න; සාදන ලද middleware මඟින් එම ඉල්ලීම සඳහා පමණක් පිවිසුම හසුරුවයි.
පිටු මිලියන ගණනක crawl එකක් bandwidth සීමාවකට ළඟා වේවිද?
ProxyV4 පුද්ගලික IPv4 හෝ static ISP ප්රොක්සි වල එසේ නොවේ; ඒ දෙකටම අසීමිත bandwidth ඇත. ප්රායෝගික සීමාව වන්නේ ඉලක්කය ඔබට කෙතරම් වේගයෙන් crawl කිරීමට ඉඩ දෙයිද යන්නයි.
මූලාශ්ර
Scrapy crawls සඳහා සීමාවකින් තොර static IP
රටවල් 7 ක පුද්ගලික IPv4 සමඟ US සහ Vietnam හි static ISP, තනි IP එකක සිට විශාල pool එකක් දක්වා, සජීවී ප්රමාණ මිල ගණන් සමඟ.
US සජීවී මිල ගණන් පරීක්ෂා කරන්න