Scrapy ப்ராக்ஸிகள்: meta['proxy'], மிடில்வேர் வரிசை மற்றும் சுழற்சி
ProxyV4 பொறியியல் குழுவால் · Updated:
Scrapy-இல், ஒவ்வொரு கோரிக்கைக்கும் request.meta['proxy'] = 'http://user:pass@ip:port' மூலம் ப்ராக்ஸி அமைக்கப்படுகிறது; மேலும் உள்ளமைக்கப்பட்ட HttpProxyMiddleware (வரிசை 750) இதில் உள்ள user:pass பகுதியை Proxy-Authorization ஹெடராக மாற்றுகிறது. அதற்கு முன்பாக 740-இல் இயங்கும் ஒரு சிறிய டவுன்லோடர் மிடில்வேரைச் சேர்த்தால், உங்கள் ஸ்பைடர் உருவாக்கும் ஒவ்வொரு கோரிக்கையும் உங்கள் ProxyV4 பூலில் இருந்து ஒரு IP-ஐத் தேர்ந்தெடுத்துக்கொள்ள முடியும்.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP$1.85
- 3+ IP-கள்$1.70
- 10+ IP-கள்$1.60
- 25+ IP-கள்$1.50
- 50+ IP-கள்$1.40
- 100+ IP-கள்$1.30
- 200+ IP-கள்$1.20
- 500+ IP-கள்$1.10
- 1 IP$1.85
- 3+ IP-கள்$1.70
- 10+ IP-கள்$1.60
- 25+ IP-கள்$1.50
- 50+ IP-கள்$1.40
- 100+ IP-கள்$1.30
- 200+ IP-கள்$1.20
- 500+ IP-கள்$1.10
மிடில்வேர் எண் ஏன் முக்கியமானது
கோரிக்கைகள் வெளியே செல்லும்போது டவுன்லோடர் மிடில்வேர்கள் ஏறுவரிசையில் இயங்கும். 750-இல் உள்ள HttpProxyMiddleware ஆனது meta['proxy']-ஐப் படித்து, URL-லிருந்து நற்சான்றிதழ்களை நீக்கி, auth ஹெடரை எழுதுகிறது. உங்கள் சொந்த மிடில்வேர் இதற்குப் பிறகு, உதாரணமாக 800-இல் ப்ராக்ஸியை அமைத்தால், உள்ளமைக்கப்பட்ட மிடில்வேர் ஏற்கனவே இயங்கிவிட்டதால் நற்சான்றிதழ்கள் மாற்றப்படாது; மேலும் ப்ராக்ஸி 407 பிழையைத் தரும். உங்களுடையதை 740-இல் பதிவு செய்வது அதை முதலில் இயங்க வைக்கும்.
| அமைப்பு | பரிந்துரைக்கப்படும் மதிப்பு | விளைவு |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | அந்தக் கோரிக்கையைக் கொடுக்கப்பட்ட ProxyV4 ப்ராக்ஸி வழியாக அனுப்புகிறது |
| உங்கள் மிடில்வேர் வரிசை | 740 | HttpProxyMiddleware (750)-க்கு முன் இயங்குவதால், உள்நுழைவு விவரங்கள் என்கோட் செய்யப்படுகின்றன |
CONCURRENT_REQUESTS_PER_IP | 2 முதல் 4 வரை | இலக்கு IP-க்கான ஒரே நேரத்திலான கோரிக்கைகளைக் கட்டுப்படுத்துகிறது; ஒவ்வொரு சேவையகத்திற்கும் அதிக சுமை ஏற்படாமல் தடுக்கும் நாகரீகமான வரம்பு |
AUTOTHROTTLE_ENABLED | True | இலக்கு தளம் எவ்வளவு வேகமாகப் பதிலளிக்கிறது என்பதைப் பொறுத்து தாமதங்களை அதிகரிக்கவோ குறைக்கவோ Scrapy-ஐ அனுமதிக்கிறது |
சுழற்சி மிடில்வேரின் மேலோட்டம்
from_crawler()மூலம் அமைப்புகளில் இருந்து ப்ராக்ஸி பட்டியலைப் படித்து, அதை மிடில்வேர் இன்ஸ்டன்ஸில் வைத்திருக்கவும்process_request()-இல், கோரிக்கையில் ஏற்கனவே ப்ராக்ஸி இல்லையென்றால்,request.meta['proxy'] = random.choice(self.proxies)என ஒதுக்கவும்429அல்லது503பதில் வரும்போது, நிராகரிக்கப்பட்ட ப்ராக்ஸிக்கு பதிலாக பூலில் உள்ள மற்றொரு ப்ராக்ஸியைப் பயன்படுத்தி மீண்டும் முயற்சிக்கவும்DOWNLOAD_DELAY = 1.0மற்றும்RANDOMIZE_DOWNLOAD_DELAY = Trueஆகியவற்றை இணைக்கவும்; இதனால் கோரிக்கைகளுக்கு இடையிலான இடைவெளி ஒரே சீராக இல்லாமல் மாறிக்கொண்டே இருக்கும்
பூலின் அளவைத் தீர்மானித்தல்
ஒரு Scrapy கிரால் ஒரு நிமிடத்திற்குப் பல கோரிக்கைகளை அனுப்பக்கூடும், எனவே IP-களின் எண்ணிக்கை ஒவ்வொன்றும் எவ்வளவு மென்மையாகப் பயன்படுத்தப்படுகிறது என்பதைத் தீர்மானிக்கிறது. ProxyV4-இல் குறைந்தபட்ச ஆர்டர் எதுவும் இல்லை; அளவு அதிகரிக்கும்போது ஒரு IP-க்கான விலை குறைகிறது, மேலும் பிரைவேட் IPv4 டிராஃபிக் அளவிடப்படுவதில்லை, எனவே அலைவரிசைக்கான செலவு பெரிய கிராலுக்கும் சிறிய கிராலுக்கும் சமமாகவே இருக்கும். ஒவ்வொரு IP-யும் ஒரு வாடிக்கையாளரால் மட்டுமே பயன்படுத்தப்படுகிறது, எனவே அதன் நற்பெயர் உங்கள் சொந்த கிராலை மட்டுமே பிரதிபலிக்கும், வேறொருவரின் கிராலை அல்ல. கிரால் அளவு மற்றும் நாகரீகமான அணுகுமுறையைத் திட்டமிட, web scraping வழிகாட்டியைப் பார்க்கவும்.
படிப்படியாக
- 1
ப்ராக்ஸி URL-களைத் தயார் செய்தல்
ப்ராக்ஸி வடிவமைப்பு மாற்றியைப் பயன்படுத்தி உங்கள் ProxyV4
ip:port:user:passவரிகளைhttp://user:pass@ip:portஆக மாற்றி, அமைப்புகளில் அல்லது ஒரு கோப்பில் சேமிக்கவும். - 2
ProxyPoolMiddleware-ஐ உருவாக்குதல்
middlewares.py-இல்,request.meta['proxy'] = random.choice(self.proxies)என அமைக்கும் வகையில்process_request(self, request, spider)-ஐ செயல்படுத்தவும். - 3
உள்ளமைக்கப்பட்டதற்கு முன் பதிவு செய்தல்
settings.py-இல்,DOWNLOADER_MIDDLEWARES-உடன்'myproject.middlewares.ProxyPoolMiddleware': 740-ஐச் சேர்த்து,CONCURRENT_REQUESTS_PER_IP = 2என அமைக்கவும். - 4
சுழற்சியை உறுதிப்படுத்துதல்
scrapy shellஅல்லது ஒரு சிறிய சோதனை ஸ்பைடர் மூலம்https://proxyv4.com/api/my-ip-ஐ சில முறை ஃபெட்ச் செய்து, காண்பிக்கப்படும் IP உங்கள் பூலில் தொடர்ந்து மாறுகிறதா என்பதைச் சரிபார்க்கவும்.
அடிக்கடி கேட்கப்படும் கேள்விகள்
முன்னுரிமை 800-இல் உள்ள எனது ப்ராக்ஸி மிடில்வேர் 407 பிழைகளைப் பெறுகிறது. ஏன்?
800-இல் இது HttpProxyMiddleware (750)-க்கு பின் இயங்குகிறது, எனவே உங்கள் ப்ராக்ஸி URL-இல் உள்ள user:pass ஒருபோதும் Proxy-Authorization ஹெடராக மாற்றப்படாது. உங்கள் மிடில்வேரை 750-க்கு முன்னதாக, எ.கா. 740-க்கு மாற்றவும்.
ஒரேயொரு கோரிக்கைக்கு மட்டும் ப்ராக்ஸியை அமைக்க முடியுமா?
ஆம். நீங்கள் Request-ஐ உருவாக்கும்போது meta={'proxy': 'http://user:pass@ip:port'} என அனுப்பவும்; உள்ளமைக்கப்பட்ட மிடில்வேர் அந்தக் கோரிக்கைக்கு மட்டும் உள்நுழைவைக் கையாளும்.
மில்லியன் கணக்கான பக்கங்களைக் கிரால் செய்வது அலைவரிசை வரம்பை எட்டுமா?
ProxyV4 பிரைவேட் IPv4 அல்லது நிலையான ISP ப்ராக்ஸிகளில் ஏற்படாது; இரண்டிலும் வரம்பற்ற அலைவரிசை உள்ளது. இலக்கு தளம் உங்களை எவ்வளவு வேகமாக கிரால் செய்ய அனுமதிக்கிறது என்பது மட்டுமே நடைமுறை வரம்பு.
மூலங்கள்
Scrapy கிரால்களுக்கான வரம்பற்ற நிலையான IP-கள்
7 நாடுகளில் பிரைவேட் IPv4 மற்றும் US, Vietnam நாடுகளில் நிலையான ISP, ஒற்றை IP முதல் பெரிய பூல் வரை, நேரலை அளவு சார்ந்த விலையுடன்.
நேரலை US விலைகளைச் சரிபார்க்கவும்