Scrapy प्रोक्सीहरू: meta['proxy'], middleware क्रम र रोटेसन
ProxyV4 इन्जिनियरिङ टोलीद्वारा · Updated:
Scrapy मा, प्रत्येक अनुरोधको लागि request.meta['proxy'] = 'http://user:pass@ip:port' मार्फत प्रोक्सी सेट गरिन्छ, र यसमा रहेको बिल्ट-इन HttpProxyMiddleware (क्रम 750) ले user:pass अंशलाई Proxy-Authorization हेडरमा रूपान्तरण गर्छ। यसभन्दा अघि, 740 मा चल्ने एउटा सानो downloader middleware थप्नुहोस्, र तपाईंको spider ले पठाउने प्रत्येक अनुरोधले तपाईंको ProxyV4 पूलबाट एउटा IP छान्न सक्नेछ।
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IPUS$ १.८५
- 3+ IP हरूUS$ १.७०
- 10+ IP हरूUS$ १.६०
- 25+ IP हरूUS$ १.५०
- 50+ IP हरूUS$ १.४०
- 100+ IP हरूUS$ १.३०
- 200+ IP हरूUS$ १.२०
- 500+ IP हरूUS$ १.१०
- 1 IPUS$ १.८५
- 3+ IP हरूUS$ १.७०
- 10+ IP हरूUS$ १.६०
- 25+ IP हरूUS$ १.५०
- 50+ IP हरूUS$ १.४०
- 100+ IP हरूUS$ १.३०
- 200+ IP हरूUS$ १.२०
- 500+ IP हरूUS$ १.१०
Middleware को नम्बर किन महत्त्वपूर्ण हुन्छ
बाहिर जाने क्रममा Downloader middleware हरू बढ्दो क्रम (ascending order) मा चल्छन्। 750 मा रहेको HttpProxyMiddleware ले meta['proxy'] पढ्छ, URL बाट प्रमाणहरू (credentials) हटाउँछ र auth हेडर लेख्छ। यदि तपाईंको आफ्नै middleware ले त्यसपछि, उदाहरणका लागि 800 मा प्रोक्सी सेट गर्छ भने, बिल्ट-इन middleware पहिल्यै चलिसकेको हुन्छ, प्रमाणहरू कहिल्यै रूपान्तरण हुँदैनन्, र प्रोक्सीले 407 जवाफ दिन्छ। तपाईंको middleware लाई 740 मा दर्ता गर्दा यो सबैभन्दा पहिले चल्छ।
| सेटिङ | सुझाइएको मान | प्रभाव |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | उक्त अनुरोधलाई दिइएको ProxyV4 प्रोक्सीमार्फत पठाउँछ |
| तपाईंको middleware क्रम | 740 | HttpProxyMiddleware (750) भन्दा पहिले चल्छ, जसले गर्दा लगइन इन्कोड हुन्छ |
CONCURRENT_REQUESTS_PER_IP | 2 देखि 4 | गन्तव्य IP अनुसार समानान्तर अनुरोधहरू सीमित गर्छ, जसले प्रत्येक सर्भरमा धेरै दबाब पर्न दिँदैन |
AUTOTHROTTLE_ENABLED | True | लक्षित सर्भरले कति छिटो प्रतिक्रिया दिन्छ भन्ने आधारमा Scrapy लाई ढिलाइ (delay) बढाउन वा घटाउन दिन्छ |
रोटेसन middleware को रूपरेखा
from_crawler()मा settings बाट प्रोक्सी सूची पढ्नुहोस् र यसलाई middleware इन्स्टन्समा राख्नुहोस्process_request()मा, अनुरोधमा पहिले नै प्रोक्सी नभएसम्मrequest.meta['proxy'] = random.choice(self.proxies)तोक्नुहोस्- जब प्रतिक्रिया
429वा503आउँछ, भर्खरै अस्वीकार भएको प्रोक्सीको सट्टा पूलबाट अर्को फरक प्रोक्सी प्रयोग गरी पुन: प्रयास गर्नुहोस् DOWNLOAD_DELAY = 1.0लाईRANDOMIZE_DOWNLOAD_DELAY = Trueसँग मिलाउनुहोस् ताकि अनुरोधहरू बीचको अन्तराल घडीको सुईजस्तो एउटै गतिमा नभई फरक-फरक रहोस्
पूलको आकार निर्धारण
Scrapy क्रलले प्रति मिनेट धेरै अनुरोधहरू पठाउन सक्छ, त्यसैले IP हरूको सङ्ख्याले प्रत्येक IP कति सहज रूपमा प्रयोग हुन्छ भन्ने तय गर्छ। ProxyV4 मा कुनै न्यूनतम अर्डर सीमा छैन र मात्रा बढेसँगै प्रति IP मूल्य घट्दै जान्छ, साथै निजी IPv4 ट्राफिक असीमित (not metered) हुन्छ, त्यसैले ब्यान्डविथको हिसाबले ठूलो क्रलको लागत पनि सानो क्रल जत्तिकै हुन्छ। प्रत्येक IP एक जना ग्राहकले मात्र प्रयोग गर्छ, त्यसैले यसको प्रतिष्ठाले तपाईंको आफ्नै क्रललाई मात्र झल्काउँछ, अरू कसैको होइन। क्रलको परिमाण र शिष्टता योजना गर्नका लागि, web scraping guide हेर्नुहोस्।
चरणबद्ध रूपमा
- 1
प्रोक्सी URL हरू तयार गर्नुहोस्
proxy format converter को मद्दतले आफ्ना ProxyV4
ip:port:user:passलाइनहरूलाईhttp://user:pass@ip:portमा रूपान्तरण गर्नुहोस् र तिनीहरूलाई settings वा फाइलमा सुरक्षित गर्नुहोस्। - 2
ProxyPoolMiddleware लेख्नुहोस्
middlewares.pyमा,process_request(self, request, spider)कार्यान्वयन गर्नुहोस् ताकि यसलेrequest.meta['proxy'] = random.choice(self.proxies)सेट गरोस्। - 3
यसलाई बिल्ट-इन भन्दा अगाडि दर्ता गर्नुहोस्
settings.pyमा,DOWNLOADER_MIDDLEWARESभित्र'myproject.middlewares.ProxyPoolMiddleware': 740थप्नुहोस् रCONCURRENT_REQUESTS_PER_IP = 2सेट गर्नुहोस्। - 4
रोटेसन पुष्टि गर्नुहोस्
scrapy shellवा सानो परीक्षण spider मार्फतhttps://proxyv4.com/api/my-ipलाई केही पटक fetch गर्नुहोस् र प्राप्त भएको IP तपाईंको पूलअनुसार परिवर्तन भइरहेको छ भनी जाँच गर्नुहोस्।
बारम्बार सोधिने प्रश्नहरू
priority 800 मा रहेको मेरो प्रोक्सी middleware ले 407 त्रुटिहरू पाउँछ। किन?
800 मा यो HttpProxyMiddleware (750) पछि चल्छ, त्यसैले तपाईंको प्रोक्सी URL मा रहेको user:pass कहिल्यै Proxy-Authorization हेडरमा रूपान्तरण हुँदैन। आफ्नो middleware लाई 750 भन्दा तल सार्नुहोस्, जस्तै 740।
के म केवल एउटा अनुरोधका लागि प्रोक्सी सेट गर्न सक्छु?
सक्नुहुन्छ। Request सिर्जना गर्दा meta={'proxy': 'http://user:pass@ip:port'} पास गर्नुहोस्; बिल्ट-इन middleware ले उक्त अनुरोधका लागि मात्र लगइन ह्यान्डल गर्छ।
के लाखौँ पृष्ठहरूको क्रलले ब्यान्डविथ सीमा पार गर्छ?
ProxyV4 निजी IPv4 वा स्ट्याटिक ISP प्रोक्सीहरूमा गर्दैन; दुवैमा असीमित ब्यान्डविथ हुन्छ। व्यावहारिक सीमा भनेको लक्षित साइटले तपाईंलाई कति छिटो क्रल गर्न दिन्छ भन्ने मात्र हो।
स्रोतहरू
Scrapy क्रलका लागि असीमित स्ट्याटिक IP हरू
7 देशहरूमा निजी IPv4 र US तथा Vietnam मा स्ट्याटिक ISP, एकल IP देखि ठूलो पूलसम्म, प्रत्यक्ष भोल्युम मूल्य निर्धारणसहित।
US को प्रत्यक्ष मूल्य जाँच गर्नुहोस्