Scrapy प्रॉक्सी: meta['proxy'], मिडलवेयर क्रम और रोटेशन
ProxyV4 इंजीनियरिंग टीम द्वारा · Updated:
Scrapy में, प्रत्येक अनुरोध के लिए प्रॉक्सी request.meta['proxy'] = 'http://user:pass@ip:port' के ज़रिए सेट की जाती है, और बिल्ट-इन HttpProxyMiddleware (क्रम 750) user:pass वाले भाग को Proxy-Authorization हेडर में बदल देता है। इससे पहले, 740 पर चलने वाला एक छोटा डाउनलोडर मिडलवेयर जोड़ें, और आपके स्पाइडर द्वारा भेजा जाने वाला हर अनुरोध आपके ProxyV4 पूल से एक IP चुन सकता है।
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP$1.85
- 3+ IP$1.70
- 10+ IP$1.60
- 25+ IP$1.50
- 50+ IP$1.40
- 100+ IP$1.30
- 200+ IP$1.20
- 500+ IP$1.10
- 1 IP$1.85
- 3+ IP$1.70
- 10+ IP$1.60
- 25+ IP$1.50
- 50+ IP$1.40
- 100+ IP$1.30
- 200+ IP$1.20
- 500+ IP$1.10
मिडलवेयर नंबर क्यों महत्वपूर्ण है
डाउनलोडर मिडलवेयर बाहर जाते समय बढ़ते क्रम में चलते हैं। 750 पर मौजूद HttpProxyMiddleware meta['proxy'] को पढ़ता है, URL से क्रेडेंशियल्स हटाता है और ऑथ हेडर लिखता है। यदि आपका अपना मिडलवेयर इसके बाद प्रॉक्सी सेट करता है, उदाहरण के लिए 800 पर, तो बिल्ट-इन मिडलवेयर पहले ही चल चुका होता है, क्रेडेंशियल्स कभी कन्वर्ट नहीं होते, और प्रॉक्सी 407 जवाब देती है। अपने मिडलवेयर को 740 पर रजिस्टर करने से यह सबसे पहले आता है।
| सेटिंग | सुझाया गया मान | प्रभाव |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | उस अनुरोध को दिए गए ProxyV4 प्रॉक्सी के माध्यम से भेजता है |
| आपके मिडलवेयर का क्रम | 740 | HttpProxyMiddleware (750) से पहले चलता है, ताकि लॉगिन एनकोड हो सके |
CONCURRENT_REQUESTS_PER_IP | 2 से 4 | प्रति गंतव्य IP समानांतर अनुरोधों को सीमित करता है, जो सर्वर पर पड़ने वाले लोड पर एक उचित सीमा है |
AUTOTHROTTLE_ENABLED | True | टारगेट कितनी तेजी से प्रतिक्रिया देता है, इसके आधार पर Scrapy को देरी बढ़ाने या घटाने की सुविधा देता है |
रोटेशन मिडलवेयर की रूपरेखा
from_crawler()में सेटिंग्स से प्रॉक्सी सूची पढ़ें और इसे मिडलवेयर इंस्टेंस पर रखेंprocess_request()में,request.meta['proxy'] = random.choice(self.proxies)असाइन करें, बशर्ते अनुरोध में पहले से कोई प्रॉक्सी न हो- जब कोई प्रतिक्रिया
429या503आए, तो अस्वीकार किए गए प्रॉक्सी के बजाय पूल से किसी दूसरे प्रॉक्सी के साथ पुनः प्रयास करें DOWNLOAD_DELAY = 1.0कोRANDOMIZE_DOWNLOAD_DELAY = Trueके साथ जोड़ें ताकि अनुरोधों के बीच का अंतराल एक समान टिक-टिक करने के बजाय बदलता रहे
पूल का आकार निर्धारित करना
Scrapy क्रॉल प्रति मिनट कई अनुरोध भेज सकता है, इसलिए IP की संख्या यह तय करती है कि प्रत्येक IP का उपयोग कितनी सावधानी से किया जाए। ProxyV4 के साथ कोई न्यूनतम ऑर्डर सीमा नहीं है और मात्रा बढ़ने पर प्रति IP कीमत घटती है, साथ ही प्राइवेट IPv4 ट्रैफ़िक मीटर नहीं किया जाता, इसलिए बैंडविड्थ के मामले में बड़े क्रॉल का खर्च भी छोटे क्रॉल जितना ही होता है। प्रत्येक IP केवल एक ग्राहक द्वारा उपयोग किया जाता है, इसलिए इसकी प्रतिष्ठा केवल आपके अपने क्रॉल को दर्शाती है, किसी और के नहीं। क्रॉल वॉल्यूम और गति की योजना बनाने के लिए, web scraping guide देखें।
चरण दर चरण
- 1
प्रॉक्सी URL तैयार करें
proxy format converter की मदद से अपनी ProxyV4
ip:port:user:passलाइनों कोhttp://user:pass@ip:portमें बदलें और उन्हें सेटिंग्स या किसी फ़ाइल में सहेजें। - 2
ProxyPoolMiddleware लिखें
middlewares.pyमें,process_request(self, request, spider)लागू करें ताकि यहrequest.meta['proxy'] = random.choice(self.proxies)सेट करे। - 3
इसे बिल्ट-इन मिडलवेयर से पहले रजिस्टर करें
settings.pyमें,DOWNLOADER_MIDDLEWARESमें'myproject.middlewares.ProxyPoolMiddleware': 740जोड़ें औरCONCURRENT_REQUESTS_PER_IP = 2सेट करें। - 4
रोटेशन की पुष्टि करें
scrapy shellया एक छोटे टेस्ट स्पाइडर के साथhttps://proxyv4.com/api/my-ipको कुछ बार फ़ेच करें और जांचें कि रिपोर्ट किया गया IP आपके पूल में बदल रहा है।
अक्सर पूछे जाने वाले प्रश्न
प्राथमिकता 800 पर मेरे प्रॉक्सी मिडलवेयर को 407 त्रुटियां मिलती हैं। क्यों?
800 पर यह HttpProxyMiddleware (750) के बाद चलता है, इसलिए आपके प्रॉक्सी URL में मौजूद user:pass कभी भी Proxy-Authorization हेडर में परिवर्तित नहीं होता है। अपने मिडलवेयर को 750 से नीचे ले जाएं, जैसे 740।
क्या मैं केवल एक अनुरोध के लिए प्रॉक्सी सेट कर सकता हूँ?
हाँ। Request बनाते समय meta={'proxy': 'http://user:pass@ip:port'} पास करें; बिल्ट-इन मिडलवेयर केवल उसी अनुरोध के लिए लॉगिन संभालता है।
क्या लाखों पेजों का क्रॉल बैंडविड्थ सीमा तक पहुंच जाएगा?
ProxyV4 प्राइवेट IPv4 या स्टैटिक ISP प्रॉक्सी पर नहीं; दोनों में असीमित बैंडविड्थ है। व्यावहारिक सीमा केवल यह है कि टारगेट आपको कितनी तेज़ी से क्रॉल करने की अनुमति देता है।
स्रोत
Scrapy क्रॉल के लिए अनमीटर्ड स्टैटिक IP
7 देशों में प्राइवेट IPv4 और अमेरिका व वियतनाम में स्टैटिक ISP, एक IP से लेकर बड़े पूल तक, लाइव वॉल्यूम मूल्य निर्धारण के साथ।
अमेरिका की लाइव कीमतें देखें