ProxyV4
HI ▾
प्रॉक्सी खरीदें

Scrapy प्रॉक्सी: meta['proxy'], मिडलवेयर क्रम और रोटेशन

· Updated:

Scrapy में, प्रत्येक अनुरोध के लिए प्रॉक्सी request.meta['proxy'] = 'http://user:pass@ip:port' के ज़रिए सेट की जाती है, और बिल्ट-इन HttpProxyMiddleware (क्रम 750) user:pass वाले भाग को Proxy-Authorization हेडर में बदल देता है। इससे पहले, 740 पर चलने वाला एक छोटा डाउनलोडर मिडलवेयर जोड़ें, और आपके स्पाइडर द्वारा भेजा जाने वाला हर अनुरोध आपके ProxyV4 पूल से एक IP चुन सकता है।

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
प्राइवेट IPv4 (डेटासेंटर)
🇺🇸 संयुक्त राज्य अमेरिका
उपलब्ध
से
$1.10 / IP / माह
मात्रा पर छूट
  • 1 IP$1.85
  • 3+ IP$1.70
  • 10+ IP$1.60
  • 25+ IP$1.50
  • 50+ IP$1.40
  • 100+ IP$1.30
  • 200+ IP$1.20
  • 500+ IP$1.10
संयुक्त राज्य अमेरिका खरीदें
प्राइवेट IPv4 (डेटासेंटर)
🇬🇧 यूनाइटेड किंगडम
उपलब्ध
से
$1.10 / IP / माह
मात्रा पर छूट
  • 1 IP$1.85
  • 3+ IP$1.70
  • 10+ IP$1.60
  • 25+ IP$1.50
  • 50+ IP$1.40
  • 100+ IP$1.30
  • 200+ IP$1.20
  • 500+ IP$1.10
यूनाइटेड किंगडम खरीदें
प्लेटफ़ॉर्म अनुसार प्रॉक्सी:Web Scraping & CrawlingSEO & SERP TrackingAmazon

मिडलवेयर नंबर क्यों महत्वपूर्ण है

डाउनलोडर मिडलवेयर बाहर जाते समय बढ़ते क्रम में चलते हैं। 750 पर मौजूद HttpProxyMiddleware meta['proxy'] को पढ़ता है, URL से क्रेडेंशियल्स हटाता है और ऑथ हेडर लिखता है। यदि आपका अपना मिडलवेयर इसके बाद प्रॉक्सी सेट करता है, उदाहरण के लिए 800 पर, तो बिल्ट-इन मिडलवेयर पहले ही चल चुका होता है, क्रेडेंशियल्स कभी कन्वर्ट नहीं होते, और प्रॉक्सी 407 जवाब देती है। अपने मिडलवेयर को 740 पर रजिस्टर करने से यह सबसे पहले आता है।

सेटिंगसुझाया गया मानप्रभाव
request.meta['proxy']'http://user:pass@ip:port'उस अनुरोध को दिए गए ProxyV4 प्रॉक्सी के माध्यम से भेजता है
आपके मिडलवेयर का क्रम740HttpProxyMiddleware (750) से पहले चलता है, ताकि लॉगिन एनकोड हो सके
CONCURRENT_REQUESTS_PER_IP2 से 4प्रति गंतव्य IP समानांतर अनुरोधों को सीमित करता है, जो सर्वर पर पड़ने वाले लोड पर एक उचित सीमा है
AUTOTHROTTLE_ENABLEDTrueटारगेट कितनी तेजी से प्रतिक्रिया देता है, इसके आधार पर Scrapy को देरी बढ़ाने या घटाने की सुविधा देता है

रोटेशन मिडलवेयर की रूपरेखा

  • from_crawler() में सेटिंग्स से प्रॉक्सी सूची पढ़ें और इसे मिडलवेयर इंस्टेंस पर रखें
  • process_request() में, request.meta['proxy'] = random.choice(self.proxies) असाइन करें, बशर्ते अनुरोध में पहले से कोई प्रॉक्सी न हो
  • जब कोई प्रतिक्रिया 429 या 503 आए, तो अस्वीकार किए गए प्रॉक्सी के बजाय पूल से किसी दूसरे प्रॉक्सी के साथ पुनः प्रयास करें
  • DOWNLOAD_DELAY = 1.0 को RANDOMIZE_DOWNLOAD_DELAY = True के साथ जोड़ें ताकि अनुरोधों के बीच का अंतराल एक समान टिक-टिक करने के बजाय बदलता रहे

पूल का आकार निर्धारित करना

Scrapy क्रॉल प्रति मिनट कई अनुरोध भेज सकता है, इसलिए IP की संख्या यह तय करती है कि प्रत्येक IP का उपयोग कितनी सावधानी से किया जाए। ProxyV4 के साथ कोई न्यूनतम ऑर्डर सीमा नहीं है और मात्रा बढ़ने पर प्रति IP कीमत घटती है, साथ ही प्राइवेट IPv4 ट्रैफ़िक मीटर नहीं किया जाता, इसलिए बैंडविड्थ के मामले में बड़े क्रॉल का खर्च भी छोटे क्रॉल जितना ही होता है। प्रत्येक IP केवल एक ग्राहक द्वारा उपयोग किया जाता है, इसलिए इसकी प्रतिष्ठा केवल आपके अपने क्रॉल को दर्शाती है, किसी और के नहीं। क्रॉल वॉल्यूम और गति की योजना बनाने के लिए, web scraping guide देखें।

चरण दर चरण

  1. 1

    प्रॉक्सी URL तैयार करें

    proxy format converter की मदद से अपनी ProxyV4 ip:port:user:pass लाइनों को http://user:pass@ip:port में बदलें और उन्हें सेटिंग्स या किसी फ़ाइल में सहेजें।

  2. 2

    ProxyPoolMiddleware लिखें

    middlewares.py में, process_request(self, request, spider) लागू करें ताकि यह request.meta['proxy'] = random.choice(self.proxies) सेट करे।

  3. 3

    इसे बिल्ट-इन मिडलवेयर से पहले रजिस्टर करें

    settings.py में, DOWNLOADER_MIDDLEWARES में 'myproject.middlewares.ProxyPoolMiddleware': 740 जोड़ें और CONCURRENT_REQUESTS_PER_IP = 2 सेट करें।

  4. 4

    रोटेशन की पुष्टि करें

    scrapy shell या एक छोटे टेस्ट स्पाइडर के साथ https://proxyv4.com/api/my-ip को कुछ बार फ़ेच करें और जांचें कि रिपोर्ट किया गया IP आपके पूल में बदल रहा है।

अक्सर पूछे जाने वाले प्रश्न

प्राथमिकता 800 पर मेरे प्रॉक्सी मिडलवेयर को 407 त्रुटियां मिलती हैं। क्यों?

800 पर यह HttpProxyMiddleware (750) के बाद चलता है, इसलिए आपके प्रॉक्सी URL में मौजूद user:pass कभी भी Proxy-Authorization हेडर में परिवर्तित नहीं होता है। अपने मिडलवेयर को 750 से नीचे ले जाएं, जैसे 740।

क्या मैं केवल एक अनुरोध के लिए प्रॉक्सी सेट कर सकता हूँ?

हाँ। Request बनाते समय meta={'proxy': 'http://user:pass@ip:port'} पास करें; बिल्ट-इन मिडलवेयर केवल उसी अनुरोध के लिए लॉगिन संभालता है।

क्या लाखों पेजों का क्रॉल बैंडविड्थ सीमा तक पहुंच जाएगा?

ProxyV4 प्राइवेट IPv4 या स्टैटिक ISP प्रॉक्सी पर नहीं; दोनों में असीमित बैंडविड्थ है। व्यावहारिक सीमा केवल यह है कि टारगेट आपको कितनी तेज़ी से क्रॉल करने की अनुमति देता है।

स्रोत

Scrapy क्रॉल के लिए अनमीटर्ड स्टैटिक IP

7 देशों में प्राइवेट IPv4 और अमेरिका व वियतनाम में स्टैटिक ISP, एक IP से लेकर बड़े पूल तक, लाइव वॉल्यूम मूल्य निर्धारण के साथ।

अमेरिका की लाइव कीमतें देखें

Related articles

प्लेटफ़ॉर्म अनुसार प्रॉक्सी
वेब स्क्रैपिंग के लिए प्रॉक्सी: अनमीटर्ड ट्रैफ़िक के साथ IP का निश्चित पूल
Python, Scrapy, Playwright और Selenium के लिए वेब स्क्रैपिंग प्रॉक्सी: प्राइवेट IPv4 और स्टैटिक ISP एड्रेस का पूल, असीमित बैंडविड्थ, फ्लैट प्रति-IP दर।
प्रॉक्सी सेटअप
ऑथेंटिकेटेड प्रॉक्सी के साथ Python requests, स्टेप-बाय-स्टेप
एक ऑथेंटिकेटेड HTTP(S) प्रॉक्सी से Python रिक्वेस्ट भेजें: proxies डिक्ट बनाएं, इसे Session से जोड़ें, विशेष पासवर्ड एन्कोड करें, लिस्ट रोटेट करें और IP जांचें।
प्रॉक्सी सेटअप
Playwright प्रॉक्सी प्रमाणीकरण, प्रति संदर्भ एक स्थिर IP
Node.js या Python में प्रत्येक Playwright ब्राउज़र संदर्भ को प्रमाणित HTTP(S) प्रॉक्सी दें, समयक्षेत्र व भाषा को IP से मिलाएं और एग्जिट एड्रेस जांचें।
मुफ़्त टूल्स
प्रॉक्सी लिस्ट को अपने टूल के अनुसार सही फॉर्मेट में बदलें
अपने ब्राउज़र में ip:port:user:pass, user:pass@ip:port, http:// URLs, SOCKS5 URIs, JSON arrays और FoxyProxy फ़ाइलों के बीच प्रॉक्सी लिस्ट बल्क में बदलें।
प्लेटफ़ॉर्म अनुसार प्रॉक्सी
SEO रैंक ट्रैकिंग के लिए प्रॉक्सी: वही रिज़ल्ट पेज देखें जो स्थानीय यूज़र देखता है
US, UK, वियतनाम, जापान सहित 7 बाज़ारों में प्राइवेट IPv4 प्रॉक्सी, ताकि आपकी SEO रैंकिंग, लोकल पैक और विज्ञापन वही दिखें जो स्थानीय यूज़र्स देखते हैं।
प्लेटफ़ॉर्म अनुसार प्रॉक्सी
Amazon सेलर प्रॉक्सी जो हर अकाउंट को एक स्थायी पता देती हैं
Seller Central, KDP और Merch हेतु Amazon सेलर प्रॉक्सी: प्रति अकाउंट US स्टैटिक ISP या UK/Japan प्राइवेट IPv4, जो सिर्फ आपका है और रिन्यूअल पर वही रहता है।
IPV4 · united states
स्क्रैपिंग, रैंक ट्रैकिंग और विज्ञापन जांच के लिए US प्राइवेट IPv4 प्रॉक्सी पूल
US प्राइवेट IPv4 प्रॉक्सी खरीदें: स्टैटिक US डेटासेंटर IP, प्रति IP एक ग्राहक, अनलिमिटेड बैंडविड्थ। स्क्रैपिंग, SERP ट्रैकिंग और US ऐड चेकिंग हेतु निर्मित।
IPV4 · united kingdom
मार्केटप्लेस, सर्च और अभियानों के लिए UK प्राइवेट IPv4 प्रॉक्सी
एक ग्राहक के लिए समर्पित स्टेटिक ब्रिटिश डेटासेंटर IP वाली UK प्राइवेट IPv4 प्रॉक्सी; eBay UK, Amazon.co.uk रिसर्च, google.co.uk ट्रैकिंग और UK ऐड जांच के लिए।