वेब स्क्रैपिंग के लिए प्रॉक्सी: अनमीटर्ड ट्रैफ़िक के साथ IP का निश्चित पूल
Updated:
प्रति गीगाबाइट बिल की जाने वाली वेब स्क्रैपिंग प्रॉक्सी पेज भारी होने पर क्रॉलर को और महंगा बना देती हैं, यही वजह है कि अनमीटर्ड ट्रैफ़िक वाले एड्रेस के निश्चित पूल पर नियमित, शेड्यूल्ड क्रॉलर सस्ते पड़ते हैं। ProxyV4 सात देशों में प्राइवेट IPv4 और US व वियतनाम में स्टैटिक ISP बेचता है, जिनकी कीमत बिना किसी ट्रैफ़िक मीटरिंग के प्रति IP तय होती है। आप पूल का आकार इस आधार पर तय करते हैं कि टारगेट प्रति सेकंड कितने अनुरोध स्वीकार कर सकते हैं, और पेजों का साइज़ चाहे जो भी हो, बिल हमेशा समान रहता है।
- 1 IP$1.85
- 3+ IP$1.70
- 10+ IP$1.60
- 25+ IP$1.50
- 50+ IP$1.40
- 100+ IP$1.30
- 200+ IP$1.20
- 500+ IP$1.10
- 1 IP$1.85
- 3+ IP$1.70
- 10+ IP$1.60
- 25+ IP$1.50
- 50+ IP$1.40
- 100+ IP$1.30
- 200+ IP$1.20
- 500+ IP$1.10
क्रॉलर के लिए प्रति-IP बनाम प्रति-GB मूल्य निर्धारण
| प्रश्न | स्टैटिक पूल (प्रति IP) | मीटर्ड ट्रैफ़िक (प्रति GB) |
|---|---|---|
| लागत किस बात पर निर्भर करती है | IP की संख्या और रेंटल अवधि | डाउनलोड किए गए बाइट्स, जिनमें HTML, JS और एसेट्स शामिल हैं |
| पेज भारी होने पर क्या होता है | कुछ नहीं; बैंडविड्थ असीमित है | उनके साथ बिल भी बढ़ता जाता है |
| थ्रूपुट को क्या सीमित करता है | प्रत्येक टारगेट की प्रति-IP दर सीमा | बजट |
| स्केल कैसे करें | अधिक IP जोड़ें; संख्या बढ़ने पर प्रति IP कीमत कम हो जाती है | अधिक ट्रैफ़िक खरीदें |
स्क्रैपर्स ब्लॉक क्यों होते हैं, और एक पूल इसे कैसे बदलता है
कैटलॉग, लिस्टिंग और पब्लिक API स्क्रैपिंग में, अधिकांश ब्लॉक इस बात पर निर्भर नहीं करते कि आप कौन हैं, बल्कि इस पर निर्भर करते हैं कि आप कितनी तेज़ी से अनुरोध भेजते हैं: किसी साइट की अनुरोध दर सीमा पार करने वाले एक एड्रेस को HTTP 429 मिलता है। 10 से 100 स्टैटिक IP का एक पूल, जिनमें से प्रत्येक को नियंत्रित समवर्तीता पर रखा जाता है, हर एड्रेस को सीमा के भीतर रखता है जबकि आपका क्रॉलर आपकी ज़रूरत की गति से चलता है।
सिंगल टेनेंसी भी यहाँ मददगार साबित होती है। प्रत्येक ProxyV4 IP पूरी रेंटल अवधि के दौरान केवल एक ग्राहक की होती है, इसलिए किसी टारगेट द्वारा उस एड्रेस पर देखा जाने वाला अनुरोध इतिहास सिर्फ़ आपका होता है।
टारगेट के अनुसार पूल का चयन
- पब्लिक कैटलॉग और हाई-वॉल्यूम API: United States या Singapore में प्राइवेट IPv4, प्रति IP सबसे कम लागत
- वियतनामी ई-कॉमर्स और स्थानीय पोर्टल: घरेलू पेज और स्थानीय कीमतें प्राप्त करने के लिए Vietnam IPv4
- ऐसे टारगेट जो WAF के पीछे होस्टिंग ASN को फ़िल्टर करते हैं: United States या Vietnam में स्टैटिक ISP, जो उपभोक्ता ISP पर रजिस्टर्ड हैं, जिससे Cloudflare की चुनौतियों की संभावना कम होती है
- ऐसे टारगेट जिन्हें हर अनुरोध पर नए IP की आवश्यकता होती है: रोटेटिंग वियतनाम प्रॉक्सी अभी बिक्री के लिए उपलब्ध नहीं हैं; प्रतीक्षा सूची rotating Vietnam page पर उपलब्ध है
क्रॉलर सेटिंग्स जो स्टैटिक पूल को लंबे समय तक प्रभावी बनाए रखती हैं
प्रत्येक लाइन मानक क्रेडेंशियल्स का उपयोग करती है, इसलिए Python में प्रॉक्सी बस proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"} है।
- सूची में अनुरोधों को राउंड-रॉबिन तरीके से असाइन करें और रैंडम जिटर जोड़ें, प्रति टारगेट डोमेन प्रति IP लगभग 2 से 5 सेकंड
- कनेक्शन का पुन: उपयोग
requests.Session()या किसी पूल्ड क्लाइंट के साथ करें ताकि आपको हर अनुरोध पर TLS हैंडशेक न करना पड़े - Playwright और Puppeteer में, उन इमेज, फ़ॉन्ट और मीडिया को ब्लॉक करें जिन्हें आप पार्स नहीं करते हैं
- जब किसी IP को HTTP 429 या 503 मिले, तो तुरंत दोबारा प्रयास करने के बजाय उसे कूलडाउन के लिए रोटेशन से हटा दें और गति धीमी करें
चरण दर चरण
- 1
- 2
सूची को URL में बदलें
http://user:pass@ip:portस्ट्रिंग्स या JSON प्राप्त करने के लिएip:port:user:passलाइनों को proxy format converter में पेस्ट करें। - 3
पूल को अपने फ़्रेमवर्क से कनेक्ट करें
Python Requests, Scrapy, Selenium या Node.js Axios के सेटअप पेजों का उपयोग करें।
- 4
पहले पूर्ण रन से पहले जांच करें
proxy speed test से रिस्पॉन्स समय की जांच करें और अपने टारगेट के लिए धीमी किसी भी लाइन को हटा दें।
अक्सर पूछे जाने वाले प्रश्न
क्या ProxyV4 प्रॉक्सी पर स्क्रैपिंग ट्रैफ़िक मीटर्ड होता है?
नहीं। प्राइवेट IPv4 और स्टैटिक ISP असीमित बैंडविड्थ के साथ रेंटल अवधि के लिए प्रति IP बिल किए जाते हैं।
एक स्टैटिक IP एक दिन में कितने पेज फेच कर सकती है?
यह टारगेट की रेट लिमिट पर निर्भर करता है। प्रति डोमेन प्रति मिनट 1 से 3 अनुरोधों पर, एक IP बिना किसी संदेह के एक दिन में लगभग 1,500 से 4,000 पेज फेच कर सकती है।
क्या आप स्क्रैपिंग के लिए रोटेटिंग प्रॉक्सी बेचते हैं?
अभी नहीं। रोटेटिंग वियतनाम प्रॉक्सी केवल प्रतीक्षा सूची पर हैं। फ़िलहाल, अधिकांश शेड्यूल्ड क्रॉल के लिए राउंड-रॉबिन असाइनमेंट वाला एक स्टैटिक पूल यही काम करता है।
मैं 50 प्रॉक्सी को Scrapy फ़ॉर्मेट में तेज़ी से कैसे बदलूँ?
उन्हें proxy format converter में पेस्ट करें। यह ब्राउज़र में ip:port:user:pass लाइनों को URL स्ट्रिंग्स या JSON ऐरे में बदल देता है।
निश्चित मासिक लागत के साथ स्क्रैपिंग पूल तैयार करें
सात देशों में प्राइवेट IPv4 और US व वियतनाम में स्टैटिक ISP, असीमित ट्रैफ़िक के साथ प्रति IP दर।
लाइव US IPv4 कीमतें देखें