ProxyV4
NE ▾
प्रोक्सी किन्नुहोस्

Scrapy प्रोक्सीहरू: meta['proxy'], middleware क्रम र रोटेसन

· Updated:

Scrapy मा, प्रत्येक अनुरोधको लागि request.meta['proxy'] = 'http://user:pass@ip:port' मार्फत प्रोक्सी सेट गरिन्छ, र यसमा रहेको बिल्ट-इन HttpProxyMiddleware (क्रम 750) ले user:pass अंशलाई Proxy-Authorization हेडरमा रूपान्तरण गर्छ। यसभन्दा अघि, 740 मा चल्ने एउटा सानो downloader middleware थप्नुहोस्, र तपाईंको spider ले पठाउने प्रत्येक अनुरोधले तपाईंको ProxyV4 पूलबाट एउटा IP छान्न सक्नेछ।

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Private IPv4 (डाटासेन्टर)
🇺🇸 संयुक्त राज्य अमेरिका
स्टकमा उपलब्ध
बाट
US$ १.१० / IP / महिना
परिमाण छुट
  • 1 IPUS$ १.८५
  • 3+ IP हरूUS$ १.७०
  • 10+ IP हरूUS$ १.६०
  • 25+ IP हरूUS$ १.५०
  • 50+ IP हरूUS$ १.४०
  • 100+ IP हरूUS$ १.३०
  • 200+ IP हरूUS$ १.२०
  • 500+ IP हरूUS$ १.१०
संयुक्त राज्य अमेरिका किन्नुहोस्
Private IPv4 (डाटासेन्टर)
🇬🇧 युनाइटेड किंगडम
स्टकमा उपलब्ध
बाट
US$ १.१० / IP / महिना
परिमाण छुट
  • 1 IPUS$ १.८५
  • 3+ IP हरूUS$ १.७०
  • 10+ IP हरूUS$ १.६०
  • 25+ IP हरूUS$ १.५०
  • 50+ IP हरूUS$ १.४०
  • 100+ IP हरूUS$ १.३०
  • 200+ IP हरूUS$ १.२०
  • 500+ IP हरूUS$ १.१०
युनाइटेड किंगडम किन्नुहोस्
प्लेटफर्मअनुसार प्रोक्सीहरू:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Middleware को नम्बर किन महत्त्वपूर्ण हुन्छ

बाहिर जाने क्रममा Downloader middleware हरू बढ्दो क्रम (ascending order) मा चल्छन्। 750 मा रहेको HttpProxyMiddleware ले meta['proxy'] पढ्छ, URL बाट प्रमाणहरू (credentials) हटाउँछ र auth हेडर लेख्छ। यदि तपाईंको आफ्नै middleware ले त्यसपछि, उदाहरणका लागि 800 मा प्रोक्सी सेट गर्छ भने, बिल्ट-इन middleware पहिल्यै चलिसकेको हुन्छ, प्रमाणहरू कहिल्यै रूपान्तरण हुँदैनन्, र प्रोक्सीले 407 जवाफ दिन्छ। तपाईंको middleware लाई 740 मा दर्ता गर्दा यो सबैभन्दा पहिले चल्छ।

सेटिङसुझाइएको मानप्रभाव
request.meta['proxy']'http://user:pass@ip:port'उक्त अनुरोधलाई दिइएको ProxyV4 प्रोक्सीमार्फत पठाउँछ
तपाईंको middleware क्रम740HttpProxyMiddleware (750) भन्दा पहिले चल्छ, जसले गर्दा लगइन इन्कोड हुन्छ
CONCURRENT_REQUESTS_PER_IP2 देखि 4गन्तव्य IP अनुसार समानान्तर अनुरोधहरू सीमित गर्छ, जसले प्रत्येक सर्भरमा धेरै दबाब पर्न दिँदैन
AUTOTHROTTLE_ENABLEDTrueलक्षित सर्भरले कति छिटो प्रतिक्रिया दिन्छ भन्ने आधारमा Scrapy लाई ढिलाइ (delay) बढाउन वा घटाउन दिन्छ

रोटेसन middleware को रूपरेखा

  • from_crawler() मा settings बाट प्रोक्सी सूची पढ्नुहोस् र यसलाई middleware इन्स्टन्समा राख्नुहोस्
  • process_request() मा, अनुरोधमा पहिले नै प्रोक्सी नभएसम्म request.meta['proxy'] = random.choice(self.proxies) तोक्नुहोस्
  • जब प्रतिक्रिया 429 वा 503 आउँछ, भर्खरै अस्वीकार भएको प्रोक्सीको सट्टा पूलबाट अर्को फरक प्रोक्सी प्रयोग गरी पुन: प्रयास गर्नुहोस्
  • DOWNLOAD_DELAY = 1.0 लाई RANDOMIZE_DOWNLOAD_DELAY = True सँग मिलाउनुहोस् ताकि अनुरोधहरू बीचको अन्तराल घडीको सुईजस्तो एउटै गतिमा नभई फरक-फरक रहोस्

पूलको आकार निर्धारण

Scrapy क्रलले प्रति मिनेट धेरै अनुरोधहरू पठाउन सक्छ, त्यसैले IP हरूको सङ्ख्याले प्रत्येक IP कति सहज रूपमा प्रयोग हुन्छ भन्ने तय गर्छ। ProxyV4 मा कुनै न्यूनतम अर्डर सीमा छैन र मात्रा बढेसँगै प्रति IP मूल्य घट्दै जान्छ, साथै निजी IPv4 ट्राफिक असीमित (not metered) हुन्छ, त्यसैले ब्यान्डविथको हिसाबले ठूलो क्रलको लागत पनि सानो क्रल जत्तिकै हुन्छ। प्रत्येक IP एक जना ग्राहकले मात्र प्रयोग गर्छ, त्यसैले यसको प्रतिष्ठाले तपाईंको आफ्नै क्रललाई मात्र झल्काउँछ, अरू कसैको होइन। क्रलको परिमाण र शिष्टता योजना गर्नका लागि, web scraping guide हेर्नुहोस्।

चरणबद्ध रूपमा

  1. 1

    प्रोक्सी URL हरू तयार गर्नुहोस्

    proxy format converter को मद्दतले आफ्ना ProxyV4 ip:port:user:pass लाइनहरूलाई http://user:pass@ip:port मा रूपान्तरण गर्नुहोस् र तिनीहरूलाई settings वा फाइलमा सुरक्षित गर्नुहोस्।

  2. 2

    ProxyPoolMiddleware लेख्नुहोस्

    middlewares.py मा, process_request(self, request, spider) कार्यान्वयन गर्नुहोस् ताकि यसले request.meta['proxy'] = random.choice(self.proxies) सेट गरोस्।

  3. 3

    यसलाई बिल्ट-इन भन्दा अगाडि दर्ता गर्नुहोस्

    settings.py मा, DOWNLOADER_MIDDLEWARES भित्र 'myproject.middlewares.ProxyPoolMiddleware': 740 थप्नुहोस् र CONCURRENT_REQUESTS_PER_IP = 2 सेट गर्नुहोस्।

  4. 4

    रोटेसन पुष्टि गर्नुहोस्

    scrapy shell वा सानो परीक्षण spider मार्फत https://proxyv4.com/api/my-ip लाई केही पटक fetch गर्नुहोस् र प्राप्त भएको IP तपाईंको पूलअनुसार परिवर्तन भइरहेको छ भनी जाँच गर्नुहोस्।

बारम्बार सोधिने प्रश्नहरू

priority 800 मा रहेको मेरो प्रोक्सी middleware ले 407 त्रुटिहरू पाउँछ। किन?

800 मा यो HttpProxyMiddleware (750) पछि चल्छ, त्यसैले तपाईंको प्रोक्सी URL मा रहेको user:pass कहिल्यै Proxy-Authorization हेडरमा रूपान्तरण हुँदैन। आफ्नो middleware लाई 750 भन्दा तल सार्नुहोस्, जस्तै 740।

के म केवल एउटा अनुरोधका लागि प्रोक्सी सेट गर्न सक्छु?

सक्नुहुन्छ। Request सिर्जना गर्दा meta={'proxy': 'http://user:pass@ip:port'} पास गर्नुहोस्; बिल्ट-इन middleware ले उक्त अनुरोधका लागि मात्र लगइन ह्यान्डल गर्छ।

के लाखौँ पृष्ठहरूको क्रलले ब्यान्डविथ सीमा पार गर्छ?

ProxyV4 निजी IPv4 वा स्ट्याटिक ISP प्रोक्सीहरूमा गर्दैन; दुवैमा असीमित ब्यान्डविथ हुन्छ। व्यावहारिक सीमा भनेको लक्षित साइटले तपाईंलाई कति छिटो क्रल गर्न दिन्छ भन्ने मात्र हो।

स्रोतहरू

Scrapy क्रलका लागि असीमित स्ट्याटिक IP हरू

7 देशहरूमा निजी IPv4 र US तथा Vietnam मा स्ट्याटिक ISP, एकल IP देखि ठूलो पूलसम्म, प्रत्यक्ष भोल्युम मूल्य निर्धारणसहित।

US को प्रत्यक्ष मूल्य जाँच गर्नुहोस्

Related articles

प्लेटफर्मअनुसार प्रोक्सीहरू
वेब स्क्र्यापिङका लागि प्रोक्सीहरू: असीमित ट्राफिकसहित निश्चित IP पूल
Python, Scrapy, Playwright र Selenium का लागि वेब स्क्र्यापिङ प्रोक्सी: निजी IPv4 र स्थिर ISP ठेगानाहरूको पूल, असीमित ब्यान्डविथ, निश्चित प्रति-IP मूल्य।
प्रोक्सी सेटअप
प्रमाणीकृत प्रोक्सी मार्फत Python requests, चरणबद्ध रूपमा
प्रमाणीकृत HTTP(S) प्रोक्सीबाट Python requests पठाउनुहोस्: proxies dict बनाउनुहोस्, Session मा जोड्नुहोस्, पासवर्ड इन्कोड गर्नुहोस्, सूची घुमाई IP जाँच्नुहोस्।
प्रोक्सी सेटअप
Playwright प्रोक्सी प्रमाणीकरण, प्रति context एउटा static IP
Node.js वा Python मा Playwright context लाई प्रमाणीकृत HTTP(S) प्रोक्सी दिनुहोस्, IP अनुसार timezone र locale मिलाउनुहोस् र exit ठेगाना निश्चित गर्नुहोस्।
निःशुल्क टुल्स
तपाईंको टुलले अपेक्षा गरेको ढाँचामा प्रोक्सी सूची रूपान्तरण गर्नुहोस्
आफ्नो ब्राउजरमै ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON array र FoxyProxy आयात फाइलहरू बीच बल्कमा प्रोक्सी सूची रूपान्तरण गर्नुहोस्।
प्लेटफर्मअनुसार प्रोक्सीहरू
SEO rank tracking का लागि प्रोक्सीहरू: स्थानीय खोजकर्ताले देख्ने परिणाम पृष्ठ हेर्नुहोस्
US, UK, भियतनाम, जापान र अन्य 4 बजारमा निजी IPv4 सहितका SEO rank tracking प्रोक्सी, जसले गर्दा र्याङ्किङ, लोकल प्याक र विज्ञापन स्थानीयले देखेअनुसार हुन्छन्।
प्लेटफर्मअनुसार प्रोक्सीहरू
प्रत्येक खातालाई स्थायी ठेगाना दिने Amazon सेलर प्रोक्सीहरू
Seller Central, KDP र Merch का लागि Amazon सेलर प्रोक्सी: प्रति खाता US static ISP वा UK/Japan private IPv4, तपाईंलाई मात्र भाडामा दिइने र नवीकरणमा कायम रहने।
IPV4 · united states
स्क्र्यापिङ, र्‍याङ्क ट्र्याकिङ र विज्ञापन जाँचका लागि US प्राइभेट IPv4 Proxy पूल
US private IPv4 proxy किन्नुहोस्: स्थिर अमेरिकी datacenter IP, प्रति IP एक ग्राहक र असीमित ब्यान्डविथ। Scraping, SERP ट्र्याकिङ र US विज्ञापन जाँचमा उपयोगी।
IPV4 · united kingdom
मार्केटप्लेस, खोज र क्याम्पेनहरूका लागि UK प्राइभेट IPv4 Proxy
एक ग्राहकलाई भाडामा दिइने स्ट्याटिक ब्रिटिश डेटासेन्टर IP भएको UK प्राइभेट IPv4 प्रोक्सी; eBay UK, Amazon.co.uk रिसर्च, google.co.uk र UK विज्ञापन जाँचका लागि।