प्रमाणीकृत प्रोक्सी मार्फत Python requests, चरणबद्ध रूपमा
ProxyV4 इन्जिनियरिङ टोलीद्वारा · Updated:
Python requests मा प्रोक्सी प्रयोग गर्न, एउटा proxies dict पास गर्नुहोस् जसको 'http' र 'https' दुवै कुञ्जीहरू http://user:pass@ip:port मा देखाउँछन्। उक्त dict लाई requests.Session() मा राख्नुहोस् र प्रोक्सीसँगको एउटै कनेक्सन प्रत्येक कलका लागि पुनः प्रयोग हुन्छ, जुन प्रति अनुरोध नयाँ खोल्नुभन्दा छिटो हुन्छ। तल: dict, session, तपाईंले सामना गर्न सक्ने त्रुटिहरू, र ProxyV4 को exit IP को एक-लाइन जाँच।
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IPUS$ १.८५
- 3+ IP हरूUS$ १.७०
- 10+ IP हरूUS$ १.६०
- 25+ IP हरूUS$ १.५०
- 50+ IP हरूUS$ १.४०
- 100+ IP हरूUS$ १.३०
- 200+ IP हरूUS$ १.२०
- 500+ IP हरूUS$ १.१०
- 1 IPUS$ १.८५
- 3+ IP हरूUS$ १.७०
- 10+ IP हरूUS$ १.६०
- 25+ IP हरूUS$ १.५०
- 50+ IP हरूUS$ १.४०
- 100+ IP हरूUS$ १.३०
- 200+ IP हरूUS$ १.२०
- 500+ IP हरूUS$ १.१०
proxies dict को व्याख्या
| सेटिङ | मान | कारण |
|---|---|---|
'http' key | 'http://user:pass@ip:port' | सादा http:// URLs का लागि प्रयोग गरिन्छ |
'https' key | 'http://user:pass@ip:port' | अझै पनि http:// प्रोक्सी URL नै हो: urllib3 ले प्रोक्सीसँग CONNECT टनेल माग्छ र यसभित्र TLS चलाउँछ |
timeout | timeout=(5, 15) | कनेक्ट हुन 5 सेकेन्ड, पढ्न 15 सेकेन्ड, जसले गर्दा निष्क्रिय लक्ष्यले थ्रेडलाई फ्रिज गर्न सक्दैन |
| Rotation | itertools.cycle(proxy_list) | पालैसँग तपाईंका स्थिर IP हरू वितरण गर्छ |
किन साधारण requests.get() भन्दा Session उत्तम हुन्छ
प्रत्येक शीर्ष-तहको requests.get() कलले नयाँ कनेक्सन पुल बनाउँछ, जसले गर्दा प्रोक्सीसँगको TCP कनेक्सन र साइटसँगको TLS ह्यान्डशेक हरेक पटक दोहोरिन्छ। Session ले कलहरूको बीचमा ती कनेक्सनहरूलाई सक्रिय राख्छ। एउटै IP मार्फत सयौं पृष्ठहरू प्राप्त गर्ने स्क्रिप्टका लागि, त्यो भिन्नता कुल सञ्चालन समयमा स्पष्ट देखिन्छ।
एकपटक s.proxies.update(proxies) सेट गर्नुहोस् र प्रत्येक s.get() तथा s.post() प्रोक्सी मार्फत जान्छ। एउटा कुरा जान्नुपर्ने: यदि वातावरणमा HTTP_PROXY वा HTTPS_PROXY सेट गरिएका छन् भने, requests ले तिनीहरूलाई session का सेटिङहरूसँग मिलाउन सक्छ; कुन प्रयोग भइरहेको छ भनी निश्चित हुन आवश्यक पर्दा कलमा नै proxies= पास गर्नुहोस्।
त्रुटिहरू र तिनीहरूलाई कसरी बुझ्ने
407 Proxy Authentication RequiredसहितकोProxyError: प्रोक्सी पहुँचयोग्य छ तर तपाईंको URL मा भएको लगइन अर्डरसँग मेल खाँदैन। 407 error page हेर्नुहोस्@,:वा/समावेश भएका पासवर्डहरूले URL बिगार्छन्; पहिले तिनीहरूलाईurllib.parse.quote(password, safe='')मार्फत इन्कोड गर्नुहोस्- प्रोक्सी URL लाई
https://मा बदल्दा प्रायः कनेक्सन टुट्छ; तपाईंको प्रोक्सी पोर्ट विशेष रूपमा TLS पोर्ट नभएसम्म दुवै कुञ्जीका लागिhttp://नै राख्नुहोस् ConnectTimeoutले प्रमाणीकरण विवरणलाई नभई IP वा पोर्टलाई औंल्याउँछ; port checker मार्फत पहुँचयोग्यता परीक्षण गर्नुहोस्
httpx र aiohttp मा उही ढाँचा
URL ढाँचा यसमा पनि लागू हुन्छ। httpx मा, httpx.Client(proxy='http://user:pass@ip:port') बनाउनुहोस्; aiohttp मा, session.get(url, proxy=...) मा proxy= पास गर्नुहोस्। समयतालिका र पुनःप्रयास सहितका ठूला क्रलहरू प्रायः Scrapy मा सजिला हुन्छन्।
चरणबद्ध रूपमा
- 1
प्रोक्सी URL बनाउनुहोस्
प्रत्येक ProxyV4
ip:port:user:passलाइनलाईhttp://user:pass@ip:portको रूपमा पुन: लेख्नुहोस्, वा proxy format converter मार्फत सम्पूर्ण सूची रूपान्तरण गर्नुहोस्। - 2
dict सिर्जना गर्नुहोस्
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}लेख्नुहोस्। - 3
यसलाई Session मा जोड्नुहोस्
s = requests.Session()बनाउनुहोस् रs.proxies.update(proxies)कल गर्नुहोस् ताकि अनुरोधहरूको बीचमा कनेक्सनहरू सक्रिय रहून्। - 4
exit IP प्रिन्ट गर्नुहोस्
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())चलाउनुहोस्; आउटपुटमा देखिने IP प्रोक्सीको हुनुपर्छ।
बारम्बार सोधिने प्रश्नहरू
'https' प्रविष्टि किन http:// URL हो?
यस स्किमले Python ले वेबसाइटसँग नभई प्रोक्सीसँग कसरी कुराकानी गर्छ भन्ने वर्णन गर्छ। urllib3 सादा HTTP मार्फत प्रोक्सीसँग जोडिन्छ, CONNECT पठाउँछ, र त्यसपछि त्यो टनेल मार्फत https:// साइटसँग TLS सञ्चालन गर्छ, जसले गर्दा पृष्ठको ट्राफिक अझै पनि इन्क्रिप्टेड नै रहन्छ।
म कसरी 25 वटा स्थिर प्रोक्सीहरूमा अनुरोधहरू बाँड्न सक्छु?
ती 25 वटा URL हरूलाई एउटा सूचीमा राख्नुहोस्, pool = itertools.cycle(PROXIES) सिर्जना गर्नुहोस्, र प्रत्येक अनुरोधका लागि p = next(pool) लिएर proxies={'http': p, 'https': p} पास गर्नुहोस्। प्रति IP उपयुक्त ढिलाइ राख्नुहोस् ताकि कुनै पनि एउटै ठेगानामा अत्यधिक भार नपरोस्।
के Python स्क्रिप्टहरूको ट्राफिक गणना गरिन्छ?
गरिँदैन। ProxyV4 का निजी IPv4 र स्थिर ISP योजनाहरू असीमित ब्यान्डविथका साथ आउँछन्, त्यसैले लामो समयसम्म चल्ने स्क्रिप्टहरूमा डेटा सीमाको समस्या हुँदैन।
स्रोतहरू
Python स्क्रिप्टहरूका लागि स्थिर IP पुल
7 देशहरूमा निजी IPv4 साथै US र Vietnam मा स्थिर ISP। एकल IP वा ब्याच किन्नुहोस्; मात्रा बढेसँगै प्रति IP मूल्य घट्छ।
प्रत्यक्ष US मूल्यहरू हेर्नुहोस्