ऑथेंटिकेटेड प्रॉक्सी के साथ Python requests, स्टेप-बाय-स्टेप
ProxyV4 इंजीनियरिंग टीम द्वारा · Updated:
Python requests में प्रॉक्सी का इस्तेमाल करने के लिए, एक proxies डिक्ट पास करें जिसकी 'http' और 'https' दोनों कीज़ http://user:pass@ip:port पर पॉइंट करती हों। उस डिक्ट को requests.Session() पर सेट करें, जिससे हर कॉल के लिए प्रॉक्सी से वही कनेक्शन दोबारा इस्तेमाल होगा, जो हर रिक्वेस्ट पर नया कनेक्शन खोलने की तुलना में काफी तेज़ है। नीचे: डिक्ट, सेशन, आने वाली संभावित एरर और ProxyV4 एग्ज़िट IP की एक-लाइन जांच।
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP$1.85
- 3+ IP$1.70
- 10+ IP$1.60
- 25+ IP$1.50
- 50+ IP$1.40
- 100+ IP$1.30
- 200+ IP$1.20
- 500+ IP$1.10
- 1 IP$1.85
- 3+ IP$1.70
- 10+ IP$1.60
- 25+ IP$1.50
- 50+ IP$1.40
- 100+ IP$1.30
- 200+ IP$1.20
- 500+ IP$1.10
proxies डिक्ट की पूरी जानकारी
| सेटिंग | वैल्यू | कारण |
|---|---|---|
'http' की | 'http://user:pass@ip:port' | सामान्य http:// URLs के लिए इस्तेमाल होती है |
'https' की | 'http://user:pass@ip:port' | यह अब भी एक http:// प्रॉक्सी URL है: urllib3 प्रॉक्सी से CONNECT टनल मांगता है और उसके अंदर TLS चलाता है |
timeout | timeout=(5, 15) | कनेक्ट के लिए 5 सेकंड, पढ़ने के लिए 15 सेकंड, ताकि कोई इनएक्टिव टारगेट थ्रेड को ब्लॉक न कर सके |
| रोटेशन | itertools.cycle(proxy_list) | बारी-बारी से आपके स्टैटिक IP असाइन करता है |
सादे requests.get() से बेहतर क्यों है Session
हर टॉप-लेवल requests.get() कॉल एक नया कनेक्शन पूल बनाती है, इसलिए प्रॉक्सी के साथ TCP कनेक्शन और साइट के साथ TLS हैंडशेक हर बार दोहराया जाता है। एक Session कॉल्स के बीच उन कनेक्शन्स को एक्टिव रखता है। एक ही IP से सैकड़ों पेज फेच करने वाली स्क्रिप्ट के लिए, यह अंतर कुल रन टाइम में साफ़ दिखाई देता है।
एक बार s.proxies.update(proxies) सेट करें और हर s.get() व s.post() प्रॉक्सी के ज़रिए जाएगा। एक ज़रूरी बात: अगर एनवायरनमेंट में HTTP_PROXY या HTTPS_PROXY सेट हैं, तो requests उन्हें सेशन की सेटिंग्स के साथ मिला सकता है; जब आपको पक्का करना हो कि कौन-सा इस्तेमाल हो रहा है, तो सीधे कॉल में ही proxies= पास करें।
एरर और उन्हें समझने का तरीका
407 Proxy Authentication Requiredके साथProxyError: प्रॉक्सी तक पहुंचा जा सकता है, लेकिन आपके URL में दिया गया लॉगिन ऑर्डर से मेल नहीं खाता। देखें 407 error page- जिन पासवर्ड में
@,:या/होते हैं, वे URL को बाधित कर देते हैं; उन्हें पहलेurllib.parse.quote(password, safe='')से एन्कोड करें - प्रॉक्सी URL को
https://पर स्विच करने से आमतौर पर कनेक्शन टूट जाता है; दोनों कीज़ के लिएhttp://ही रखें, जब तक कि आपका प्रॉक्सी पोर्ट विशेष रूप से कोई TLS पोर्ट न हो ConnectTimeoutका संकेत IP या पोर्ट की ओर होता है, क्रेडेंशियल्स की ओर नहीं; port checker से कनेक्टिविटी टेस्ट करें
httpx और aiohttp में भी यही पैटर्न
URL का फ़ॉर्मेट वैसा ही रहता है। httpx में, httpx.Client(proxy='http://user:pass@ip:port') बनाएं; aiohttp में, session.get(url, proxy=...) को proxy= पास करें। शेड्यूलिंग और री-ट्राई के साथ बड़े क्रॉल आमतौर पर Scrapy में अधिक आसान होते हैं।
चरण दर चरण
- 1
प्रॉक्सी URL बनाएं
हर ProxyV4
ip:port:user:passलाइन कोhttp://user:pass@ip:portके रूप में दोबारा लिखें, या पूरी लिस्ट को proxy format converter से कन्वर्ट करें। - 2
डिक्ट बनाएं
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}लिखें। - 3
इसे Session से जोड़ें
s = requests.Session()बनाएं औरs.proxies.update(proxies)कॉल करें ताकि रिक्वेस्ट्स के बीच कनेक्शन एक्टिव रहें। - 4
एग्ज़िट IP प्रिंट करें
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())रन करें; आउटपुट में दिखने वाला IP प्रॉक्सी का होना चाहिए।
अक्सर पूछे जाने वाले प्रश्न
'https' एंट्री एक http:// URL क्यों है?
यह स्कीम दर्शाती है कि Python प्रॉक्सी से कैसे संचार करता है, वेबसाइट से नहीं। urllib3 सामान्य HTTP पर प्रॉक्सी से कनेक्ट होता है, CONNECT भेजता है, और फिर उस टनल के ज़रिए https:// साइट के साथ TLS करता है, इसलिए पेज ट्रैफ़िक पूरी तरह एन्क्रिप्टेड रहता है।
25 स्टैटिक प्रॉक्सी में रिक्वेस्ट्स को कैसे बांटें?
25 URLs को एक लिस्ट में रखें, pool = itertools.cycle(PROXIES) बनाएं, और हर रिक्वेस्ट के लिए p = next(pool) लेकर proxies={'http': p, 'https': p} पास करें। हर IP के बीच उचित डिले रखें ताकि किसी एक एड्रेस पर अधिक लोड न पड़े।
क्या Python स्क्रिप्ट्स का ट्रैफ़िक मीटर्ड होता है?
नहीं। ProxyV4 प्राइवेट IPv4 और स्टैटिक ISP प्लान्स अनलिमिटेड बैंडविड्थ के साथ आते हैं, इसलिए लंबे समय तक चलने वाली स्क्रिप्ट्स में डेटा लिमिट की कोई समस्या नहीं आती।
स्रोत
Python स्क्रिप्ट्स के लिए स्टैटिक IP पूल
7 देशों में प्राइवेट IPv4 के साथ US और Vietnam में स्टैटिक ISP। एक सिंगल IP या पूरा बैच खरीदें; संख्या बढ़ने पर प्रति IP कीमत कम हो जाती है।
US की लाइव कीमतें देखें