مستند پراکسی کے ساتھ Python requests کا مرحلہ وار طریقہ
ProxyV4 انجینئرنگ ٹیم کی جانب سے · Updated:
Python requests میں پراکسی استعمال کرنے کے لیے ایک proxies ڈکشنری پاس کریں جس کی 'http' اور 'https' دونوں کیز http://user:pass@ip:port کی طرف اشارہ کرتی ہوں۔ اس ڈکٹ کو requests.Session() پر سیٹ کریں تاکہ ہر کال کے لیے پراکسی سے وہی کنکشن دوبارہ استعمال ہو، جو کہ ہر ریکویسٹ پر نیا کنکشن کھولنے سے کہیں زیادہ تیز ہے۔ نیچے: ڈکشنری، سیشن، عام پیش آنے والی غلطیاں، اور ProxyV4 ایگزٹ IP کی ایک سطر میں تصدیق۔
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP$1.85
- 3+ IPs$1.70
- 10+ IPs$1.60
- 25+ IPs$1.50
- 50+ IPs$1.40
- 100+ IPs$1.30
- 200+ IPs$1.20
- 500+ IPs$1.10
- 1 IP$1.85
- 3+ IPs$1.70
- 10+ IPs$1.60
- 25+ IPs$1.50
- 50+ IPs$1.40
- 100+ IPs$1.30
- 200+ IPs$1.20
- 500+ IPs$1.10
proxies ڈکشنری کی وضاحت
| سیٹنگ | ویلیو | وجہ |
|---|---|---|
'http' کی | 'http://user:pass@ip:port' | سادہ http:// یو آر ایل کے لیے استعمال ہوتی ہے |
'https' کی | 'http://user:pass@ip:port' | یہ اب بھی ایک http:// پراکسی یو آر ایل ہے: urllib3 پراکسی سے CONNECT ٹنل کی درخواست کرتا ہے اور اس کے اندر TLS چلاتا ہے |
timeout | timeout=(5, 15) | کنیکٹ کے لیے 5 سیکنڈ، ریڈ کے لیے 15 سیکنڈ، تاکہ غیر فعال ٹارگٹ تھریڈ کو جام نہ کر سکے |
| روٹیشن | itertools.cycle(proxy_list) | آپ کے اسٹیٹک آئی پیز کو باری باری استعمال میں لاتا ہے |
سیشن سادہ requests.get() سے بہتر کیوں ہے
ہر ٹاپ لیول requests.get() کال ایک نیا کنکشن پول بناتی ہے، اس لیے پراکسی کے ساتھ TCP کنکشن اور سائٹ کے ساتھ TLS ہینڈ شیک ہر بار دہرائے جاتے ہیں۔ ایک Session کالز کے درمیان ان کنکشنز کو برقرار رکھتا ہے۔ ایک ہی IP کے ذریعے سینکڑوں صفحات لانے والے اسکرپٹ کے لیے، یہ فرق کل رن ٹائم میں واضح نظر آتا ہے۔
ایک بار s.proxies.update(proxies) سیٹ کر دیں اور ہر s.get() اور s.post() پراکسی سے گزر کر جائے گی۔ ایک بات کا دھیان رکھیں: اگر ماحول میں HTTP_PROXY یا HTTPS_PROXY سیٹ ہیں، تو requests انہیں سیشن کی ترتیبات کے ساتھ ملا سکتا ہے؛ جب آپ کو یقینی بنانا ہو کہ کون سی استعمال ہو رہی ہے تو خود کال پر proxies= پاس کریں۔
غلطیاں اور ان کی شناخت کا طریقہ
ProxyErrorمع407 Proxy Authentication Required: پراکسی قابل رسائی ہے لیکن آپ کے یو آر ایل میں موجود لاگ ان آرڈر سے میل نہیں کھاتا۔ دیکھیں 407 error page- ایسے پاس ورڈز جن میں
@،:یا/شامل ہوں یو آر ایل کو خراب کر دیتے ہیں؛ انہیں پہلےurllib.parse.quote(password, safe='')سے انکوڈ کریں - پراکسی یو آر ایل کو
https://پر تبدیل کرنا عام طور پر کنکشن کو توڑ دیتا ہے؛ دونوں کیز کے لیےhttp://ہی رکھیں تاوقتیکہ آپ کا پراکسی پورٹ خاص طور پر ایک TLS پورٹ نہ ہو ConnectTimeoutکا اشارہ IP یا پورٹ کی طرف ہوتا ہے، نہ کہ لاگ ان تفصیلات کی طرف؛ port checker سے رسائی کی جانچ کریں
httpx اور aiohttp میں یہی طریقہ
یو آر ایل فارمیٹ اسی طرح برقرار رہتا ہے۔ httpx میں httpx.Client(proxy='http://user:pass@ip:port') بنائیں؛ aiohttp میں session.get(url, proxy=...) کو proxy= پاس کریں۔ شیڈولنگ اور ری ٹرائز کے ساتھ بڑے کرالز عام طور پر Scrapy میں زیادہ آسان ہوتے ہیں۔
مرحلہ وار طریقہ
- 1
پراکسی یو آر ایل بنائیں
ہر ProxyV4
ip:port:user:passسطر کوhttp://user:pass@ip:portکے طور پر دوبارہ لکھیں، یا proxy format converter کی مدد سے پوری فہرست کو تبدیل کریں۔ - 2
ڈکشنری بنائیں
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}لکھیں۔ - 3
اسے سیشن کے ساتھ جوڑیں
s = requests.Session()بنائیں اورs.proxies.update(proxies)کال کریں تاکہ ریکویسٹس کے درمیان کنکشنز برقرار رہیں۔ - 4
ایگزٹ IP پرنٹ کریں
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())چلائیں؛ آؤٹ پٹ میں نظر آنے والا IP پراکسی کا ہونا چاہیے۔
اکثر پوچھے جانے والے سوالات
'https' انٹری ایک http:// یو آر ایل کیوں ہے؟
یہ اسکیم اس بات کی وضاحت کرتی ہے کہ Python پراکسی سے کیسے بات کرتا ہے، نہ کہ ویب سائٹ سے۔ urllib3 پراکسی سے سادہ HTTP پر جڑتا ہے، CONNECT بھیجتا ہے، اور پھر اس ٹنل کے ذریعے https:// سائٹ کے ساتھ TLS انجام دیتا ہے، لہذا صفحے کا ٹریفک بدستور انکرپٹڈ رہتا ہے۔
میں 25 اسٹیٹک پراکسیز پر ریکویسٹس کو کیسے تقسیم کروں؟
ان 25 یو آر ایلز کو ایک لسٹ میں رکھیں، pool = itertools.cycle(PROXIES) بنائیں، اور ہر ریکویسٹ کے لیے p = next(pool) لے کر proxies={'http': p, 'https': p} پاس کریں۔ ہر IP کے لیے مناسب وقفہ رکھیں تاکہ کسی ایک ایڈریس پر بوجھ نہ پڑے۔
کیا Python اسکرپٹس کا ٹریفک ناپا جاتا ہے؟
نہیں۔ ProxyV4 کے پرائیویٹ IPv4 اور اسٹیٹک ISP پلینز لامحدود بینڈوڈتھ کے ساتھ آتے ہیں، اس لیے طویل عرصے تک چلنے والے اسکرپٹس کسی ڈیٹا کیپ کی حد سے نہیں ٹکراتے۔
ذرائع
Python اسکرپٹس کے لیے اسٹیٹک IP پول
7 ممالک میں پرائیویٹ IPv4 کے ساتھ امریکہ اور ویتنام میں اسٹیٹک ISP۔ ایک IP خریدیں یا مکمل بیچ؛ تعداد بڑھنے کے ساتھ فی IP قیمت کم ہوتی ہے۔
امریکہ کی تازہ ترین قیمتیں دیکھیں