Scrapy پراکسیز: meta['proxy']، مڈل ویئر کی ترتیب اور روٹیشن
ProxyV4 انجینئرنگ ٹیم کی جانب سے · Updated:
Scrapy میں، پراکسی کو ہر درخواست کے لیے request.meta['proxy'] = 'http://user:pass@ip:port' کے ذریعے سیٹ کیا جاتا ہے، اور بلٹ ان HttpProxyMiddleware (ترتیب 750) user:pass والے حصے کو Proxy-Authorization ہیڈر میں تبدیل کر دیتا ہے۔ اس سے پہلے 740 پر چلنے والا ایک چھوٹا ڈاؤن لوڈر مڈل ویئر شامل کریں، اور آپ کا اسپائیڈر بھیجی جانے والی ہر درخواست کے لیے آپ کے ProxyV4 پول سے ایک IP منتخب کر سکتا ہے۔
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP$1.85
- 3+ IPs$1.70
- 10+ IPs$1.60
- 25+ IPs$1.50
- 50+ IPs$1.40
- 100+ IPs$1.30
- 200+ IPs$1.20
- 500+ IPs$1.10
- 1 IP$1.85
- 3+ IPs$1.70
- 10+ IPs$1.60
- 25+ IPs$1.50
- 50+ IPs$1.40
- 100+ IPs$1.30
- 200+ IPs$1.20
- 500+ IPs$1.10
مڈل ویئر نمبر کیوں اہم ہے
ڈاؤن لوڈر مڈل ویئرز آؤٹ گوئنگ راستے پر صعودی ترتیب میں چلتے ہیں۔ 750 پر موجود HttpProxyMiddleware meta['proxy'] کو پڑھتا ہے، URL سے لاگ ان تفصیلات ہٹاتا ہے اور تصدیقی ہیڈر لکھتا ہے۔ اگر آپ کا اپنا مڈل ویئر بعد میں پراکسی سیٹ کرتا ہے، مثلاً 800 پر، تو بلٹ ان مڈل ویئر پہلے ہی چل چکا ہوتا ہے، اسناد کبھی تبدیل نہیں ہو پاتیں، اور پراکسی 407 کا جواب دیتی ہے۔ اپنے مڈل ویئر کو 740 پر رجسٹر کرنے سے یہ سب سے پہلے چلتا ہے۔
| سیٹنگ | تجویز کردہ ویلیو | اثر |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | اس درخواست کو دی گئی ProxyV4 پراکسی کے ذریعے بھیجتا ہے |
| آپ کے مڈل ویئر کی ترتیب | 740 | HttpProxyMiddleware (750) سے پہلے چلتا ہے، اس لیے لاگ ان انکوڈ ہو جاتا ہے |
CONCURRENT_REQUESTS_PER_IP | 2 تا 4 | فی منزل مقصود IP متوازی درخواستوں کو محدود کرتا ہے، تاکہ سرور پر زیادہ بوجھ نہ پڑے |
AUTOTHROTTLE_ENABLED | True | ٹارگٹ کے جوابی وقت کی بنیاد پر Scrapy کو تاخیر بڑھانے یا کم کرنے کی اجازت دیتا ہے |
روٹیشن مڈل ویئر کا ایک خاکہ
from_crawler()میں سیٹنگز سے پراکسی لسٹ پڑھیں اور اسے مڈل ویئر انسٹنس پر محفوظ رکھیںprocess_request()میں،request.meta['proxy'] = random.choice(self.proxies)تفویض کریں بشرطیکہ درخواست کے پاس پہلے سے پراکسی موجود نہ ہو- جب جوابی کوڈ
429یا503موصول ہو، تو مسترد شدہ پراکسی کے بجائے پول سے کسی دوسری پراکسی کے ساتھ دوبارہ کوشش کریں DOWNLOAD_DELAY = 1.0کوRANDOMIZE_DOWNLOAD_DELAY = Trueکے ساتھ ملا کر استعمال کریں تاکہ درخواستوں کے درمیان وقفہ یکساں رہنے کے بجائے بدلتا رہے
پول کا سائز طے کرنا
ایک Scrapy کرال فی منٹ بہت سی درخواستیں بھیج سکتا ہے، اس لیے IPs کی تعداد طے کرتی ہے کہ ہر ایک کو کتنی اعتدال سے استعمال کیا جاتا ہے۔ ProxyV4 کے ساتھ کم از کم آرڈر کی کوئی شرط نہیں ہے اور مقدار بڑھنے کے ساتھ فی IP قیمت کم ہوتی ہے، اور پرائیویٹ IPv4 ٹریفک غیر میٹر شدہ (ان لمیٹڈ) ہے، اس لیے بینڈوتھ کے لحاظ سے بڑے کرال پر چھوٹے کرال جتنا ہی خرچ آتا ہے۔ ہر IP صرف ایک صارف کے استعمال میں ہوتی ہے، اس لیے اس کی ساکھ محض آپ کے اپنے کرال کی عکاسی کرتی ہے کسی اور کی نہیں۔ کرال کے حجم اور اعتدال کی منصوبہ بندی کے لیے، web scraping guide دیکھیں۔
مرحلہ وار طریقہ
- 1
پراکسی URLs تیار کریں
proxy format converter کے ذریعے اپنی ProxyV4
ip:port:user:passلائنوں کوhttp://user:pass@ip:portمیں تبدیل کریں اور انہیں سیٹنگز یا کسی فائل میں محفوظ کریں۔ - 2
ProxyPoolMiddleware لکھیں
middlewares.pyمیں،process_request(self, request, spider)لاگو کریں تاکہ یہrequest.meta['proxy'] = random.choice(self.proxies)سیٹ کرے۔ - 3
اسے بلٹ ان مڈل ویئر سے پہلے رجسٹر کریں
settings.pyمیں،DOWNLOADER_MIDDLEWARESمیں'myproject.middlewares.ProxyPoolMiddleware': 740شامل کریں اورCONCURRENT_REQUESTS_PER_IP = 2سیٹ کریں۔ - 4
روٹیشن کی تصدیق کریں
scrapy shellیا ایک مختصر ٹیسٹ اسپائیڈر کے ذریعے چند بارhttps://proxyv4.com/api/my-ipفیچ کریں اور تصدیق کریں کہ رپورٹ کردہ IP آپ کے پول میں تبدیل ہو رہی ہے۔
اکثر پوچھے جانے والے سوالات
ترجیح 800 پر موجود میرے پراکسی مڈل ویئر پر 407 خرابیاں آ رہی ہیں۔ ایسا کیوں ہے؟
800 پر یہ HttpProxyMiddleware (750) کے بعد چلتا ہے، اس لیے آپ کے پراکسی URL میں موجود user:pass کبھی بھی Proxy-Authorization ہیڈر میں تبدیل نہیں ہوتا۔ اپنے مڈل ویئر کو 750 سے پہلے، مثلاً 740 پر منتقل کریں۔
کیا میں صرف ایک درخواست کے لیے پراکسی سیٹ کر سکتا ہوں؟
جی ہاں۔ جب آپ Request بنائیں تو meta={'proxy': 'http://user:pass@ip:port'} پاس کریں؛ بلٹ ان مڈل ویئر صرف اسی درخواست کے لاگ ان کو سنبھالے گا۔
کیا لاکھوں صفحات کی کرالنگ پر بینڈوتھ کی حد لاگو ہوگی؟
ProxyV4 پرائیویٹ IPv4 یا اسٹیٹک ISP پراکسیز پر نہیں؛ دونوں کے پاس لامحدود بینڈوتھ ہے۔ عملی حد صرف یہ ہے کہ ٹارگٹ ویب سائٹ آپ کو کتنی تیزی سے کرال کرنے کی اجازت دیتی ہے۔
ذرائع
Scrapy کرالز کے لیے لامحدود اسٹیٹک IPs
7 ممالک میں پرائیویٹ IPv4 اور ساتھ ہی US اور Vietnam میں اسٹیٹک ISP، ایک IP سے لے کر بڑے پول تک، فوری والیم قیمتوں کے ساتھ۔
US کی لائیو قیمتیں چیک کریں