ProxyV4

Scrapy پراکسیز: meta['proxy']، مڈل ویئر کی ترتیب اور روٹیشن

· Updated:

Scrapy میں، پراکسی کو ہر درخواست کے لیے request.meta['proxy'] = 'http://user:pass@ip:port' کے ذریعے سیٹ کیا جاتا ہے، اور بلٹ ان HttpProxyMiddleware (ترتیب 750) user:pass والے حصے کو Proxy-Authorization ہیڈر میں تبدیل کر دیتا ہے۔ اس سے پہلے 740 پر چلنے والا ایک چھوٹا ڈاؤن لوڈر مڈل ویئر شامل کریں، اور آپ کا اسپائیڈر بھیجی جانے والی ہر درخواست کے لیے آپ کے ProxyV4 پول سے ایک IP منتخب کر سکتا ہے۔

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
پرائیویٹ IPv4 (ڈیٹا سینٹر)
🇺🇸 United States
دستیاب ہے
کم از کم
$1.10 / IP / ماہانہ
تعداد پر رعایت
  • 1 IP$1.85
  • 3+ IPs$1.70
  • 10+ IPs$1.60
  • 25+ IPs$1.50
  • 50+ IPs$1.40
  • 100+ IPs$1.30
  • 200+ IPs$1.20
  • 500+ IPs$1.10
United States خریدیں
پرائیویٹ IPv4 (ڈیٹا سینٹر)
🇬🇧 برطانیہ
دستیاب ہے
کم از کم
$1.10 / IP / ماہانہ
تعداد پر رعایت
  • 1 IP$1.85
  • 3+ IPs$1.70
  • 10+ IPs$1.60
  • 25+ IPs$1.50
  • 50+ IPs$1.40
  • 100+ IPs$1.30
  • 200+ IPs$1.20
  • 500+ IPs$1.10
برطانیہ خریدیں
پلیٹ فارم کے لحاظ سے پراکسیز:Web Scraping & CrawlingSEO & SERP TrackingAmazon

مڈل ویئر نمبر کیوں اہم ہے

ڈاؤن لوڈر مڈل ویئرز آؤٹ گوئنگ راستے پر صعودی ترتیب میں چلتے ہیں۔ 750 پر موجود HttpProxyMiddleware meta['proxy'] کو پڑھتا ہے، URL سے لاگ ان تفصیلات ہٹاتا ہے اور تصدیقی ہیڈر لکھتا ہے۔ اگر آپ کا اپنا مڈل ویئر بعد میں پراکسی سیٹ کرتا ہے، مثلاً 800 پر، تو بلٹ ان مڈل ویئر پہلے ہی چل چکا ہوتا ہے، اسناد کبھی تبدیل نہیں ہو پاتیں، اور پراکسی 407 کا جواب دیتی ہے۔ اپنے مڈل ویئر کو 740 پر رجسٹر کرنے سے یہ سب سے پہلے چلتا ہے۔

سیٹنگتجویز کردہ ویلیواثر
request.meta['proxy']'http://user:pass@ip:port'اس درخواست کو دی گئی ProxyV4 پراکسی کے ذریعے بھیجتا ہے
آپ کے مڈل ویئر کی ترتیب740HttpProxyMiddleware (750) سے پہلے چلتا ہے، اس لیے لاگ ان انکوڈ ہو جاتا ہے
CONCURRENT_REQUESTS_PER_IP2 تا 4فی منزل مقصود IP متوازی درخواستوں کو محدود کرتا ہے، تاکہ سرور پر زیادہ بوجھ نہ پڑے
AUTOTHROTTLE_ENABLEDTrueٹارگٹ کے جوابی وقت کی بنیاد پر Scrapy کو تاخیر بڑھانے یا کم کرنے کی اجازت دیتا ہے

روٹیشن مڈل ویئر کا ایک خاکہ

  • from_crawler() میں سیٹنگز سے پراکسی لسٹ پڑھیں اور اسے مڈل ویئر انسٹنس پر محفوظ رکھیں
  • process_request() میں، request.meta['proxy'] = random.choice(self.proxies) تفویض کریں بشرطیکہ درخواست کے پاس پہلے سے پراکسی موجود نہ ہو
  • جب جوابی کوڈ 429 یا 503 موصول ہو، تو مسترد شدہ پراکسی کے بجائے پول سے کسی دوسری پراکسی کے ساتھ دوبارہ کوشش کریں
  • DOWNLOAD_DELAY = 1.0 کو RANDOMIZE_DOWNLOAD_DELAY = True کے ساتھ ملا کر استعمال کریں تاکہ درخواستوں کے درمیان وقفہ یکساں رہنے کے بجائے بدلتا رہے

پول کا سائز طے کرنا

ایک Scrapy کرال فی منٹ بہت سی درخواستیں بھیج سکتا ہے، اس لیے IPs کی تعداد طے کرتی ہے کہ ہر ایک کو کتنی اعتدال سے استعمال کیا جاتا ہے۔ ProxyV4 کے ساتھ کم از کم آرڈر کی کوئی شرط نہیں ہے اور مقدار بڑھنے کے ساتھ فی IP قیمت کم ہوتی ہے، اور پرائیویٹ IPv4 ٹریفک غیر میٹر شدہ (ان لمیٹڈ) ہے، اس لیے بینڈوتھ کے لحاظ سے بڑے کرال پر چھوٹے کرال جتنا ہی خرچ آتا ہے۔ ہر IP صرف ایک صارف کے استعمال میں ہوتی ہے، اس لیے اس کی ساکھ محض آپ کے اپنے کرال کی عکاسی کرتی ہے کسی اور کی نہیں۔ کرال کے حجم اور اعتدال کی منصوبہ بندی کے لیے، web scraping guide دیکھیں۔

مرحلہ وار طریقہ

  1. 1

    پراکسی URLs تیار کریں

    proxy format converter کے ذریعے اپنی ProxyV4 ip:port:user:pass لائنوں کو http://user:pass@ip:port میں تبدیل کریں اور انہیں سیٹنگز یا کسی فائل میں محفوظ کریں۔

  2. 2

    ProxyPoolMiddleware لکھیں

    middlewares.py میں، process_request(self, request, spider) لاگو کریں تاکہ یہ request.meta['proxy'] = random.choice(self.proxies) سیٹ کرے۔

  3. 3

    اسے بلٹ ان مڈل ویئر سے پہلے رجسٹر کریں

    settings.py میں، DOWNLOADER_MIDDLEWARES میں 'myproject.middlewares.ProxyPoolMiddleware': 740 شامل کریں اور CONCURRENT_REQUESTS_PER_IP = 2 سیٹ کریں۔

  4. 4

    روٹیشن کی تصدیق کریں

    scrapy shell یا ایک مختصر ٹیسٹ اسپائیڈر کے ذریعے چند بار https://proxyv4.com/api/my-ip فیچ کریں اور تصدیق کریں کہ رپورٹ کردہ IP آپ کے پول میں تبدیل ہو رہی ہے۔

اکثر پوچھے جانے والے سوالات

ترجیح 800 پر موجود میرے پراکسی مڈل ویئر پر 407 خرابیاں آ رہی ہیں۔ ایسا کیوں ہے؟

800 پر یہ HttpProxyMiddleware (750) کے بعد چلتا ہے، اس لیے آپ کے پراکسی URL میں موجود user:pass کبھی بھی Proxy-Authorization ہیڈر میں تبدیل نہیں ہوتا۔ اپنے مڈل ویئر کو 750 سے پہلے، مثلاً 740 پر منتقل کریں۔

کیا میں صرف ایک درخواست کے لیے پراکسی سیٹ کر سکتا ہوں؟

جی ہاں۔ جب آپ Request بنائیں تو meta={'proxy': 'http://user:pass@ip:port'} پاس کریں؛ بلٹ ان مڈل ویئر صرف اسی درخواست کے لاگ ان کو سنبھالے گا۔

کیا لاکھوں صفحات کی کرالنگ پر بینڈوتھ کی حد لاگو ہوگی؟

ProxyV4 پرائیویٹ IPv4 یا اسٹیٹک ISP پراکسیز پر نہیں؛ دونوں کے پاس لامحدود بینڈوتھ ہے۔ عملی حد صرف یہ ہے کہ ٹارگٹ ویب سائٹ آپ کو کتنی تیزی سے کرال کرنے کی اجازت دیتی ہے۔

ذرائع

Scrapy کرالز کے لیے لامحدود اسٹیٹک IPs

7 ممالک میں پرائیویٹ IPv4 اور ساتھ ہی US اور Vietnam میں اسٹیٹک ISP، ایک IP سے لے کر بڑے پول تک، فوری والیم قیمتوں کے ساتھ۔

US کی لائیو قیمتیں چیک کریں

Related articles

پلیٹ فارم کے لحاظ سے پراکسیز
ویب اسکریپنگ کے لیے پراکسیز: غیر محدود ٹریفک کے ساتھ IPs کا مستقل پول
Python، Scrapy، Playwright اور Selenium کے لیے ویب اسکریپنگ پراکسیز: پرائیویٹ IPv4 اور اسٹیٹک ISP کا پول، لامحدود بینڈوڈتھ اور یکساں فی IP قیمت۔
پراکسی سیٹ اپ
مستند پراکسی کے ساتھ Python requests کا مرحلہ وار طریقہ
مستند HTTP(S) پراکسی کے ذریعے Python requests بھیجیں: proxies ڈکٹ بنائیں، اسے Session سے جوڑیں، پیچیدہ پاس ورڈز انکوڈ کریں، لسٹ روٹیٹ کریں اور IP چیک کریں۔
پراکسی سیٹ اپ
Playwright پراکسی کی توثیق، فی کانٹیکسٹ ایک سٹیٹک IP
Node.js یا Python میں ہر Playwright براؤزر کانٹیکسٹ کو اپنی تصدیق شدہ HTTP(S) پراکسی دیں، ٹائم زون اور لوکیل کو IP سے ملائیں اور ایگزٹ ایڈریس کی تصدیق کریں۔
مفت ٹولز
پراکسی لسٹ کو اپنے ٹول کے مطلوبہ فارمیٹ میں تبدیل کریں
اپنے براؤزر میں پراکسی لسٹوں کو ip:port:user:pass، user:pass@ip:port، http:// URLs، SOCKS5 URIs، JSON arrays اور FoxyProxy امپورٹ فائلوں میں بلک تبدیل کریں۔
پلیٹ فارم کے لحاظ سے پراکسیز
SEO رینک ٹریکنگ کے لیے پراکسیز: وہی نتائج کا صفحہ دیکھیں جو مقامی صارف دیکھتا ہے
US، UK، ویتنام، جاپان اور چار مزید مارکیٹوں میں پرائیویٹ IPv4 کے ساتھ SEO رینک ٹریکنگ پراکسیز، تاکہ رینکنگز، لوکل پیکس اور اشتہارات مقامی نتائج سے مطابقت رکھیں۔
پلیٹ فارم کے لحاظ سے پراکسیز
Amazon سیلر پراکسیز جو ہر اکاؤنٹ کو ایک مستقل پتہ فراہم کرتی ہیں
Seller Central، KDP اور Merch کے لیے Amazon سیلر پراکسیز: فی اکاؤنٹ امریکی اسٹیٹک ISP یا UK/جاپان پرائیویٹ IPv4، صرف آپ کے لیے مخصوص اور ہر تجدید پر برقرار۔
IPV4 · united states
US پرائیویٹ IPv4 پراکسی پول برائے اسکریپنگ، رینک ٹریکنگ اور اشتہارات کی جانچ
امریکی پرائیویٹ IPv4 پراکسیز خریدیں: اسٹیٹک امریکی ڈیٹا سینٹر IPs، فی IP ایک صارف، لامحدود بینڈوڈتھ۔ سکرپنگ، SERP ٹریکنگ اور امریکی اشتہاری جانچ کے لیے تیار۔
IPV4 · united kingdom
UK پرائیویٹ IPv4 پراکسی برائے مارکیٹ پلیسز، تلاش اور مہمات
برطانیہ کی پرائیویٹ IPv4 ڈیٹا سینٹر پراکسی برائے eBay UK، Amazon.co.uk، گوگل رینکنگ اور اشتہارات کی تصدیق، صرف ایک صارف کے لیے مخصوص اور مکمل اسٹیٹک۔