ProxyV4

Scrapy প্রক্সি: meta['proxy'], মিডলওয়্যার ক্রম এবং রোটেশন

· Updated:

Scrapy-তে প্রতি রিকোয়েস্টে request.meta['proxy'] = 'http://user:pass@ip:port'-এর মাধ্যমে প্রক্সি সেট করা হয় এবং বিল্ট-ইন HttpProxyMiddleware (অর্ডার 750) এর user:pass অংশটিকে একটি Proxy-Authorization হেডারে রূপান্তর করে। এর আগে 740 অর্ডারে চলে এমন একটি ছোট ডাউনলোডার মিডলওয়্যার যুক্ত করুন, যাতে আপনার স্পাইডারের পাঠানো প্রতিটি রিকোয়েস্ট আপনার ProxyV4 পুল থেকে একটি করে IP বেছে নিতে পারে।

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
প্রাইভেট IPv4 (ডেটাসেন্টার)
🇺🇸 যুক্তরাষ্ট্র
স্টকে আছে
থেকে
১.১০ US$ / IP / মাস
পরিমাণের ওপর ছাড়
  • 1 IP১.৮৫ US$
  • 3+ IP১.৭০ US$
  • 10+ IP১.৬০ US$
  • 25+ IP১.৫০ US$
  • 50+ IP১.৪০ US$
  • 100+ IP১.৩০ US$
  • 200+ IP১.২০ US$
  • 500+ IP১.১০ US$
যুক্তরাষ্ট্র কিনুন
প্রাইভেট IPv4 (ডেটাসেন্টার)
🇬🇧 United Kingdom
স্টকে আছে
থেকে
১.১০ US$ / IP / মাস
পরিমাণের ওপর ছাড়
  • 1 IP১.৮৫ US$
  • 3+ IP১.৭০ US$
  • 10+ IP১.৬০ US$
  • 25+ IP১.৫০ US$
  • 50+ IP১.৪০ US$
  • 100+ IP১.৩০ US$
  • 200+ IP১.২০ US$
  • 500+ IP১.১০ US$
United Kingdom কিনুন
প্ল্যাটফর্ম অনুযায়ী প্রক্সি:Web Scraping & CrawlingSEO & SERP TrackingAmazon

মিডলওয়্যার নম্বরটি কেন গুরুত্বপূর্ণ

রিকোয়েস্ট পাঠানোর সময় ডাউনলোডার মিডলওয়্যারগুলো ছোট থেকে বড় (ascending) ক্রমে চলে। 750-এ থাকা HttpProxyMiddleware মূলত meta['proxy'] পড়ে, URL থেকে ক্রেডেনশিয়াল আলাদা করে এবং auth হেডার লেখে। আপনার তৈরি মিডলওয়্যার যদি এর পরে প্রক্সি সেট করে (যেমন 800-এ), তবে বিল্ট-ইন মিডলওয়্যারটি আগেই রান হয়ে যাওয়ায় ক্রেডেনশিয়াল কখনোই কনভার্ট হয় না এবং প্রক্সি 407 ত্রুটি দেখায়। আপনার মিডলওয়্যারটি 740-এ রেজিস্টার করলে এটি সবার আগে রান হয়।

সেটিংপ্রস্তাবিত মানপ্রভাব
request.meta['proxy']'http://user:pass@ip:port'নির্দিষ্ট ProxyV4 প্রক্সির মাধ্যমে রিকোয়েস্টটি পাঠায়
আপনার মিডলওয়্যারের ক্রম740HttpProxyMiddleware (750)-এর আগে চলে, ফলে লগইন তথ্য এনকোড হয়
CONCURRENT_REQUESTS_PER_IP2 থেকে 4প্রতি গন্তব্য IP-তে সমান্তরাল রিকোয়েস্ট সীমিত রাখে, যা প্রতিটি সার্ভারে শালীনভাবে চাপ প্রয়োগের একটি সীমা
AUTOTHROTTLE_ENABLEDTrueটার্গেট সার্ভার কতটা দ্রুত সাড়া দিচ্ছে তার ওপর ভিত্তি করে Scrapy-কে বিরতি বাড়াতে বা কমাতে দেয়

সংক্ষেপে রোটেশন মিডলওয়্যার

  • from_crawler()-এ সেটিংস থেকে প্রক্সি তালিকা পড়ুন এবং মিডলওয়্যার ইনস্ট্যান্সে সংরক্ষণ করুন
  • রিকোয়েস্টে আগে থেকেই প্রক্সি না থাকলে, process_request()-এ request.meta['proxy'] = random.choice(self.proxies) নির্ধারণ করুন
  • কোনো রেসপন্স 429 বা 503 কোডসহ ফিরে এলে, প্রত্যাখ্যাত প্রক্সিটির বদলে পুল থেকে ভিন্ন আরেকটি প্রক্সি দিয়ে পুনরায় চেষ্টা করুন
  • DOWNLOAD_DELAY = 1.0-এর সাথে RANDOMIZE_DOWNLOAD_DELAY = True যুক্ত করুন, যাতে মেট্রোনোমের মতো নির্দিষ্ট বিরতিতে না হয়ে রিকোয়েস্টের মধ্যবর্তী সময় পরিবর্তিত হয়

পুলের আকার নির্ধারণ

একটি Scrapy ক্রল প্রতি মিনিটে প্রচুর রিকোয়েস্ট পাঠাতে পারে, তাই IP-র সংখ্যার ওপর নির্ভর করে প্রতিটি IP কতটা সতর্কতার সাথে ব্যবহৃত হচ্ছে। ProxyV4-এ কোনো ন্যূনতম অর্ডারের বাধ্যবাধকতা নেই এবং পরিমাণ বাড়ার সাথে সাথে প্রতি IP-র মূল্য কমে যায়; এছাড়া প্রাইভেট IPv4 ট্রাফিকের কোনো মিটারিং নেই, তাই ব্যান্ডউইথের ক্ষেত্রে বড় বা ছোট ক্রলের খরচ একই থাকে। প্রতিটি IP কেবল একজন গ্রাহকই ব্যবহার করেন, ফলে এর খ্যাতি বা রেপুটেশন শুধুমাত্র আপনার নিজস্ব ক্রলের ওপর নির্ভর করে, অন্য কারো নয়। ক্রলের পরিমাণ ও শালীনতার পরিকল্পনার জন্য ওয়েব স্ক্র্যাপিং গাইড দেখুন।

ধাপে ধাপে

  1. 1

    প্রক্সি URL প্রস্তুত করুন

    প্রক্সি ফরম্যাট কনভার্টার-এর সাহায্যে আপনার ProxyV4 ip:port:user:pass লাইনগুলোকে http://user:pass@ip:port-এ রূপান্তর করুন এবং সেটিংসে বা কোনো ফাইলে সংরক্ষণ করুন।

  2. 2

    ProxyPoolMiddleware লিখুন

    middlewares.py-এ process_request(self, request, spider) ইমপ্লিমেন্ট করুন যাতে এটি request.meta['proxy'] = random.choice(self.proxies) সেট করে।

  3. 3

    বিল্ট-ইন মিডলওয়্যারের আগে এটি রেজিস্টার করুন

    settings.py-এ DOWNLOADER_MIDDLEWARES-এর সাথে 'myproject.middlewares.ProxyPoolMiddleware': 740 যোগ করুন এবং CONCURRENT_REQUESTS_PER_IP = 2 সেট করুন।

  4. 4

    রোটেশন নিশ্চিত করুন

    scrapy shell বা ছোট একটি টেস্ট স্পাইডার দিয়ে কয়েকবার https://proxyv4.com/api/my-ip ফেচ করুন এবং নিশ্চিত করুন যে প্রদর্শিত IP আপনার পুলের বিভিন্ন IP-তে পরিবর্তিত হচ্ছে।

সাধারণ প্রশ্নোত্তর

আমার প্রক্সি মিডলওয়্যার প্রায়োরিটি 800-এ 407 ত্রুটি দিচ্ছে। কেন?

800-এ এটি HttpProxyMiddleware (750)-এর পরে রান হয়, তাই আপনার প্রক্সি URL-এর user:pass কখনোই Proxy-Authorization হেডারে রূপান্তরিত হয় না। আপনার মিডলওয়্যারটি 750-এর নিচে সরিয়ে আনুন, যেমন 740।

আমি কি কেবল একটি নির্দিষ্ট রিকোয়েস্টের জন্য প্রক্সি সেট করতে পারি?

হ্যাঁ। Request তৈরির সময় meta={'proxy': 'http://user:pass@ip:port'} পাস করুন; বিল্ট-ইন মিডলওয়্যার শুধুমাত্র সেই রিকোয়েস্টটির জন্যই লগইন পরিচালনা করবে।

লক্ষ লক্ষ পেজের ক্রল কি কোনো ব্যান্ডউইথ লিমিটে বাধা পাবে?

ProxyV4 প্রাইভেট IPv4 বা স্ট্যাটিক ISP প্রক্সিতে নয়; উভয়েরই আনলিমিটেড ব্যান্ডউইথ রয়েছে। ব্যবহারিক একমাত্র সীমাবদ্ধতা হলো টার্গেট সাইট আপনাকে কত দ্রুত ক্রল করার অনুমতি দিচ্ছে।

উৎসসমূহ

Scrapy ক্রলের জন্য আনমিটারড স্ট্যাটিক IP

7টি দেশে প্রাইভেট IPv4 এবং সাথে US ও Vietnam-এ স্ট্যাটিক ISP, একটি সিঙ্গেল IP থেকে শুরু করে বিশাল পুল, সরাসরি ভলিউম প্রাইসিংসহ।

US-এর লাইভ মূল্য দেখুন

Related articles

প্ল্যাটফর্ম অনুযায়ী প্রক্সি
ওয়েব স্ক্র্যাপিংয়ের জন্য প্রক্সি: আনমিটারড ট্রাফিকসহ ফিক্সড IP পুল
Python, Scrapy, Playwright ও Selenium-এর জন্য ওয়েব স্ক্র্যাপিং প্রক্সি: প্রাইভেট IPv4 ও স্ট্যাটিক ISP পুল, আনলিমিটেড ব্যান্ডউইথ ও IP-প্রতি নির্ধারিত মূল্য।
প্রক্সি সেটআপ
ধাপে ধাপে অথেনটিকেটেড প্রক্সির মাধ্যমে Python রিকোয়েস্ট
অথেনটিকেটেড HTTP(S) প্রক্সির মাধ্যমে Python রিকোয়েস্ট পাঠান: proxies ডিক্ট তৈরি, Session-এ যুক্ত করা, পাসওয়ার্ড এনকোড, তালিকা রোটেট ও আইপি যাচাই।
প্রক্সি সেটআপ
Playwright প্রক্সি প্রমাণীকরণ, কনটেক্সট প্রতি একটি স্ট্যাটিক IP
Node.js বা Python-এ প্রতিটি Playwright কনটেক্সটকে নিজস্ব অথেনটিকেটেড HTTP(S) প্রক্সি দিন, IP-র সাথে টাইমজোন ও লোকেল মেলান এবং এক্সিট অ্যাড্রেস নিশ্চিত করুন।
ফ্রি টুলস
আপনার টুলের চাহিদা অনুযায়ী প্রক্সি তালিকার ফরম্যাট পরিবর্তন করুন
ব্রাউজারেই ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON অ্যারে ও FoxyProxy ইমপোর্ট ফাইলের মধ্যে বাল্ক প্রক্সি তালিকা কনভার্ট করুন।
প্ল্যাটফর্ম অনুযায়ী প্রক্সি
SEO rank tracking প্রক্সি: স্থানীয় সার্চকারী যা দেখেন সেই ফলাফল পেজটি দেখুন
US, UK, ভিয়েতনাম, জাপানসহ আরও 4টি মার্কেটের প্রাইভেট IPv4 সহ SEO rank tracking প্রক্সি, যাতে র‍্যাংকিং, লোকাল প্যাক ও বিজ্ঞাপন স্থানীয়দের মতো দেখায়।
প্ল্যাটফর্ম অনুযায়ী প্রক্সি
Amazon সেলার প্রক্সি যা প্রতিটি অ্যাকাউন্টকে দেয় একটি স্থায়ী ঠিকানা
Seller Central, KDP ও Merch-এর Amazon সেলার প্রক্সি: অ্যাকাউন্টপ্রতি US স্ট্যাটিক ISP বা UK/Japan প্রাইভেট IPv4, যা শুধুই আপনার এবং রিনিউ করলেও একই থাকে।
IPV4 · united states
স্ক্র্যাপিং, র‍্যাঙ্ক ট্র্যাকিং এবং বিজ্ঞাপন যাচাইয়ের জন্য US প্রাইভেট IPv4 প্রক্সি পুল
US প্রাইভেট IPv4 প্রক্সি কিনুন: স্ট্যাটিক আমেরিকান ডেটাসেন্টার IP, একক গ্রাহক IP, আনলিমিটেড ব্যান্ডউইথ। স্ক্র্যাপিং, SERP ট্র্যাকিং ও US অ্যাড চেকের জন্য তৈরি।
IPV4 · united kingdom
মার্কেটপ্লেস, সার্চ এবং ক্যাম্পেইনের জন্য UK প্রাইভেট IPv4 প্রক্সি
একক গ্রাহকের জন্য স্ট্যাটিক ব্রিটিশ ডেটাসেন্টার IP সহ UK প্রাইভেট IPv4 প্রক্সি; eBay UK, Amazon.co.uk রিসার্চ, google.co.uk ট্র্যাকিং ও UK অ্যাড যাচাইয়ের জন্য।