Scrapy প্রক্সি: meta['proxy'], মিডলওয়্যার ক্রম এবং রোটেশন
ProxyV4 ইঞ্জিনিয়ারিং টিমের পক্ষ থেকে · Updated:
Scrapy-তে প্রতি রিকোয়েস্টে request.meta['proxy'] = 'http://user:pass@ip:port'-এর মাধ্যমে প্রক্সি সেট করা হয় এবং বিল্ট-ইন HttpProxyMiddleware (অর্ডার 750) এর user:pass অংশটিকে একটি Proxy-Authorization হেডারে রূপান্তর করে। এর আগে 740 অর্ডারে চলে এমন একটি ছোট ডাউনলোডার মিডলওয়্যার যুক্ত করুন, যাতে আপনার স্পাইডারের পাঠানো প্রতিটি রিকোয়েস্ট আপনার ProxyV4 পুল থেকে একটি করে IP বেছে নিতে পারে।
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP১.৮৫ US$
- 3+ IP১.৭০ US$
- 10+ IP১.৬০ US$
- 25+ IP১.৫০ US$
- 50+ IP১.৪০ US$
- 100+ IP১.৩০ US$
- 200+ IP১.২০ US$
- 500+ IP১.১০ US$
- 1 IP১.৮৫ US$
- 3+ IP১.৭০ US$
- 10+ IP১.৬০ US$
- 25+ IP১.৫০ US$
- 50+ IP১.৪০ US$
- 100+ IP১.৩০ US$
- 200+ IP১.২০ US$
- 500+ IP১.১০ US$
মিডলওয়্যার নম্বরটি কেন গুরুত্বপূর্ণ
রিকোয়েস্ট পাঠানোর সময় ডাউনলোডার মিডলওয়্যারগুলো ছোট থেকে বড় (ascending) ক্রমে চলে। 750-এ থাকা HttpProxyMiddleware মূলত meta['proxy'] পড়ে, URL থেকে ক্রেডেনশিয়াল আলাদা করে এবং auth হেডার লেখে। আপনার তৈরি মিডলওয়্যার যদি এর পরে প্রক্সি সেট করে (যেমন 800-এ), তবে বিল্ট-ইন মিডলওয়্যারটি আগেই রান হয়ে যাওয়ায় ক্রেডেনশিয়াল কখনোই কনভার্ট হয় না এবং প্রক্সি 407 ত্রুটি দেখায়। আপনার মিডলওয়্যারটি 740-এ রেজিস্টার করলে এটি সবার আগে রান হয়।
| সেটিং | প্রস্তাবিত মান | প্রভাব |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | নির্দিষ্ট ProxyV4 প্রক্সির মাধ্যমে রিকোয়েস্টটি পাঠায় |
| আপনার মিডলওয়্যারের ক্রম | 740 | HttpProxyMiddleware (750)-এর আগে চলে, ফলে লগইন তথ্য এনকোড হয় |
CONCURRENT_REQUESTS_PER_IP | 2 থেকে 4 | প্রতি গন্তব্য IP-তে সমান্তরাল রিকোয়েস্ট সীমিত রাখে, যা প্রতিটি সার্ভারে শালীনভাবে চাপ প্রয়োগের একটি সীমা |
AUTOTHROTTLE_ENABLED | True | টার্গেট সার্ভার কতটা দ্রুত সাড়া দিচ্ছে তার ওপর ভিত্তি করে Scrapy-কে বিরতি বাড়াতে বা কমাতে দেয় |
সংক্ষেপে রোটেশন মিডলওয়্যার
from_crawler()-এ সেটিংস থেকে প্রক্সি তালিকা পড়ুন এবং মিডলওয়্যার ইনস্ট্যান্সে সংরক্ষণ করুন- রিকোয়েস্টে আগে থেকেই প্রক্সি না থাকলে,
process_request()-এrequest.meta['proxy'] = random.choice(self.proxies)নির্ধারণ করুন - কোনো রেসপন্স
429বা503কোডসহ ফিরে এলে, প্রত্যাখ্যাত প্রক্সিটির বদলে পুল থেকে ভিন্ন আরেকটি প্রক্সি দিয়ে পুনরায় চেষ্টা করুন DOWNLOAD_DELAY = 1.0-এর সাথেRANDOMIZE_DOWNLOAD_DELAY = Trueযুক্ত করুন, যাতে মেট্রোনোমের মতো নির্দিষ্ট বিরতিতে না হয়ে রিকোয়েস্টের মধ্যবর্তী সময় পরিবর্তিত হয়
পুলের আকার নির্ধারণ
একটি Scrapy ক্রল প্রতি মিনিটে প্রচুর রিকোয়েস্ট পাঠাতে পারে, তাই IP-র সংখ্যার ওপর নির্ভর করে প্রতিটি IP কতটা সতর্কতার সাথে ব্যবহৃত হচ্ছে। ProxyV4-এ কোনো ন্যূনতম অর্ডারের বাধ্যবাধকতা নেই এবং পরিমাণ বাড়ার সাথে সাথে প্রতি IP-র মূল্য কমে যায়; এছাড়া প্রাইভেট IPv4 ট্রাফিকের কোনো মিটারিং নেই, তাই ব্যান্ডউইথের ক্ষেত্রে বড় বা ছোট ক্রলের খরচ একই থাকে। প্রতিটি IP কেবল একজন গ্রাহকই ব্যবহার করেন, ফলে এর খ্যাতি বা রেপুটেশন শুধুমাত্র আপনার নিজস্ব ক্রলের ওপর নির্ভর করে, অন্য কারো নয়। ক্রলের পরিমাণ ও শালীনতার পরিকল্পনার জন্য ওয়েব স্ক্র্যাপিং গাইড দেখুন।
ধাপে ধাপে
- 1
প্রক্সি URL প্রস্তুত করুন
প্রক্সি ফরম্যাট কনভার্টার-এর সাহায্যে আপনার ProxyV4
ip:port:user:passলাইনগুলোকেhttp://user:pass@ip:port-এ রূপান্তর করুন এবং সেটিংসে বা কোনো ফাইলে সংরক্ষণ করুন। - 2
ProxyPoolMiddleware লিখুন
middlewares.py-এprocess_request(self, request, spider)ইমপ্লিমেন্ট করুন যাতে এটিrequest.meta['proxy'] = random.choice(self.proxies)সেট করে। - 3
বিল্ট-ইন মিডলওয়্যারের আগে এটি রেজিস্টার করুন
settings.py-এDOWNLOADER_MIDDLEWARES-এর সাথে'myproject.middlewares.ProxyPoolMiddleware': 740যোগ করুন এবংCONCURRENT_REQUESTS_PER_IP = 2সেট করুন। - 4
রোটেশন নিশ্চিত করুন
scrapy shellবা ছোট একটি টেস্ট স্পাইডার দিয়ে কয়েকবারhttps://proxyv4.com/api/my-ipফেচ করুন এবং নিশ্চিত করুন যে প্রদর্শিত IP আপনার পুলের বিভিন্ন IP-তে পরিবর্তিত হচ্ছে।
সাধারণ প্রশ্নোত্তর
আমার প্রক্সি মিডলওয়্যার প্রায়োরিটি 800-এ 407 ত্রুটি দিচ্ছে। কেন?
800-এ এটি HttpProxyMiddleware (750)-এর পরে রান হয়, তাই আপনার প্রক্সি URL-এর user:pass কখনোই Proxy-Authorization হেডারে রূপান্তরিত হয় না। আপনার মিডলওয়্যারটি 750-এর নিচে সরিয়ে আনুন, যেমন 740।
আমি কি কেবল একটি নির্দিষ্ট রিকোয়েস্টের জন্য প্রক্সি সেট করতে পারি?
হ্যাঁ। Request তৈরির সময় meta={'proxy': 'http://user:pass@ip:port'} পাস করুন; বিল্ট-ইন মিডলওয়্যার শুধুমাত্র সেই রিকোয়েস্টটির জন্যই লগইন পরিচালনা করবে।
লক্ষ লক্ষ পেজের ক্রল কি কোনো ব্যান্ডউইথ লিমিটে বাধা পাবে?
ProxyV4 প্রাইভেট IPv4 বা স্ট্যাটিক ISP প্রক্সিতে নয়; উভয়েরই আনলিমিটেড ব্যান্ডউইথ রয়েছে। ব্যবহারিক একমাত্র সীমাবদ্ধতা হলো টার্গেট সাইট আপনাকে কত দ্রুত ক্রল করার অনুমতি দিচ্ছে।
উৎসসমূহ
Scrapy ক্রলের জন্য আনমিটারড স্ট্যাটিক IP
7টি দেশে প্রাইভেট IPv4 এবং সাথে US ও Vietnam-এ স্ট্যাটিক ISP, একটি সিঙ্গেল IP থেকে শুরু করে বিশাল পুল, সরাসরি ভলিউম প্রাইসিংসহ।
US-এর লাইভ মূল্য দেখুন