ওয়েব স্ক্র্যাপিংয়ের জন্য প্রক্সি: আনমিটারড ট্রাফিকসহ ফিক্সড IP পুল
Updated:
গিগাবাইট প্রতি চার্জ করা ওয়েব স্ক্র্যাপিং প্রক্সির কারণে প্রতিটি ভারী পেজের জন্য ক্রলারের খরচ বাড়ে। তাই নিয়মিত ও শিডিউল করা ক্রলারের ক্ষেত্রে আনমিটারড ট্রাফিকযুক্ত নির্দিষ্ট IP পুল ব্যবহার করাই বেশি সাশ্রয়ী। ProxyV4 সাতটি দেশে প্রাইভেট IPv4 এবং মার্কিন যুক্তরাষ্ট্র ও ভিয়েতনামে স্ট্যাটিক ISP প্রক্সি সরবরাহ করে, যার প্রতিটির মূল্য কোনো ট্রাফিক মিটারিং ছাড়া IP প্রতি নির্ধারিত। টার্গেট ওয়েবসাইট প্রতি সেকেন্ডে যতগুলো রিকোয়েস্ট নিতে পারে সে অনুযায়ী আপনার পুলের আকার ঠিক করুন; পেজের আকার যাই হোক না কেন, বিল একই থাকবে।
- 1 IP১.৮৫ US$
- 3+ IP১.৭০ US$
- 10+ IP১.৬০ US$
- 25+ IP১.৫০ US$
- 50+ IP১.৪০ US$
- 100+ IP১.৩০ US$
- 200+ IP১.২০ US$
- 500+ IP১.১০ US$
- 1 IP১.৮৫ US$
- 3+ IP১.৭০ US$
- 10+ IP১.৬০ US$
- 25+ IP১.৫০ US$
- 50+ IP১.৪০ US$
- 100+ IP১.৩০ US$
- 200+ IP১.২০ US$
- 500+ IP১.১০ US$
ক্রলারের ক্ষেত্রে প্রতি IP বনাম প্রতি GB মূল্য নির্ধারণ
| প্রশ্ন | স্ট্যাটিক পুল (প্রতি IP) | মিটারড ট্রাফিক (প্রতি GB) |
|---|---|---|
| খরচ কিসের ওপর নির্ভর করে | IP-র সংখ্যা এবং ভাড়ার মেয়াদ | HTML, JS ও অ্যাসেটসহ ডাউনলোড করা বাইট |
| পেজ ভারী হলে কী ঘটে | কিছুই না; ব্যান্ডউইথ আনলিমিটেড | পেজের সাথে বিলও বাড়ে |
| থ্রুপুট কীসে সীমাবদ্ধ হয় | প্রতিটি টার্গেটের প্রতি IP রেট লিমিট | বাজেট |
| কীভাবে স্কেল করবেন | IP যোগ করুন; পরিমাণ বাড়লে প্রতি IP-র মূল্য কমে | আরও ট্রাফিক কিনুন |
স্ক্র্যাপার কেন ব্লক হয় এবং একটি পুল যেভাবে পরিবর্তন আনে
ক্যাটালগ, লিস্টিং ও পাবলিক API স্ক্র্যাপিংয়ের ক্ষেত্রে বেশিরভাগ ব্লক আপনি কে তার ওপর নির্ভর করে না, বরং আপনি কত দ্রুত রিকোয়েস্ট পাঠাচ্ছেন তার ওপর নির্ভর করে: একটি অ্যাড্রেস কোনো সাইটের রিকোয়েস্ট সীমা অতিক্রম করলেই HTTP 429 দেয়। পরিমিত কনকারেন্সিতে রাখা 10 থেকে 100টি স্ট্যাটিক IP-র একটি পুল প্রতিটি অ্যাড্রেসকে সীমার নিচে রাখে, ফলে ক্রলার সামগ্রিকভাবে আপনার কাঙ্ক্ষিত গতিতেই চলে।
এখানে সিঙ্গেল-টেন্যান্সি সুবিধাও কাজে আসে। ভাড়ার পুরো মেয়াদে প্রতিটি ProxyV4 IP কেবল একজন গ্রাহকের অধীনে থাকে, তাই টার্গেট সাইটে ওই অ্যাড্রেসের রেট হিস্ট্রি একান্তই আপনার।
টার্গেটের সাথে পুলের সমন্বয় করা
- পাবলিক ক্যাটালগ এবং হাই-ভলিউম API: মার্কিন যুক্তরাষ্ট্র বা সিঙ্গাপুরে প্রাইভেট IPv4, যা প্রতি IP-তে সর্বনিম্ন খরচের
- ভিয়েতনামী ই-কমার্স এবং স্থানীয় পোর্টাল: দেশীয় পেজ ও স্থানীয় মূল্যের জন্য ভিয়েতনাম IPv4
- WAF-এর পেছনে থাকা হোস্টিং ASN ফিল্টার করে এমন টার্গেট: মার্কিন যুক্তরাষ্ট্র বা ভিয়েতনামে স্ট্যাটিক ISP, যা কনজিউমার ISP-তে নিবন্ধিত হওয়ায় সাধারণত কম Cloudflare চ্যালেঞ্জের মুখোমুখি হয়
- প্রতিটি রিকোয়েস্টে নতুন IP প্রয়োজন এমন টার্গেট: রোটেটিং ভিয়েতনাম প্রক্সি এখনও বিক্রি শুরু হয়নি; ওয়েটলিস্টের জন্য রোটেটিং ভিয়েতনাম পেজ দেখুন
ক্রলার সেটিংস যা স্ট্যাটিক পুলকে দীর্ঘস্থায়ী করে
প্রতিটি লাইনে স্ট্যান্ডার্ড ক্রেডেনশিয়াল ব্যবহৃত হয়, তাই Python-এ প্রক্সি কেবল proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}।
- তালিকা জুড়ে রাউন্ড-রবিন পদ্ধতিতে রিকোয়েস্ট বণ্টন করুন এবং টার্গেট ডোমেনভেদে প্রতি IP-তে প্রায় 2 থেকে 5 সেকেন্ডের র্যান্ডম জিটার যোগ করুন
requests.Session()বা পুলড ক্লায়েন্ট ব্যবহার করে কানেকশন পুনরায় ব্যবহার করুন, যাতে প্রতি রিকোয়েস্টে TLS হ্যান্ডশেকের জন্য অতিরিক্ত খরচ না হয়- Playwright এবং Puppeteer-এ যেসব ইমেজ, ফন্ট ও মিডিয়া আপনি পার্স করেন না, সেগুলো ব্লক করুন
- কোনো IP-তে HTTP 429 বা 503 দেখা দিলে তাৎক্ষণিক পুনরায় চেষ্টা না করে কুলডাউনের জন্য সেটিকে রোটেশন থেকে সরিয়ে নিন এবং কিছুটা বিরতি দিন
ধাপে ধাপে
- 1
আপনার টার্গেট অনুযায়ী পুল কিনুন
দেশভেদে পরিমাণ বেছে নিন, যেমন মার্কিন যুক্তরাষ্ট্র, জাপান বা যুক্তরাজ্য IPv4। পরিমাণ বৃদ্ধির সাথে সাথে ভলিউম টিয়ার স্বয়ংক্রিয়ভাবে প্রযোজ্য হয়।
- 2
তালিকাকে URL-এ রূপান্তর করুন
http://user:pass@ip:portস্ট্রিং বা JSON পেতেip:port:user:passলাইনগুলো প্রক্সি ফরম্যাট কনভার্টারে পেস্ট করুন। - 3
আপনার ফ্রেমওয়ার্কে পুলটি যুক্ত করুন
Python Requests, Scrapy, Selenium বা Node.js Axios-এর সেটআপ পেজগুলো ব্যবহার করুন।
- 4
প্রথম পূর্ণাঙ্গ রান করার আগে পরিমাপ করুন
প্রক্সি স্পিড টেস্ট-এর মাধ্যমে রেসপন্স টাইম পরীক্ষা করুন এবং আপনার টার্গেটের জন্য ধীরগতির যেকোনো লাইন বাদ দিন।
সাধারণ প্রশ্নোত্তর
ProxyV4 প্রক্সিতে স্ক্র্যাপিং ট্রাফিক কি মিটার করা হয়?
না। প্রাইভেট IPv4 এবং স্ট্যাটিক ISP-এর মূল্য ভাড়ার মেয়াদের জন্য আনলিমিটেড ব্যান্ডউইথসহ প্রতি IP হিসেবে নির্ধারিত।
একটি স্ট্যাটিক IP প্রতিদিন কতগুলো পেজ ফেচ করতে পারে?
এটি নির্ভর করে টার্গেটের রেট লিমিটের ওপর। ডোমেনভেদে প্রতি মিনিটে 1 থেকে 3টি রিকোয়েস্ট পাঠালে, কোনো নজরে না পড়ে একটি IP দিনে প্রায় 1,500 থেকে 4,000টি পেজ ফেচ করতে পারে।
আপনারা কি স্ক্র্যাপিংয়ের জন্য রোটেটিং প্রক্সি বিক্রি করেন?
এখনও নয়। রোটেটিং ভিয়েতনাম প্রক্সি শুধুমাত্র ওয়েটলিস্টের জন্য প্রযোজ্য। আপাতত, রাউন্ড-রবিন অ্যাসাইনমেন্টযুক্ত একটি স্ট্যাটিক পুল বেশিরভাগ শিডিউল করা ক্রলের ক্ষেত্রে একই কাজ করে।
আমি কীভাবে 50টি প্রক্সি দ্রুত Scrapy ফরম্যাটে রূপান্তর করতে পারি?
সেগুলো প্রক্সি ফরম্যাট কনভার্টারে পেস্ট করুন। এটি ব্রাউজারেই ip:port:user:pass লাইনগুলোকে URL স্ট্রিং বা একটি JSON অ্যারেতে রূপান্তর করে।
নির্দিষ্ট মাসিক খরচে একটি স্ক্র্যাপিং পুল তৈরি করুন
সাতটি দেশে প্রাইভেট IPv4 এবং মার্কিন যুক্তরাষ্ট্র ও ভিয়েতনামে স্ট্যাটিক ISP, আনলিমিটেড ট্রাফিকসহ প্রতি IP হিসেবে মূল্যায়িত।
সরাসরি US IPv4-এর মূল্য দেখুন