ডেডিকেটেড IP পুলকে কেন্দ্র করে স্ক্র্যাপার ডিজাইন
Updated:
ওয়েব স্ক্র্যাপিং প্রক্সিগুলো আপনার রিকোয়েস্টগুলোকে অনেকগুলো অ্যাড্রেসে ভাগ করে দেয়, যাতে কোনো একক IP-র ওপর পুরো স্ক্র্যাপিংয়ের চাপ না পড়ে। বেশিরভাগ লক্ষ্যের জন্য প্রাইভেট IPv4 অ্যাড্রেসের পুল সবচেয়ে দ্রুত ও সাশ্রয়ী বিকল্প; যেসব সাইট ডেটাসেন্টার রেঞ্জ ব্লক করে, সেগুলোর জন্য স্ট্যাটিক ISP অ্যাড্রেস হলো নির্ভরযোগ্য সমাধান। আপনি নিজের কোডেই পুলটি রোটেট করতে পারেন, যার ফলে কোন IP দিয়ে কোন পেজ আনা হয়েছে তা সবসময় আপনার জানা থাকে।
একটিমাত্র IP কেন কাজ করা বন্ধ করে দেয়
একটি নির্দিষ্ট অ্যাড্রেস থেকে কতগুলো রিকোয়েস্ট পাঠানো যাবে, সাইটগুলো তার সীমা বেঁধে দেয়। আপনার অফিসের সংযোগ থেকে ক্রলার চালালে দ্রুতই সেই সীমা পার হয়ে যায় এবং ব্লকের প্রভাব ভবনের সবার ওপর পড়তে পারে। একটি প্রক্সি পুল কাজের চাপ ভাগ করে দেয়, আপনার নিজস্ব নেটওয়ার্ককে লগ থেকে দূরে রাখে এবং নির্দিষ্ট দেশের দর্শকরা যে পেজটি দেখতে পান, তা সংগ্রহ করার সুযোগ দেয়।
সাধারণ ব্যবহারকারী: প্রতিদ্বন্দীদের দাম ও স্টক ট্র্যাক করা ই-কমার্স টিম, উন্মুক্ত ডেটাসেট তৈরিকারী বিশ্লেষক, ভ্রমণ, রিয়েল এস্টেট ও চাকরির বিজ্ঞাপনের সংগ্রাহক এবং অন্যান্য দেশ থেকে নিজস্ব সাইট পরীক্ষা করা ডেভেলপার।
স্ট্যাটিক পুল বনাম রোটেটিং গেটওয়ে
স্ট্যাটিক পুলে ভাড়ার পুরো সময়জুড়ে অ্যাড্রেসের তালিকাটি সম্পূর্ণ আপনার থাকে। আপনার শিডিউলার প্রতিটি রিকোয়েস্ট বা সেশনের জন্য একটি IP বেছে নেয়, তা লগ করে রাখে এবং কোনো অ্যাড্রেসের গতি সীমিত করা হলে তা সরিয়ে দেয়। প্রতিটি IP সিঙ্গেল-টেন্যান্ট হওয়ায় এর সুনাম কেবল আপনার ট্রাফিকের ওপরই নির্ভর করে এবং অভ্যন্তরীণ টুলগুলোতে এই নির্দিষ্ট তালিকাটি সহজে অ্যালাউলিস্ট করা যায়।
প্রাইভেট IPv4 এবং স্ট্যাটিক ISP-তে ব্যান্ডউইথ পরিমাপ করা হয় না। বড় পেজ, ছবি এবং দীর্ঘ স্ক্র্যাপিংয়ের ক্ষেত্রে খরচ গিগাবাইট হিসেবে নয়, বরং প্রতি IP হিসেবে পরিশোধ করা হয়।
লক্ষ্যের সাথে সঠিক প্রোডাক্টের মিল করা
| টার্গেট বা লক্ষ্য | প্রোডাক্ট | কারণ |
|---|---|---|
| পাবলিক ক্যাটালগ, API ও বেশিরভাগ সাইট | Private IPv4 | দ্রুত, সাশ্রয়ী, সাতটি দেশ |
| যেসব সাইট ডেটাসেন্টার রেঞ্জ ব্লক করে | Static ISP, US বা Vietnam | ভোক্তা ISP-তে নিবন্ধিত অ্যাড্রেস |
| IPv6 সমর্থন করে এমন সাইটে বিশাল স্ক্র্যাপিং | IPv6 | প্রতি IP কম খরচে প্রচুর অ্যাড্রেস; সাইটটি IPv6 সমর্থন করে কিনা তা নিশ্চিত করুন |
| এশিয়ার স্থানীয় পেজসমূহ | Japan, South Korea, Singapore, Hong Kong বা Vietnam-এ Private IPv4 | স্থানীয় দর্শকরা যা দেখেন তা সংগ্রহ করুন |
পুলের আকার ও রিকোয়েস্টের নিয়মকানুন
- আপনার লক্ষ্যমাত্রার রিকোয়েস্ট রেটের ওপর ভিত্তি করে পুলের আকার নির্ধারণ করুন: অল্প কিছু IP-তে অতিরিক্ত চাপ দেওয়ার চেয়ে মৃদু গতিতে বেশি অ্যাড্রেস ব্যবহার করলে তা বেশিদিন সচল থাকে।
- লগ-ইন বা কার্ট সেশনের পুরো সময়টির জন্য একটি নির্দিষ্ট অ্যাড্রেস পিন করে রাখুন, তারপর পরিবর্তন করুন।
- বাস্তবধর্মী হেডার পাঠান, রিকোয়েস্টগুলোর মাঝে জিটার যোগ করুন এবং HTTP 429 ও 403 পেলে গতি কমিয়ে দিন।
- রেসপন্স যাচাই করুন যাতে ক্যাপচা পেজ এবং ব্লক পেজ কখনোই ডেটাসেটে অন্তর্ভুক্ত না হয়।
- proxy checker দিয়ে অ্যাড্রেসগুলো যাচাই করুন (একবারে সর্বোচ্চ 100 টি পর্যন্ত, পাসওয়ার্ড সংরক্ষণ করা হয় না) এবং ধীরগতির বা ব্লক হওয়াগুলো বাদ দিন।
আপনার টুলে পুল যুক্ত করার নিয়ম
প্রতিটি অ্যাড্রেস ইউজারনেম ও পাসওয়ার্ডসহ HTTP(S) বা SOCKS5-এ কাজ করে, যা Orders-এর অধীনে ip:port:user:pass ফরম্যাটে পাওয়া যায়। জনপ্রিয় লাইব্রেরিগুলো সরাসরি এটি গ্রহণ করে; সেটআপের জন্য Python requests, Scrapy, Playwright এবং Puppeteer পেজগুলো দেখুন। প্রক্সি সেটিং নেই এমন ডেস্কটপ টুলগুলো Proxifier-এর মাধ্যমে চালানো যেতে পারে। নির্দিষ্ট লক্ষ্য সম্পর্কিত তথ্যের জন্য web scraping proxy page দেখুন।
দায়িত্বশীলতার সাথে ডেটা সংগ্রহ
একটি প্রক্সি শুধু রিকোয়েস্টের উৎস পরিবর্তন করে, আপনার ডেটা সংগ্রহের অধিকার তৈরি করে না। robots.txt, সাইটের শর্তাবলী এবং আপনার ক্ষেত্রে প্রযোজ্য ডেটা সুরক্ষা আইন মেনে চলুন; এবং প্রসেস করার অধিকার নেই এমন ব্যক্তিগত ডেটা সংগ্রহ করবেন না। প্যারালাল রিকোয়েস্ট পাঠিয়ে সাইটের ওপর মাত্রাতিরিক্ত চাপ দেওয়া, আপনার নিজের নয় এমন অ্যাকাউন্ট দিয়ে লগ-ইন করে স্ক্র্যাপ করা এবং কোনো ধরনের অপব্যবহার আমাদের terms-এরও সুস্পষ্ট লঙ্ঘন।
সাধারণ প্রশ্নোত্তর
স্ক্র্যাপিংয়ের জন্য আমার কি ডেটাসেন্টার নাকি ISP প্রক্সি দিয়ে শুরু করা উচিত?
ডেটাসেন্টার। Private IPv4 দ্রুততর এবং তুলনামূলক বেশি দেশে সহজলভ্য। টার্গেট সাইট ডেটাসেন্টার রেঞ্জ ব্লক করলেই কেবল স্ট্যাটিক ISP-তে স্থানান্তর করুন। proxy type comparison পেজে এর সুবিধা-অসুবিধা ব্যাখ্যা করা হয়েছে।
রোটেটিং প্রক্সি সার্ভিস কি আবশ্যক?
না। আপনার নিজস্ব কোডের মাধ্যমে রোটেট করা একটি স্ট্যাটিক পুলের সাহায্যে কোন অ্যাড্রেস কোন রিকোয়েস্টটি পরিচালনা করবে, তার ওপর আপনার পূর্ণ নিয়ন্ত্রণ থাকে।
ট্রাফিকের ওপর কি কোনো সীমা বা মিটারিং আছে?
না। Private IPv4 এবং স্ট্যাটিক ISP-তে আনলিমিটেড ব্যান্ডউইথ রয়েছে; ভাড়ার মেয়াদের জন্য আপনি কেবল প্রতি IP হিসেবে ফি পরিশোধ করবেন।
আমি কি Scrapy বা Playwright-এর সাথে SOCKS5 ব্যবহার করতে পারি?
হ্যাঁ। পেইড প্রক্সিগুলো ইউজারনেম এবং পাসওয়ার্ডসহ HTTP(S) ও SOCKS5 সমর্থন করে; ড্যাশবোর্ডে অর্ডারের পেজ থেকে এটি SOCKS5 (বা উভয়টিতে) পরিবর্তন করুন। Scrapy-র বিল্ট-ইন মিডলওয়্যার কেবল HTTP সমর্থন করে, তাই সেখানে HTTP রাখুন। বিস্তারিত জানতে HTTP vs SOCKS5 দেখুন।
ওয়েব স্ক্র্যাপিং কি বৈধ?
এটি নির্ভর করে আপনি কী সংগ্রহ করছেন, কোথা থেকে কাজ করছেন এবং সাইটের শর্তাবলীর ওপর। robots.txt মেনে সর্বজনীন ও ব্যক্তিগত নয় এমন ডেটা সংগ্রহ করা একটি প্রচলিত সাধারণ চর্চা; আপনার প্রকল্পের নির্দিষ্ট নিয়মাবলী যাচাই করে নিন।
স্ক্র্যাপিং পুল শুরু করুন
আপনার স্ক্র্যাপিংয়ের প্রয়োজন অনুযায়ী প্রাইভেট IPv4 অ্যাড্রেসের অর্ডার দিন; পরিমাণের সাথে সাথে প্রতি IP-র খরচ কমে এবং ব্যান্ডউইথ আনলিমিটেড।
US ডেটাসেন্টারের দাম দেখুন