ProxyV4

ডেডিকেটেড IP পুলকে কেন্দ্র করে স্ক্র্যাপার ডিজাইন

Updated:

ওয়েব স্ক্র্যাপিং প্রক্সিগুলো আপনার রিকোয়েস্টগুলোকে অনেকগুলো অ্যাড্রেসে ভাগ করে দেয়, যাতে কোনো একক IP-র ওপর পুরো স্ক্র্যাপিংয়ের চাপ না পড়ে। বেশিরভাগ লক্ষ্যের জন্য প্রাইভেট IPv4 অ্যাড্রেসের পুল সবচেয়ে দ্রুত ও সাশ্রয়ী বিকল্প; যেসব সাইট ডেটাসেন্টার রেঞ্জ ব্লক করে, সেগুলোর জন্য স্ট্যাটিক ISP অ্যাড্রেস হলো নির্ভরযোগ্য সমাধান। আপনি নিজের কোডেই পুলটি রোটেট করতে পারেন, যার ফলে কোন IP দিয়ে কোন পেজ আনা হয়েছে তা সবসময় আপনার জানা থাকে।

একটিমাত্র IP কেন কাজ করা বন্ধ করে দেয়

একটি নির্দিষ্ট অ্যাড্রেস থেকে কতগুলো রিকোয়েস্ট পাঠানো যাবে, সাইটগুলো তার সীমা বেঁধে দেয়। আপনার অফিসের সংযোগ থেকে ক্রলার চালালে দ্রুতই সেই সীমা পার হয়ে যায় এবং ব্লকের প্রভাব ভবনের সবার ওপর পড়তে পারে। একটি প্রক্সি পুল কাজের চাপ ভাগ করে দেয়, আপনার নিজস্ব নেটওয়ার্ককে লগ থেকে দূরে রাখে এবং নির্দিষ্ট দেশের দর্শকরা যে পেজটি দেখতে পান, তা সংগ্রহ করার সুযোগ দেয়।

সাধারণ ব্যবহারকারী: প্রতিদ্বন্দীদের দাম ও স্টক ট্র্যাক করা ই-কমার্স টিম, উন্মুক্ত ডেটাসেট তৈরিকারী বিশ্লেষক, ভ্রমণ, রিয়েল এস্টেট ও চাকরির বিজ্ঞাপনের সংগ্রাহক এবং অন্যান্য দেশ থেকে নিজস্ব সাইট পরীক্ষা করা ডেভেলপার।

স্ট্যাটিক পুল বনাম রোটেটিং গেটওয়ে

স্ট্যাটিক পুলে ভাড়ার পুরো সময়জুড়ে অ্যাড্রেসের তালিকাটি সম্পূর্ণ আপনার থাকে। আপনার শিডিউলার প্রতিটি রিকোয়েস্ট বা সেশনের জন্য একটি IP বেছে নেয়, তা লগ করে রাখে এবং কোনো অ্যাড্রেসের গতি সীমিত করা হলে তা সরিয়ে দেয়। প্রতিটি IP সিঙ্গেল-টেন্যান্ট হওয়ায় এর সুনাম কেবল আপনার ট্রাফিকের ওপরই নির্ভর করে এবং অভ্যন্তরীণ টুলগুলোতে এই নির্দিষ্ট তালিকাটি সহজে অ্যালাউলিস্ট করা যায়।

প্রাইভেট IPv4 এবং স্ট্যাটিক ISP-তে ব্যান্ডউইথ পরিমাপ করা হয় না। বড় পেজ, ছবি এবং দীর্ঘ স্ক্র্যাপিংয়ের ক্ষেত্রে খরচ গিগাবাইট হিসেবে নয়, বরং প্রতি IP হিসেবে পরিশোধ করা হয়।

লক্ষ্যের সাথে সঠিক প্রোডাক্টের মিল করা

টার্গেট বা লক্ষ্যপ্রোডাক্টকারণ
পাবলিক ক্যাটালগ, API ও বেশিরভাগ সাইটPrivate IPv4দ্রুত, সাশ্রয়ী, সাতটি দেশ
যেসব সাইট ডেটাসেন্টার রেঞ্জ ব্লক করেStatic ISP, US বা Vietnamভোক্তা ISP-তে নিবন্ধিত অ্যাড্রেস
IPv6 সমর্থন করে এমন সাইটে বিশাল স্ক্র্যাপিংIPv6প্রতি IP কম খরচে প্রচুর অ্যাড্রেস; সাইটটি IPv6 সমর্থন করে কিনা তা নিশ্চিত করুন
এশিয়ার স্থানীয় পেজসমূহJapan, South Korea, Singapore, Hong Kong বা Vietnam-এ Private IPv4স্থানীয় দর্শকরা যা দেখেন তা সংগ্রহ করুন

পুলের আকার ও রিকোয়েস্টের নিয়মকানুন

  • আপনার লক্ষ্যমাত্রার রিকোয়েস্ট রেটের ওপর ভিত্তি করে পুলের আকার নির্ধারণ করুন: অল্প কিছু IP-তে অতিরিক্ত চাপ দেওয়ার চেয়ে মৃদু গতিতে বেশি অ্যাড্রেস ব্যবহার করলে তা বেশিদিন সচল থাকে।
  • লগ-ইন বা কার্ট সেশনের পুরো সময়টির জন্য একটি নির্দিষ্ট অ্যাড্রেস পিন করে রাখুন, তারপর পরিবর্তন করুন।
  • বাস্তবধর্মী হেডার পাঠান, রিকোয়েস্টগুলোর মাঝে জিটার যোগ করুন এবং HTTP 429 ও 403 পেলে গতি কমিয়ে দিন।
  • রেসপন্স যাচাই করুন যাতে ক্যাপচা পেজ এবং ব্লক পেজ কখনোই ডেটাসেটে অন্তর্ভুক্ত না হয়।
  • proxy checker দিয়ে অ্যাড্রেসগুলো যাচাই করুন (একবারে সর্বোচ্চ 100 টি পর্যন্ত, পাসওয়ার্ড সংরক্ষণ করা হয় না) এবং ধীরগতির বা ব্লক হওয়াগুলো বাদ দিন।

আপনার টুলে পুল যুক্ত করার নিয়ম

প্রতিটি অ্যাড্রেস ইউজারনেম ও পাসওয়ার্ডসহ HTTP(S) বা SOCKS5-এ কাজ করে, যা Orders-এর অধীনে ip:port:user:pass ফরম্যাটে পাওয়া যায়। জনপ্রিয় লাইব্রেরিগুলো সরাসরি এটি গ্রহণ করে; সেটআপের জন্য Python requests, Scrapy, Playwright এবং Puppeteer পেজগুলো দেখুন। প্রক্সি সেটিং নেই এমন ডেস্কটপ টুলগুলো Proxifier-এর মাধ্যমে চালানো যেতে পারে। নির্দিষ্ট লক্ষ্য সম্পর্কিত তথ্যের জন্য web scraping proxy page দেখুন।

দায়িত্বশীলতার সাথে ডেটা সংগ্রহ

একটি প্রক্সি শুধু রিকোয়েস্টের উৎস পরিবর্তন করে, আপনার ডেটা সংগ্রহের অধিকার তৈরি করে না। robots.txt, সাইটের শর্তাবলী এবং আপনার ক্ষেত্রে প্রযোজ্য ডেটা সুরক্ষা আইন মেনে চলুন; এবং প্রসেস করার অধিকার নেই এমন ব্যক্তিগত ডেটা সংগ্রহ করবেন না। প্যারালাল রিকোয়েস্ট পাঠিয়ে সাইটের ওপর মাত্রাতিরিক্ত চাপ দেওয়া, আপনার নিজের নয় এমন অ্যাকাউন্ট দিয়ে লগ-ইন করে স্ক্র্যাপ করা এবং কোনো ধরনের অপব্যবহার আমাদের terms-এরও সুস্পষ্ট লঙ্ঘন।

সাধারণ প্রশ্নোত্তর

স্ক্র্যাপিংয়ের জন্য আমার কি ডেটাসেন্টার নাকি ISP প্রক্সি দিয়ে শুরু করা উচিত?

ডেটাসেন্টার। Private IPv4 দ্রুততর এবং তুলনামূলক বেশি দেশে সহজলভ্য। টার্গেট সাইট ডেটাসেন্টার রেঞ্জ ব্লক করলেই কেবল স্ট্যাটিক ISP-তে স্থানান্তর করুন। proxy type comparison পেজে এর সুবিধা-অসুবিধা ব্যাখ্যা করা হয়েছে।

রোটেটিং প্রক্সি সার্ভিস কি আবশ্যক?

না। আপনার নিজস্ব কোডের মাধ্যমে রোটেট করা একটি স্ট্যাটিক পুলের সাহায্যে কোন অ্যাড্রেস কোন রিকোয়েস্টটি পরিচালনা করবে, তার ওপর আপনার পূর্ণ নিয়ন্ত্রণ থাকে।

ট্রাফিকের ওপর কি কোনো সীমা বা মিটারিং আছে?

না। Private IPv4 এবং স্ট্যাটিক ISP-তে আনলিমিটেড ব্যান্ডউইথ রয়েছে; ভাড়ার মেয়াদের জন্য আপনি কেবল প্রতি IP হিসেবে ফি পরিশোধ করবেন।

আমি কি Scrapy বা Playwright-এর সাথে SOCKS5 ব্যবহার করতে পারি?

হ্যাঁ। পেইড প্রক্সিগুলো ইউজারনেম এবং পাসওয়ার্ডসহ HTTP(S) ও SOCKS5 সমর্থন করে; ড্যাশবোর্ডে অর্ডারের পেজ থেকে এটি SOCKS5 (বা উভয়টিতে) পরিবর্তন করুন। Scrapy-র বিল্ট-ইন মিডলওয়্যার কেবল HTTP সমর্থন করে, তাই সেখানে HTTP রাখুন। বিস্তারিত জানতে HTTP vs SOCKS5 দেখুন।

ওয়েব স্ক্র্যাপিং কি বৈধ?

এটি নির্ভর করে আপনি কী সংগ্রহ করছেন, কোথা থেকে কাজ করছেন এবং সাইটের শর্তাবলীর ওপর। robots.txt মেনে সর্বজনীন ও ব্যক্তিগত নয় এমন ডেটা সংগ্রহ করা একটি প্রচলিত সাধারণ চর্চা; আপনার প্রকল্পের নির্দিষ্ট নিয়মাবলী যাচাই করে নিন।

স্ক্র্যাপিং পুল শুরু করুন

আপনার স্ক্র্যাপিংয়ের প্রয়োজন অনুযায়ী প্রাইভেট IPv4 অ্যাড্রেসের অর্ডার দিন; পরিমাণের সাথে সাথে প্রতি IP-র খরচ কমে এবং ব্যান্ডউইথ আনলিমিটেড।

US ডেটাসেন্টারের দাম দেখুন

Related articles

ব্যবহারের ক্ষেত্র
সঠিক লোকাল পজিশন জানার জন্য র‍্যাঙ্ক ট্র্যাকিং সেটআপ তৈরি করুন
স্থানীয় সার্চারদের মতোই Google র‍্যাঙ্কিং যাচাই করুন: প্রতি মার্কেটের জন্য একটি করে IP নিন, কুয়েরির গতি ঠিক রাখুন এবং র‍্যাঙ্কিং ডেটা নষ্টকারী ভুলগুলো এড়ান।
প্ল্যাটফর্ম অনুযায়ী প্রক্সি
ওয়েব স্ক্র্যাপিংয়ের জন্য প্রক্সি: আনমিটারড ট্রাফিকসহ ফিক্সড IP পুল
Python, Scrapy, Playwright ও Selenium-এর জন্য ওয়েব স্ক্র্যাপিং প্রক্সি: প্রাইভেট IPv4 ও স্ট্যাটিক ISP পুল, আনলিমিটেড ব্যান্ডউইথ ও IP-প্রতি নির্ধারিত মূল্য।
নলেজ বেস
Datacenter, ISP নাকি Residential: তিন ধরণের প্রক্সি IP-র ব্যাখ্যা
ISP, datacenter ও residential প্রক্সি: কার আইপি, কোথায় চলে, মেয়াদ কতদিন, বিলিং কীভাবে হয় এবং অ্যাকাউন্ট, বিজ্ঞাপন বা ডেটা সংগ্রহের জন্য কোনটি উপযুক্ত তা জানুন।
প্রক্সি সেটআপ
Scrapy প্রক্সি: meta['proxy'], মিডলওয়্যার ক্রম এবং রোটেশন
Scrapy-তে অথেনটিকেটেড HTTP(S) প্রক্সি: request.meta['proxy'] সেট করুন, HttpProxyMiddleware (750)-এর আগে মিডলওয়্যার রাখুন, IP রোটেট ও ক্রলের গতি নিয়ন্ত্রণ করুন।
ফ্রি টুলস
একসাথে প্রক্সি চেক করুন: স্ট্যাটাস, এক্সিট IP ও লেটেন্সি
ফ্রি অনলাইন প্রক্সি চেকার: একসাথে 100টি ip:port:user:pass লাইন পেস্ট করে কাজের প্রক্সি, এক্সিট IP ও লেটেন্সি জানুন এবং প্রতিটি ফেইলিওর রেজাল্টের কারণ বুঝুন।
ISP · vietnam
প্রধান শপ এবং বিজ্ঞাপন অ্যাকাউন্টের জন্য ভিয়েতনাম স্ট্যাটিক ISP প্রক্সি
ভিয়েতনামী কনজিউমার প্রোভাইডারে রেজিস্টার্ড আইপিতে স্ট্যাটিক ISP প্রক্সি। মূল Shopee শপ, TikTok Shop, Facebook অ্যাড অ্যাকাউন্ট ও Zalo OA-এর জন্য ফিক্সড আইপি।
ISP · united states
US স্ট্যাটিক ISP প্রক্সি: বাসাবাড়ির ঠিকানায় নিবন্ধিত একটি IP যা কখনো পরিবর্তিত হয় না
ভোক্তা ইন্টারনেট প্রোভাইডারে নিবন্ধিত ইউএস স্ট্যাটিক ISP প্রক্সি। Amazon বিক্রেতা, অ্যাড অ্যাকাউন্ট ও Instagram-এর জন্য অ্যাকাউন্টপ্রতি একটি ফিক্সড আমেরিকান IP।
প্ল্যাটফর্ম অনুযায়ী প্রক্সি
একাধিক স্টোর পরিচালনাকারী TikTok Shop বিক্রেতাদের জন্য প্রক্সি
একাধিক স্টোরের বিক্রেতাদের জন্য TikTok Shop প্রক্সি: US, Vietnam, UK বা Singapore-এ প্রতি স্টোরে স্ট্যাটিক ISP বা প্রাইভেট IPv4, যা রিনিউতেও একই থাকে।