ProxyV4

ওয়েব স্ক্র্যাপিংয়ের জন্য প্রক্সি: আনমিটারড ট্রাফিকসহ ফিক্সড IP পুল

Updated:

গিগাবাইট প্রতি চার্জ করা ওয়েব স্ক্র্যাপিং প্রক্সির কারণে প্রতিটি ভারী পেজের জন্য ক্রলারের খরচ বাড়ে। তাই নিয়মিত ও শিডিউল করা ক্রলারের ক্ষেত্রে আনমিটারড ট্রাফিকযুক্ত নির্দিষ্ট IP পুল ব্যবহার করাই বেশি সাশ্রয়ী। ProxyV4 সাতটি দেশে প্রাইভেট IPv4 এবং মার্কিন যুক্তরাষ্ট্র ও ভিয়েতনামে স্ট্যাটিক ISP প্রক্সি সরবরাহ করে, যার প্রতিটির মূল্য কোনো ট্রাফিক মিটারিং ছাড়া IP প্রতি নির্ধারিত। টার্গেট ওয়েবসাইট প্রতি সেকেন্ডে যতগুলো রিকোয়েস্ট নিতে পারে সে অনুযায়ী আপনার পুলের আকার ঠিক করুন; পেজের আকার যাই হোক না কেন, বিল একই থাকবে।

প্রাইভেট IPv4 (ডেটাসেন্টার)
🇺🇸 যুক্তরাষ্ট্র
স্টকে আছে
থেকে
১.১০ US$ / IP / মাস
পরিমাণের ওপর ছাড়
  • 1 IP১.৮৫ US$
  • 3+ IP১.৭০ US$
  • 10+ IP১.৬০ US$
  • 25+ IP১.৫০ US$
  • 50+ IP১.৪০ US$
  • 100+ IP১.৩০ US$
  • 200+ IP১.২০ US$
  • 500+ IP১.১০ US$
যুক্তরাষ্ট্র কিনুন
প্রাইভেট IPv4 (ডেটাসেন্টার)
🇻🇳 ভিয়েতনাম
স্টকে আছে
থেকে
১.১০ US$ / IP / মাস
পরিমাণের ওপর ছাড়
  • 1 IP১.৮৫ US$
  • 3+ IP১.৭০ US$
  • 10+ IP১.৬০ US$
  • 25+ IP১.৫০ US$
  • 50+ IP১.৪০ US$
  • 100+ IP১.৩০ US$
  • 200+ IP১.২০ US$
  • 500+ IP১.১০ US$
ভিয়েতনাম কিনুন
প্রক্সি সেটআপ:Python RequestsPlaywrightSeleniumScrapyPuppeteer

ক্রলারের ক্ষেত্রে প্রতি IP বনাম প্রতি GB মূল্য নির্ধারণ

প্রশ্নস্ট্যাটিক পুল (প্রতি IP)মিটারড ট্রাফিক (প্রতি GB)
খরচ কিসের ওপর নির্ভর করেIP-র সংখ্যা এবং ভাড়ার মেয়াদHTML, JS ও অ্যাসেটসহ ডাউনলোড করা বাইট
পেজ ভারী হলে কী ঘটেকিছুই না; ব্যান্ডউইথ আনলিমিটেডপেজের সাথে বিলও বাড়ে
থ্রুপুট কীসে সীমাবদ্ধ হয়প্রতিটি টার্গেটের প্রতি IP রেট লিমিটবাজেট
কীভাবে স্কেল করবেনIP যোগ করুন; পরিমাণ বাড়লে প্রতি IP-র মূল্য কমেআরও ট্রাফিক কিনুন

স্ক্র্যাপার কেন ব্লক হয় এবং একটি পুল যেভাবে পরিবর্তন আনে

ক্যাটালগ, লিস্টিং ও পাবলিক API স্ক্র্যাপিংয়ের ক্ষেত্রে বেশিরভাগ ব্লক আপনি কে তার ওপর নির্ভর করে না, বরং আপনি কত দ্রুত রিকোয়েস্ট পাঠাচ্ছেন তার ওপর নির্ভর করে: একটি অ্যাড্রেস কোনো সাইটের রিকোয়েস্ট সীমা অতিক্রম করলেই HTTP 429 দেয়। পরিমিত কনকারেন্সিতে রাখা 10 থেকে 100টি স্ট্যাটিক IP-র একটি পুল প্রতিটি অ্যাড্রেসকে সীমার নিচে রাখে, ফলে ক্রলার সামগ্রিকভাবে আপনার কাঙ্ক্ষিত গতিতেই চলে।

এখানে সিঙ্গেল-টেন্যান্সি সুবিধাও কাজে আসে। ভাড়ার পুরো মেয়াদে প্রতিটি ProxyV4 IP কেবল একজন গ্রাহকের অধীনে থাকে, তাই টার্গেট সাইটে ওই অ্যাড্রেসের রেট হিস্ট্রি একান্তই আপনার।

টার্গেটের সাথে পুলের সমন্বয় করা

  • পাবলিক ক্যাটালগ এবং হাই-ভলিউম API: মার্কিন যুক্তরাষ্ট্র বা সিঙ্গাপুরে প্রাইভেট IPv4, যা প্রতি IP-তে সর্বনিম্ন খরচের
  • ভিয়েতনামী ই-কমার্স এবং স্থানীয় পোর্টাল: দেশীয় পেজ ও স্থানীয় মূল্যের জন্য ভিয়েতনাম IPv4
  • WAF-এর পেছনে থাকা হোস্টিং ASN ফিল্টার করে এমন টার্গেট: মার্কিন যুক্তরাষ্ট্র বা ভিয়েতনামে স্ট্যাটিক ISP, যা কনজিউমার ISP-তে নিবন্ধিত হওয়ায় সাধারণত কম Cloudflare চ্যালেঞ্জের মুখোমুখি হয়
  • প্রতিটি রিকোয়েস্টে নতুন IP প্রয়োজন এমন টার্গেট: রোটেটিং ভিয়েতনাম প্রক্সি এখনও বিক্রি শুরু হয়নি; ওয়েটলিস্টের জন্য রোটেটিং ভিয়েতনাম পেজ দেখুন

ক্রলার সেটিংস যা স্ট্যাটিক পুলকে দীর্ঘস্থায়ী করে

প্রতিটি লাইনে স্ট্যান্ডার্ড ক্রেডেনশিয়াল ব্যবহৃত হয়, তাই Python-এ প্রক্সি কেবল proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}।

  • তালিকা জুড়ে রাউন্ড-রবিন পদ্ধতিতে রিকোয়েস্ট বণ্টন করুন এবং টার্গেট ডোমেনভেদে প্রতি IP-তে প্রায় 2 থেকে 5 সেকেন্ডের র্যান্ডম জিটার যোগ করুন
  • requests.Session() বা পুলড ক্লায়েন্ট ব্যবহার করে কানেকশন পুনরায় ব্যবহার করুন, যাতে প্রতি রিকোয়েস্টে TLS হ্যান্ডশেকের জন্য অতিরিক্ত খরচ না হয়
  • Playwright এবং Puppeteer-এ যেসব ইমেজ, ফন্ট ও মিডিয়া আপনি পার্স করেন না, সেগুলো ব্লক করুন
  • কোনো IP-তে HTTP 429 বা 503 দেখা দিলে তাৎক্ষণিক পুনরায় চেষ্টা না করে কুলডাউনের জন্য সেটিকে রোটেশন থেকে সরিয়ে নিন এবং কিছুটা বিরতি দিন

ধাপে ধাপে

  1. 1

    আপনার টার্গেট অনুযায়ী পুল কিনুন

    দেশভেদে পরিমাণ বেছে নিন, যেমন মার্কিন যুক্তরাষ্ট্র, জাপান বা যুক্তরাজ্য IPv4। পরিমাণ বৃদ্ধির সাথে সাথে ভলিউম টিয়ার স্বয়ংক্রিয়ভাবে প্রযোজ্য হয়।

  2. 2

    তালিকাকে URL-এ রূপান্তর করুন

    http://user:pass@ip:port স্ট্রিং বা JSON পেতে ip:port:user:pass লাইনগুলো প্রক্সি ফরম্যাট কনভার্টারে পেস্ট করুন।

  3. 3

    আপনার ফ্রেমওয়ার্কে পুলটি যুক্ত করুন

    Python Requests, Scrapy, Selenium বা Node.js Axios-এর সেটআপ পেজগুলো ব্যবহার করুন।

  4. 4

    প্রথম পূর্ণাঙ্গ রান করার আগে পরিমাপ করুন

    প্রক্সি স্পিড টেস্ট-এর মাধ্যমে রেসপন্স টাইম পরীক্ষা করুন এবং আপনার টার্গেটের জন্য ধীরগতির যেকোনো লাইন বাদ দিন।

সাধারণ প্রশ্নোত্তর

ProxyV4 প্রক্সিতে স্ক্র্যাপিং ট্রাফিক কি মিটার করা হয়?

না। প্রাইভেট IPv4 এবং স্ট্যাটিক ISP-এর মূল্য ভাড়ার মেয়াদের জন্য আনলিমিটেড ব্যান্ডউইথসহ প্রতি IP হিসেবে নির্ধারিত।

একটি স্ট্যাটিক IP প্রতিদিন কতগুলো পেজ ফেচ করতে পারে?

এটি নির্ভর করে টার্গেটের রেট লিমিটের ওপর। ডোমেনভেদে প্রতি মিনিটে 1 থেকে 3টি রিকোয়েস্ট পাঠালে, কোনো নজরে না পড়ে একটি IP দিনে প্রায় 1,500 থেকে 4,000টি পেজ ফেচ করতে পারে।

আপনারা কি স্ক্র্যাপিংয়ের জন্য রোটেটিং প্রক্সি বিক্রি করেন?

এখনও নয়। রোটেটিং ভিয়েতনাম প্রক্সি শুধুমাত্র ওয়েটলিস্টের জন্য প্রযোজ্য। আপাতত, রাউন্ড-রবিন অ্যাসাইনমেন্টযুক্ত একটি স্ট্যাটিক পুল বেশিরভাগ শিডিউল করা ক্রলের ক্ষেত্রে একই কাজ করে।

আমি কীভাবে 50টি প্রক্সি দ্রুত Scrapy ফরম্যাটে রূপান্তর করতে পারি?

সেগুলো প্রক্সি ফরম্যাট কনভার্টারে পেস্ট করুন। এটি ব্রাউজারেই ip:port:user:pass লাইনগুলোকে URL স্ট্রিং বা একটি JSON অ্যারেতে রূপান্তর করে।

নির্দিষ্ট মাসিক খরচে একটি স্ক্র্যাপিং পুল তৈরি করুন

সাতটি দেশে প্রাইভেট IPv4 এবং মার্কিন যুক্তরাষ্ট্র ও ভিয়েতনামে স্ট্যাটিক ISP, আনলিমিটেড ট্রাফিকসহ প্রতি IP হিসেবে মূল্যায়িত।

সরাসরি US IPv4-এর মূল্য দেখুন

Related articles

ব্যবহারের ক্ষেত্র
ডেডিকেটেড IP পুলকে কেন্দ্র করে স্ক্র্যাপার ডিজাইন
ডেটা টিমের জন্য গাইড: প্রাইভেট স্ট্যাটিক IP পুলের আকার নির্ধারণ করুন, নিজস্ব কোডে রোটেট করুন, IPv4, ISP বা IPv6 বেছে নিন এবং দায়িত্বশীলভাবে ডেটা সংগ্রহ করুন।
প্রক্সি সেটআপ
ধাপে ধাপে অথেনটিকেটেড প্রক্সির মাধ্যমে Python রিকোয়েস্ট
অথেনটিকেটেড HTTP(S) প্রক্সির মাধ্যমে Python রিকোয়েস্ট পাঠান: proxies ডিক্ট তৈরি, Session-এ যুক্ত করা, পাসওয়ার্ড এনকোড, তালিকা রোটেট ও আইপি যাচাই।
প্রক্সি সেটআপ
Playwright প্রক্সি প্রমাণীকরণ, কনটেক্সট প্রতি একটি স্ট্যাটিক IP
Node.js বা Python-এ প্রতিটি Playwright কনটেক্সটকে নিজস্ব অথেনটিকেটেড HTTP(S) প্রক্সি দিন, IP-র সাথে টাইমজোন ও লোকেল মেলান এবং এক্সিট অ্যাড্রেস নিশ্চিত করুন।
প্রক্সি সেটআপ
Scrapy প্রক্সি: meta['proxy'], মিডলওয়্যার ক্রম এবং রোটেশন
Scrapy-তে অথেনটিকেটেড HTTP(S) প্রক্সি: request.meta['proxy'] সেট করুন, HttpProxyMiddleware (750)-এর আগে মিডলওয়্যার রাখুন, IP রোটেট ও ক্রলের গতি নিয়ন্ত্রণ করুন।
IPV4 · united states
স্ক্র্যাপিং, র‍্যাঙ্ক ট্র্যাকিং এবং বিজ্ঞাপন যাচাইয়ের জন্য US প্রাইভেট IPv4 প্রক্সি পুল
US প্রাইভেট IPv4 প্রক্সি কিনুন: স্ট্যাটিক আমেরিকান ডেটাসেন্টার IP, একক গ্রাহক IP, আনলিমিটেড ব্যান্ডউইথ। স্ক্র্যাপিং, SERP ট্র্যাকিং ও US অ্যাড চেকের জন্য তৈরি।
IPV4 · vietnam
ভিয়েতনাম প্রাইভেট IPv4 প্রক্সি: একসাথে একাধিক অ্যাকাউন্টের প্রতিটির জন্য একটি নির্দিষ্ট IP
ভিয়েতনাম প্রাইভেট IPv4 প্রক্সি: স্ট্যাটিক ডেটাসেন্টার IP, গ্রাহকপ্রতি একটি, বাল্ক ব্যবহারে সাশ্রয়ী। সিডিং প্রোফাইল, সেকেন্ডারি Shopee শপ ও টুলের জন্য উপযোগী।
ISP · united states
US স্ট্যাটিক ISP প্রক্সি: বাসাবাড়ির ঠিকানায় নিবন্ধিত একটি IP যা কখনো পরিবর্তিত হয় না
ভোক্তা ইন্টারনেট প্রোভাইডারে নিবন্ধিত ইউএস স্ট্যাটিক ISP প্রক্সি। Amazon বিক্রেতা, অ্যাড অ্যাকাউন্ট ও Instagram-এর জন্য অ্যাকাউন্টপ্রতি একটি ফিক্সড আমেরিকান IP।
প্রক্সি সেটআপ
Selenium WebDriver এবং অথেনটিকেটেড প্রক্সি: যা কার্যকর
ChromeDriver-এ Selenium প্রক্সি অথেনটিকেশন: কেন --proxy-server user:pass উপেক্ষা করে, selenium-wire বা onAuthRequired এক্সটেনশন দিয়ে সমাধান ও IP যাচাইয়ের উপায়।