Selenium WebDriver এবং অথেনটিকেটেড প্রক্সি: যা কার্যকর
ProxyV4 ইঞ্জিনিয়ারিং টিমের পক্ষ থেকে · Updated:
Selenium প্রক্সি অথেনটিকেশনের জন্য একটি বিকল্প ব্যবস্থার প্রয়োজন হয়, কারণ ChromeDriver-এর --proxy-server=http://ip:port ফ্ল্যাগ ইউজারনেম এবং পাসওয়ার্ড গ্রহণ করতে পারে না; Chrome ইনলাইন user:pass বাদ দিয়ে দেয় এবং এমন একটি লগইন ডায়ালগ দেখায় যা WebDriver পূরণ করতে পারে না। এর নির্ভরযোগ্য দুটি সমাধান হলো selenium-wire, যা Python-এ ProxyV4 লগইন পরিচালনা করে, এবং একটি ছোট Chrome এক্সটেনশন যা যেকোনো Selenium ভাষায় onAuthRequired-এর উত্তর দেয়।
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP১.৮৫ US$
- 3+ IP১.৭০ US$
- 10+ IP১.৬০ US$
- 25+ IP১.৫০ US$
- 50+ IP১.৪০ US$
- 100+ IP১.৩০ US$
- 200+ IP১.২০ US$
- 500+ IP১.১০ US$
- 1 IP২.২৫ US$
- 3+ IP২.১০ US$
- 10+ IP২.০০ US$
- 25+ IP১.৯০ US$
- 50+ IP১.৮০ US$
- 100+ IP১.৭০ US$
- 200+ IP১.৬০ US$
- 500+ IP১.৫০ US$
বিকল্পগুলোর তুলনা
| পদ্ধতি | কনফিগার করার নিয়ম | উপযুক্ত ক্ষেত্র |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Python-এ সবচেয়ে দ্রুততম উপায়; ব্রাউজার চালু থাকা অবস্থাতেই প্রক্সি পরিবর্তন করা যায় |
| Auth এক্সটেনশন | একটি জিপ করা এক্সটেনশন যার ব্যাকগ্রাউন্ড স্ক্রিপ্ট chrome.webRequest.onAuthRequired হ্যান্ডেল করে | Java, C#, Python এবং undetected-chromedriver সবার জন্যই উপযুক্ত |
| Playwright-এ স্থানান্তর | browser.newContext({ proxy: { server, username, password } }) | নতুন প্রজেক্টের জন্য; প্রক্সি লগইন বিল্ট-ইন থাকে, কোনো এক্সটেনশনের প্রয়োজন নেই |
সাধারণ --proxy-server ব্যবহারে যা ঘটে
Chrome কমান্ড লাইন থেকে প্রক্সি অ্যাড্রেস গ্রহণ করে ঠিকই, তবে এতে দেওয়া যেকোনো ক্রেডেনশিয়াল উপেক্ষা করে। প্রক্সি যখন 407 রেসপন্স পাঠায়, Chrome একটি নেটিভ সাইন-ইন প্রম্পট খোলে। সেই প্রম্পটটি পেজ DOM-এর বাইরে থাকায় find_element তা দেখতে পায় না এবং স্ক্রিপ্ট টাইমআউট না হওয়া পর্যন্ত অপেক্ষা করে। তাই কার্যকর প্রতিটি পদ্ধতিতেই ফ্ল্যাগের বাইরে অন্য কোথাও ক্রেডেনশিয়াল প্রদান করতে হয়।
মনে রাখবেন, selenium-wire এখন আর সক্রিয়ভাবে রক্ষণাবেক্ষণ করা হয় না। এটি এখনো অনেক সেটআপে কাজ করে, তবে দীর্ঘমেয়াদী প্রজেক্টের ক্ষেত্রে এক্সটেনশন পদ্ধতি বা Playwright ব্যবহার করাই বেশি নিরাপদ।
প্রক্সি সহ Selenium রান কার্যকর রাখা
- ধীরগতির থার্ড-পার্টি স্ক্রিপ্টের জন্য অপেক্ষা না করে DOM প্রস্তুত হওয়ার সাথে সাথেই স্ক্রিপ্ট চালু রাখতে
options.page_load_strategy = 'eager'সেট করুন - Chrome 109 বা তার পরবর্তী সংস্করণে হেডলেস চালানোর জন্য
--headless=newব্যবহার করুন; auth এক্সটেনশনসহ অন্যান্য এক্সটেনশন স্বাভাবিক উইন্ডোর মতোই কাজ করে - যখন কেবল দাম বা শিরোনামের মতো টেক্সট প্রয়োজন, তখন Chrome সেটিংসে ইমেজ লোডিং বন্ধ রাখুন
driver.quit()একটিtry / finallyব্লকে রাখুন যাতে ক্র্যাশ হলেও কোনো Chrome প্রসেস ব্যাকগ্রাউন্ডে থেকে না যায়
কাজের পরিধি বাড়ানোর আগে
প্রতিটি WebDriver সেশন একটি পূর্ণাঙ্গ ব্রাউজার, তাই সাইট যদি অ্যাড্রেসের ভিত্তিতে অ্যাকাউন্ট লিংক করে, তবে প্রতিটি সেশনকে নিজস্ব IP দিন। একটি ProxyV4 প্রাইভেট IPv4 কেবল একজন গ্রাহকের কাছেই ভাড়া দেওয়া হয় এবং রিনিউ করার সময় এর অ্যাড্রেস অপরিবর্তিত থাকে, যা দীর্ঘমেয়াদি টেস্ট অ্যাকাউন্টগুলোকে একই IP-তে রাখে। নতুন প্রক্সিগুলো প্রথমে প্রক্সি চেকার-এর মাধ্যমে যাচাই করে নিন, যাতে কোনো ত্রুটিপূর্ণ লাইনের কারণে বিভ্রান্তিকর Selenium টাইমআউট না দেখা দেয়।
কোনো রান যদি তবুও সার্ভারের নিজস্ব IP থেকে পেজ ওপেন করে বা কোনো টানেল এররে আটকে যায়, তবে প্রক্সি কাজ করছে না-এর Selenium সেকশনে সাধারণ কারণগুলো ক্রমানুসারে তালিকাভুক্ত রয়েছে।
ধাপে ধাপে
- 1
selenium-wire ইনস্টল করুন
আপনার ভার্চুয়াল এনভায়রনমেন্টে
pip install selenium-wireচালান। - 2
প্রক্সি কনফিগার করুন
আপনার ProxyV4 অর্ডার থেকে
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}তৈরি করুন। - 3
এই অপশনগুলো দিয়ে Chrome চালু করুন
seleniumwireথেকেwebdriverইম্পোর্ট করেdriver = webdriver.Chrome(seleniumwire_options=sw_options)দিয়ে ড্রাইভার তৈরি করুন। - 4
এক্সিট IP পরীক্ষা করুন
driver.get('https://proxyv4.com/api/my-ip')কল করুন এবং নিশ্চিত করুন যে পেজে প্রক্সি অ্যাড্রেস দেখাচ্ছে।
সাধারণ প্রশ্নোত্তর
ChromeOptions-এ কেন --proxy-server=http://user:pass@ip:port উপেক্ষা করা হয়?
Chrome এর নিজস্ব ডিজাইনের অংশ হিসেবেই --proxy-server ভ্যালু থেকে ক্রেডেনশিয়াল বাদ দিয়ে দেয়। এগুলো selenium-wire বা কোনো onAuthRequired এক্সটেনশনের মাধ্যমে প্রদান করুন, অথবা Playwright-এ সুইচ করুন, যা সরাসরি ইউজারনেম এবং পাসওয়ার্ড গ্রহণ করে।
ব্রাউজার রিস্টার্ট না করেই কি selenium-wire প্রক্সি পরিবর্তন করতে পারে?
হ্যাঁ। একটি নতুন ডিকশনারি অ্যাসাইন করুন, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, এবং পরবর্তী রিকোয়েস্টগুলো নতুন আপস্ট্রিম প্রক্সি ব্যবহার করবে।
হেডলেস Chrome-এ কি auth এক্সটেনশন কাজ করে?
হ্যাঁ, --headless=new দিয়ে কাজ করে। পুরনো --headless মোডে একইভাবে এক্সটেনশন লোড হতো না।
প্রক্সির মাধ্যমে প্রতিটি পেজে Selenium টাইমআউট হচ্ছে। এরপর কী করণীয়?
একই ক্রেডেনশিয়াল ব্যবহার করে cURL দিয়ে IP এন্ডপয়েন্ট লোড করুন। cURL-ও ব্যর্থ হলে লাইন বা পোর্টে সমস্যা রয়েছে; কী কী পরীক্ষা করতে হবে তা proxy timeout guide-এ দেওয়া আছে।
উৎসসমূহ
Selenium সেশনের জন্য স্থিতিশীল IP
7টি দেশে প্রাইভেট IPv4 এবং US ও ভিয়েতনামে স্ট্যাটিক ISP, ইউজার ও পাসওয়ার্ডসহ, আনমিটারড এবং প্রতি IP-তে একজন গ্রাহক।
US-এর লাইভ দাম দেখুন