ধাপে ধাপে অথেনটিকেটেড প্রক্সির মাধ্যমে Python রিকোয়েস্ট
ProxyV4 ইঞ্জিনিয়ারিং টিমের পক্ষ থেকে · Updated:
Python requests-এ প্রক্সি ব্যবহার করতে, একটি proxies ডিক্ট পাস করুন যার 'http' এবং 'https' উভয় কী-ই http://user:pass@ip:port-কে নির্দেশ করে। এই ডিক্টটি একটি requests.Session()-এ যুক্ত করুন, যাতে প্রতিটি কলের জন্য প্রক্সির একই কানেকশন পুনরায় ব্যবহৃত হয়, যা প্রতি রিকোয়েস্টে নতুন কানেকশন খোলার চেয়ে দ্রুততর। নিচে বিস্তারিত: ডিক্ট, সেশন, যেসব ত্রুটির সম্মুখীন হতে পারেন এবং ProxyV4 এক্সিট আইপি এক লাইনে যাচাই করার উপায়।
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP১.৮৫ US$
- 3+ IP১.৭০ US$
- 10+ IP১.৬০ US$
- 25+ IP১.৫০ US$
- 50+ IP১.৪০ US$
- 100+ IP১.৩০ US$
- 200+ IP১.২০ US$
- 500+ IP১.১০ US$
- 1 IP১.৮৫ US$
- 3+ IP১.৭০ US$
- 10+ IP১.৬০ US$
- 25+ IP১.৫০ US$
- 50+ IP১.৪০ US$
- 100+ IP১.৩০ US$
- 200+ IP১.২০ US$
- 500+ IP১.১০ US$
proxies ডিক্টের ব্যাখ্যা
| সেটিং | ভ্যালু | কারণ |
|---|---|---|
'http' key | 'http://user:pass@ip:port' | সাধারণ http:// URL-এর জন্য ব্যবহৃত হয় |
'https' key | 'http://user:pass@ip:port' | এখনও একটি http:// প্রক্সি URL: urllib3 প্রক্সির কাছে একটি CONNECT টানেল অনুরোধ করে এবং এর ভেতরে TLS চালায় |
timeout | timeout=(5, 15) | কানেক্ট হতে 5 সেকেন্ড, রিড করতে 15 সেকেন্ড, যাতে অকার্যকর কোনো টার্গেট থ্রেডকে আটকে না রাখে |
| রোটেশন | itertools.cycle(proxy_list) | পর্যায়ক্রমে আপনার স্ট্যাটিক আইপিগুলো প্রদান করে |
সরাসরি requests.get()-এর চেয়ে Session কেন সেরা
প্রতিটি টপ-লেভেল requests.get() কল একটি নতুন কানেকশন পুল তৈরি করে, ফলে প্রতিবার প্রক্সির সাথে TCP কানেকশন এবং সাইটের সাথে TLS হ্যান্ডশেক পুনরায় সম্পন্ন হয়। একটি Session কলগুলোর মাঝে সেই কানেকশনগুলো সচল রাখে। একটি স্ক্রিপ্ট যা একটি আইপির মাধ্যমে শত শত পেজ ফেচ করে, তার জন্য মোট রান টাইমে এই পার্থক্য স্পষ্ট বোঝা যায়।
একবার s.proxies.update(proxies) সেট করলেই প্রতিটি s.get() এবং s.post() প্রক্সির মধ্য দিয়ে যাবে। একটি বিষয় জেনে রাখা ভালো: পরিবেশে HTTP_PROXY বা HTTPS_PROXY সেট করা থাকলে, requests সেগুলোকে সেশনের সেটিংসের সাথে যুক্ত করতে পারে; কোনটি ব্যবহার করা হচ্ছে তা নিশ্চিত করতে চাইলে সরাসরি কলটিতে proxies= পাস করুন।
ত্রুটিসমূহ এবং তা বোঝার উপায়
407 Proxy Authentication RequiredসহProxyError: প্রক্সিতে পৌঁছানো যাচ্ছে কিন্তু আপনার URL-এর লগইন তথ্যের সাথে অর্ডারের মিল নেই। বিস্তারিত দেখুন 407 error page পাতায়@,:বা/সম্বলিত পাসওয়ার্ড URL-কে নষ্ট করে দেয়; প্রথমেurllib.parse.quote(password, safe='')দিয়ে সেগুলোকে এনকোড করে নিন- প্রক্সি URL-কে
https://-এ পরিবর্তন করলে সাধারণত কানেকশন বিচ্ছিন্ন হয়ে যায়; আপনার প্রক্সি পোর্টটি সুনির্দিষ্টভাবে কোনো TLS পোর্ট না হলে উভয় কী-এর জন্যইhttp://রাখুন ConnectTimeoutআইপি বা পোর্ট সংক্রান্ত সমস্যা নির্দেশ করে, ক্রেডেনশিয়াল নয়; পোর্ট চেকার দিয়ে কানেক্টিভিটি পরীক্ষা করুন
httpx এবং aiohttp-এ একই প্যাটার্ন
এখানেও একই URL ফরম্যাট প্রযোজ্য। httpx-এ httpx.Client(proxy='http://user:pass@ip:port') তৈরি করুন; আর aiohttp-এ session.get(url, proxy=...)-এ proxy= পাস করুন। শিডিউলিং এবং রিট্রাই সহ তুলনামূলক বড় স্ক্র্যাপিংয়ের ক্ষেত্রে সাধারণত Scrapy ব্যবহার করা সহজ।
ধাপে ধাপে
- 1
প্রক্সি URL তৈরি করুন
প্রতিটি ProxyV4
ip:port:user:passলাইনকেhttp://user:pass@ip:portহিসেবে লিখুন, অথবা প্রক্সি ফরম্যাট কনভার্টার দিয়ে পুরো তালিকাটি রূপান্তর করুন। - 2
ডিক্ট তৈরি করুন
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}লিখুন। - 3
Session-এ এটি যুক্ত করুন
s = requests.Session()তৈরি করুন এবংs.proxies.update(proxies)কল করুন যাতে রিকোয়েস্টগুলোর মাঝে কানেকশন সচল থাকে। - 4
এক্সিট আইপি প্রিন্ট করুন
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())রান করুন; আউটপুটের আইপিটি প্রক্সির আইপি হওয়া উচিত।
সাধারণ প্রশ্নোত্তর
'https' এন্ট্রিটি কেন একটি http:// URL?
এই স্কিমটি নির্ধারণ করে Python কীভাবে প্রক্সির সাথে যোগাযোগ করবে, ওয়েবসাইটের সাথে নয়। urllib3 সাধারণ HTTP-র মাধ্যমে প্রক্সির সাথে সংযুক্ত হয়, CONNECT পাঠায় এবং তারপর সেই টানেলের মাধ্যমে https:// সাইটের সাথে TLS সম্পন্ন করে, ফলে পেজের ট্র্যাফিক সম্পূর্ণ এনক্রিপ্ট করা থাকে।
কীভাবে 25টি স্ট্যাটিক প্রক্সিতে রিকোয়েস্ট ভাগ করে পাঠাব?
25টি URL একটি তালিকায় রাখুন, pool = itertools.cycle(PROXIES) তৈরি করুন এবং প্রতিটি রিকোয়েস্টের জন্য p = next(pool) নিয়ে proxies={'http': p, 'https': p} পাস করুন। প্রতি আইপির জন্য যৌক্তিক বিলম্ব বজায় রাখুন যাতে কোনো একক ঠিকানার ওপর অতিরিক্ত চাপ না পড়ে।
Python স্ক্রিপ্টের ট্র্যাফিক কি মিটারযুক্ত?
না। ProxyV4-এর প্রাইভেট IPv4 এবং স্ট্যাটিক ISP প্ল্যানগুলোতে আনলিমিটেড ব্যান্ডউইথ থাকে, তাই দীর্ঘ সময় চলা স্ক্রিপ্টগুলো কোনো ডেটা লিমিটের সম্মুখীন হয় না।
উৎসসমূহ
Python স্ক্রিপ্টের জন্য একটি স্ট্যাটিক আইপি পুল
7টি দেশে প্রাইভেট IPv4 এবং সাথে US ও Vietnam-এ স্ট্যাটিক ISP। একটি আইপি বা একসাথে একাধিক কিনুন; পরিমাণ বাড়ার সাথে সাথে আইপি প্রতি খরচ কমে আসে।
US-এর লাইভ মূল্য দেখুন