অথেনটিকেটেড প্রক্সিসহ Puppeteer: লঞ্চ ফ্ল্যাগ ও লগইন
ProxyV4 ইঞ্জিনিয়ারিং টিমের পক্ষ থেকে · Updated:
Puppeteer প্রক্সি প্রমাণীকরণ দুটি জায়গায় ঘটে: প্রক্সি অ্যাড্রেসটি যায় --proxy-server=http://ip:port লঞ্চ ফ্ল্যাগে, এবং ইউজারনেম ও পাসওয়ার্ড যায় await page.authenticate({ username, password })-এ। Chrome এই ক্রেডেনশিয়ালগুলো দিয়ে DevTools Protocol-এর মাধ্যমে প্রক্সির 407 চ্যালেঞ্জের উত্তর দেয়, ফলে আপনার Node.js স্ক্রিপ্ট ব্রাউজার এক্সটেনশন ছাড়াই একটি ProxyV4 IP ব্যবহার করতে পারে।
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP১.৮৫ US$
- 3+ IP১.৭০ US$
- 10+ IP১.৬০ US$
- 25+ IP১.৫০ US$
- 50+ IP১.৪০ US$
- 100+ IP১.৩০ US$
- 200+ IP১.২০ US$
- 500+ IP১.১০ US$
- 1 IP১.৮৫ US$
- 3+ IP১.৭০ US$
- 10+ IP১.৬০ US$
- 25+ IP১.৫০ US$
- 50+ IP১.৪০ US$
- 100+ IP১.৩০ US$
- 200+ IP১.২০ US$
- 500+ IP১.১০ US$
Puppeteer প্রক্সি অথেনটিকেশন: একটি সম্পূর্ণ উদাহরণ
প্রথমবার নেভিগেট করার আগে --proxy-server-এ প্রক্সি অ্যাড্রেস এবং page.authenticate()-এর মাধ্যমে লগইন তথ্য দিন। এই স্ক্রিপ্টটি ঠিক এই কাজটিই করে এবং এক্সিট IP প্রিন্ট করে, যাতে আপনি এক রান-এই প্রক্সি নিশ্চিত করতে পারেন:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();আউটপুটে স্ট্যাটাস 200 এবং প্রক্সির IP দেখানো উচিত। 407, ERR_TUNNEL_CONNECTION_FAILED অথবা নিজের IP আসার অর্থ হলো দুটি অংশের যেকোনো একটি বাদ পড়েছে; টুলভিত্তিক সাধারণ কারণগুলো proxy not working-এ তালিকাভুক্ত রয়েছে।
লগইন কেন ফ্ল্যাগের অংশ নয়
Chrome --proxy-server-এর ভেতরে ক্রেডেনশিয়াল গ্রহণ করে না। আপনি যদি --proxy-server=http://user:pass@ip:port লেখেন, তবে ব্রাউজার এই মানটি ব্যবহার করতে পারে না এবং সাধারণত ERR_NO_SUPPORTED_PROXIES সহ রিকোয়েস্ট ব্যর্থ হয়। ফ্ল্যাগটিতে কেবল অ্যাড্রেস ও পোর্ট রাখুন এবং লগইনের বিষয়টি পেজে সম্পন্ন করুন।
| ক্রম | কল | এটি যা করে |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | প্রতিটি রিকোয়েস্টে Chrome-এর কোন প্রক্সি ব্যবহার করা উচিত তা জানায় |
| 2 | await page.authenticate({ username, password }) | প্রক্সি 407 রেসপন্স দিলে ক্রেডেনশিয়াল প্রদান করে |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | অথেনটিকেটেড প্রক্সির মাধ্যমে টার্গেট পেজ লোড করে |
ট্যাব, কনটেক্সট এবং একাধিক IP
page.authenticate()পেজ অনুযায়ী সেট করা হয়:browser.newPage()থেকে তৈরি প্রতিটি ট্যাবে প্রথমgoto()-এর আগে নিজস্ব কল প্রয়োজন- লঞ্চ ফ্ল্যাগ পুরো ব্রাউজারের জন্য একটি নির্দিষ্ট প্রক্সি নির্ধারণ করে। একটি একক Chrome প্রসেসে কনটেক্সট অনুযায়ী আলাদা IP পেতে, প্রতিটি
http://user:pass@ip:port-কেproxy-chainপ্যাকেজেরanonymizeProxy()-এর মাধ্যমে রান করুন এবং ফলাফলটিbrowser.createBrowserContext({ proxyServer })-এproxyServerহিসেবে পাস করুন - সেটআপটি
puppeteer-extraএবংpuppeteer-extra-plugin-stealth-এর সাথেও একইভাবে কাজ করে - ত্রুটি দেখা দিলেও সবসময়
browser.close()দিয়ে শেষ করুন, অন্যথায় সার্ভারে হেডলেস Chrome প্রসেস জমতে থাকবে
SOCKS5 প্রক্সির সাথে Puppeteer
Chrome SOCKS5 প্রক্সি (--proxy-server=socks5://IP:PORT) ব্যবহার করতে পারে কিন্তু এতে লগইন করতে পারে না, এবং page.authenticate() SOCKS-এর ক্ষেত্রে প্রযোজ্য নয়। একটি ProxyV4 প্রক্সির ক্ষেত্রে (ভিয়েতনাম ছাড়া অন্যান্য স্থানে SOCKS5 সুবিধা রয়েছে; ভিয়েতনামের IP কেবল HTTP-র জন্য) আপনার কাছে দুটি সুস্পষ্ট বিকল্প রয়েছে: অর্ডারটিকে HTTP বা ডুয়াল মোডে স্যুইচ করুন এবং উপরের উদাহরণটি ব্যবহার করুন, অথবা proxy-chain-কে একটি লোকাল, পাসওয়ার্ডবিহীন ফরোয়ার্ডার তৈরি করতে দিন যা আপনার হয়ে লগইন করে নেবে:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);IP হোয়াইটলিস্ট লগইন হলো তৃতীয় একটি উপায়: অর্ডারে মেশিনের পাবলিক IP যোগ করুন এবং Chrome কোনো ক্রেডেনশিয়াল ছাড়াই কানেক্ট হবে।
একটি Puppeteer ফ্লিটের জন্য IP নির্বাচন
হেডলেস Chrome পুরো পেজ, স্ক্রিপ্ট এবং ছবি ডাউনলোড করে, যার ফলে পরিমাপকৃত ট্রাফিকের খরচ দ্রুত বাড়তে থাকে। ProxyV4 প্রাইভেট IPv4 এবং স্ট্যাটিক ISP প্রক্সিতে কোনো ব্যান্ডউইথ পরিমাপ নেই, প্রতিটি IP কেবল একজন গ্রাহকের জন্যই বরাদ্দ থাকে এবং রিনিউ করার সময় একই অ্যাড্রেস বজায় থাকে, যা কোনো সেশন বা অ্যালাও-লিস্টের সাথে যুক্ত থাকলে অত্যন্ত গুরুত্বপূর্ণ। টার্গেট সাইট যদি ডেটাসেন্টার রেঞ্জকে ভিন্নভাবে বিবেচনা করে, তবে private IPv4 product-এর সাথে static ISP product-এর তুলনা করে দেখুন।
ধাপে ধাপে
- 1
প্রক্সি অ্যাড্রেস দিয়ে Chrome লঞ্চ করুন
আপনার ProxyV4 অর্ডারের IP ও পোর্ট ব্যবহার করে
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });দিয়ে ব্রাউজার শুরু করুন। - 2
ট্যাবটি প্রমাণীকরণ করুন
const page = await browser.newPage();দিয়ে একটি পেজ খুলুন এবং যেকোনো নেভিগেশনের আগেawait page.authenticate({ username: 'USER', password: 'PASS' });কল করুন। - 3
এক্সিট IP দেখুন
await page.goto('https://proxyv4.com/api/my-ip');দিয়ে নেভিগেট করুন এবং রেসপন্সে প্রক্সি অ্যাড্রেস দেখাচ্ছে কিনা তা পরীক্ষা করুন। - 4
ব্রাউজারটি বন্ধ করুন
await browser.close();দিয়ে সমাপ্ত করুন যাতে কোনো Chrome প্রসেস চালু না থাকে।
সাধারণ প্রশ্নোত্তর
Puppeteer-এ ERR_NO_SUPPORTED_PROXIES কেন হয়?
ফ্ল্যাগের ভেতরে ক্রেডেনশিয়াল দিলে, যেমন --proxy-server=http://user:pass@ip:port। এর বদলে --proxy-server=http://ip:port ব্যবহার করুন এবং page.authenticate()-এর মাধ্যমে ইউজারনেম ও পাসওয়ার্ড দিন।
আমার প্রথম ট্যাব কাজ করছে কিন্তু নতুন ট্যাবে HTTP 407 আসছে। কেন?
অথেনটিকেশন পেজ অনুযায়ী সংরক্ষিত হয়। প্রতিটি নতুন পেজ খোলার পর নেভিগেট করার আগে await newTab.authenticate({ username, password }) কল করুন।
একটিমাত্র Puppeteer ব্রাউজার কি একসাথে একাধিক প্রক্সি ব্যবহার করতে পারে?
শুধুমাত্র লঞ্চ ফ্ল্যাগ দিয়ে সম্ভব নয়। প্রতিটি অথেনটিকেটেড প্রক্সিকে একটি লোকাল অ্যাড্রেসে রূপান্তর করতে proxy-chain ব্যবহার করুন এবং প্রতিটি ব্রাউজার কনটেক্সটকে নিজস্ব proxyServer দিন, অথবা প্রক্সি প্রতি একটি করে ব্রাউজার চালু করুন।
Puppeteer-এ দেওয়ার আগে আমি কীভাবে অনেকগুলো প্রক্সি পরীক্ষা করব?
সেগুলো proxy checker-এ পেস্ট করুন; এটি একসাথে সর্বোচ্চ 100টি প্রক্সি হ্যান্ডেল করতে পারে এবং কোনো পাসওয়ার্ড সংরক্ষণ করে না।
আমার SOCKS5 প্রক্সির সাথে page.authenticate() কেন কাজ করে না?
Chrome SOCKS5-এর জন্য ইউজারনেম এবং পাসওয়ার্ড দিয়ে লগইন সমর্থন করে না, তাই Puppeteer-এর উত্তর দেওয়ার মতো কিছু থাকে না। অর্ডারের HTTP মোড, proxy-chain থেকে একটি লোকাল ফরোয়ার্ডার অথবা IP হোয়াইটলিস্ট লগইন ব্যবহার করুন।
উৎসসমূহ
হেডলেস Chrome-এর জন্য আনমিটারড IP
7টি দেশে প্রাইভেট IPv4 এবং মার্কিন যুক্তরাষ্ট্র ও ভিয়েতনামে স্ট্যাটিক ISP, পেমেন্টের পর স্বয়ংক্রিয়ভাবে প্রদান করা হয়, IP প্রতি একজন গ্রাহক।
লাইভ US মূল্য দেখুন