認証プロキシ付きPuppeteer:起動フラグとログインの設定
執筆: ProxyV4 エンジニアリングチーム · Updated:
Puppeteerのプロキシ認証は2箇所で設定します。プロキシアドレスは起動フラグ--proxy-server=http://ip:portに指定し、ユーザー名とパスワードはawait page.authenticate({ username, password })に渡します。ChromeがDevTools Protocol経由でそれらの認証情報を使ってプロキシの407チャレンジに応答するため、Node.jsスクリプトはブラウザ拡張機能なしでProxyV4のIPを利用できます。
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP$1.85
- 3個以上のIP$1.70
- 10個以上のIP$1.60
- 25個以上のIP$1.50
- 50個以上のIP$1.40
- 100個以上のIP$1.30
- 200個以上のIP$1.20
- 500個以上のIP$1.10
- 1 IP$1.85
- 3個以上のIP$1.70
- 10個以上のIP$1.60
- 25個以上のIP$1.50
- 50個以上のIP$1.40
- 100個以上のIP$1.30
- 200個以上のIP$1.20
- 500個以上のIP$1.10
Puppeteerプロキシ認証:完全な実装例
--proxy-serverにプロキシのアドレスを指定し、初回ページ遷移の前にpage.authenticate()でログイン情報を渡します。以下のスクリプトはその処理を行い、出口IPを出力するため、1回の実行でプロキシの動作確認が可能です:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();出力にステータス200とプロキシのIPが表示されれば成功です。407やERR_TUNNEL_CONNECTION_FAILEDが発生したり、自身のIPが表示されたりする場合は、設定のどちらか一方が不足しています。プロキシが機能しない場合で、ツールごとの主な原因をご確認いただけます。
起動フラグにログイン情報を含められない理由
Chromeは--proxy-server内での認証情報の指定に対応していません。--proxy-server=http://user:pass@ip:portと記述した場合、ブラウザはその値を処理できず、通常はERR_NO_SUPPORTED_PROXIESとなってリクエストが失敗します。フラグにはアドレスとポートのみを指定し、ログイン情報はページ側に渡してください。
| 順序 | 呼び出し | 処理内容 |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | すべてのリクエストで使用するプロキシをChromeに指示する |
| 2 | await page.authenticate({ username, password }) | プロキシが407を返した際に認証情報を提供する |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | 認証済みプロキシを経由して対象ページを読み込む |
タブ、コンテキスト、複数IPの扱い
page.authenticate()はページごとに設定されます。browser.newPage()で作成した各タブに対し、最初のgoto()の前に個別に呼び出す必要があります- 起動フラグはブラウザ全体で1つのプロキシに固定されます。1つのChromeプロセス内でコンテキストごとに異なるIPを使用するには、
proxy-chainパッケージのanonymizeProxy()で各http://user:pass@ip:portを変換し、その結果をproxyServerとしてbrowser.createBrowserContext({ proxyServer })に渡します - この設定は
puppeteer-extraやpuppeteer-extra-plugin-stealthでも同様に動作します - エラー処理のパスも含め、常に最後は
browser.close()で終了してください。そうしないと、サーバー上にヘッドレスChromeのプロセスが蓄積されます
SOCKS5プロキシをPuppeteerで使用する場合
ChromeはSOCKS5プロキシ(--proxy-server=socks5://IP:PORT)を利用できますが認証には非対応であり、page.authenticate()もSOCKSには適用されません。ProxyV4のプロキシ(SOCKS5はベトナム国外で提供されており、ベトナムIPはHTTPのみ対応)では、2つの確実な選択肢があります。注文をHTTPモードまたはデュアルモードに切り替えて上記の例を使用するか、proxy-chainを使って認証を代行するパスワード不要のローカルフォワーダーを開く方法です:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);3つ目の方法としてIPホワイトリスト認証があります。マシンのパブリックIPを注文に追加すれば、Chromeは認証情報なしで接続できます。
Puppeteerフリート向けのIP選定
ヘッドレスChromeはページ全体、スクリプト、画像を完全にダウンロードするため、従量制のトラフィックは急速に消費されます。ProxyV4の専用IPv4および静的ISPプロキシは帯域制限がなく、各IPは1人の顧客のみに割り当てられます。また更新時も同じアドレスが維持されるため、セッションや許可リストがIPに関連付けられている場合に重要となります。対象サイトがデータセンター帯域を区別して処理する場合は、専用IPv4製品と静的ISP製品を比較してご検討ください。
設定手順
- 1
プロキシアドレスを指定してChromeを起動
ProxyV4の注文で取得したIPとポートを使用し、
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });でブラウザを起動します。 - 2
タブを認証
const page = await browser.newPage();でページを開き、ページ遷移を行う前にawait page.authenticate({ username: 'USER', password: 'PASS' });を呼び出します。 - 3
送信元IPを確認
await page.goto('https://proxyv4.com/api/my-ip');でアクセスし、レスポンスにプロキシアドレスが表示されていることを確認します。 - 4
ブラウザを終了
Chromeプロセスが残らないよう、最後に
await browser.close();を実行します。
よくある質問
PuppeteerでERR_NO_SUPPORTED_PROXIESが発生する原因は何ですか?
--proxy-server=http://user:pass@ip:portのように、フラグ内に認証情報を含めていることが原因です。--proxy-server=http://ip:portを指定し、ユーザー名とパスワードはpage.authenticate()で渡してください。
最初のタブは動作しますが、新しいタブでHTTP 407が発生するのはなぜですか?
認証情報はページごとに保持されます。新しく開いたページごとに、ページ遷移を行う前にawait newTab.authenticate({ username, password })を呼び出してください。
1つのPuppeteerブラウザで同時に複数のプロキシを使用できますか?
起動フラグ単体ではできません。proxy-chainを使用して認証済みプロキシをローカルアドレスに変換し、ブラウザコンテキストごとに個別のproxyServerを割り当てるか、プロキシごとにブラウザを1台起動してください。
Puppeteerに設定する前に、多数のプロキシを一括テストするにはどうすればよいですか?
プロキシチェッカーに貼り付けて確認してください。一度に最大100個まで処理でき、パスワードは保存されません。
SOCKS5プロキシでpage.authenticate()が機能しないのはなぜですか?
ChromeはSOCKS5のユーザー名・パスワードによる認証に対応していないため、Puppeteer側で応答できません。注文のHTTPモード、proxy-chainによるローカルフォワーダー、またはIPホワイトリスト認証をご利用ください。
情報源
ヘッドレスChrome向けの従量課金なしIP
7か国の専用IPv4と米国・ベトナムの静的ISPを提供。支払い完了後に自動発行され、各IPは1ユーザー専用です。
米国の最新価格を確認