Selenium WebDriverと認証プロキシ:確実に動作する設定方法
執筆: ProxyV4 エンジニアリングチーム · Updated:
Seleniumでのプロキシ認証には回避策が必要です。ChromeDriverの--proxy-server=http://ip:portフラグはユーザー名とパスワードを渡すことができず、Chromeがインラインのuser:passを破棄してWebDriverからは操作できないログインダイアログを表示するためです。確実な解決策は2つあります。PythonでProxyV4のログインを処理するselenium-wireを使う方法と、言語を問わずSeleniumでonAuthRequiredに応答できる軽量なChrome拡張機能を使う方法です。
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP$1.85
- 3個以上のIP$1.70
- 10個以上のIP$1.60
- 25個以上のIP$1.50
- 50個以上のIP$1.40
- 100個以上のIP$1.30
- 200個以上のIP$1.20
- 500個以上のIP$1.10
- 1 IP$2.25
- 3個以上のIP$2.10
- 10個以上のIP$2.00
- 25個以上のIP$1.90
- 50個以上のIP$1.80
- 100個以上のIP$1.70
- 200個以上のIP$1.60
- 500個以上のIP$1.50
各手法の比較
| 手法 | 設定方法 | 適した用途 |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Pythonで最も手軽な方法。ブラウザを開いたままプロキシの変更が可能 |
| 認証用拡張機能 | バックグラウンドスクリプトでchrome.webRequest.onAuthRequiredを処理するzip形式の拡張機能 | Java、C#、Python、undetected-chromedriverのいずれにも好適 |
| Playwrightへの移行 | browser.newContext({ proxy: { server, username, password } }) | 新規プロジェクト。プロキシ認証が標準搭載されており、拡張機能は不要 |
通常の--proxy-serverで起きる問題
Chromeはコマンドラインからプロキシのアドレスを取得しますが、そこに記述された認証情報は無視します。プロキシが407を返すと、Chromeはネイティブのサインインプロンプトを表示します。このプロンプトはページのDOM外にあるためfind_elementでは認識できず、スクリプトはタイムアウトするまで停止します。そのため、実際に動作する手法はいずれもフラグ以外の手段で認証情報を提供しています。
selenium-wireは現在アクティブにメンテナンスされていない点にご注意ください。多くの環境では今でも動作しますが、長期運用のプロジェクトでは拡張機能を利用する方法やPlaywrightのほうが安全です。
プロキシ経由のSelenium実行を効率化するコツ
- 低速なサードパーティ製スクリプトの完了を待たず、DOMの準備が整った段階で処理を進められるよう
options.page_load_strategy = 'eager'を設定する - Chrome 109以降でのヘッドレス実行には
--headless=newを使用する(認証用拡張機能を含め、通常のウィンドウと同様に動作します) - 価格やタイトルなどのテキスト情報のみが必要な場合は、Chromeの環境設定で画像の読み込みを無効にする
- クラッシュ時にChromeプロセスが残留しないよう、
driver.quit()をtry / finallyブロック内に記述する
大規模運用を始める前に
各WebDriverセッションは完全なブラウザであるため、サイト側がIPアドレスによってアカウントを紐付けている場合は、セッションごとに個別のIPを割り当ててください。ProxyV4の専用IPv4は1人のお客様にのみ提供され、更新時も同じアドレスが維持されるため、長期運用のテストアカウントを同一IPに保つことができます。回線不良が原因で紛らわしいSeleniumのタイムアウトエラーが発生しないよう、新しいプロキシはまずプロキシチェッカーで確認してください。
それでも実行時にサーバー自身のIPでページが開かれたり、トンネルエラーで停止したりする場合は、プロキシが動作しない場合のSeleniumセクションに主な原因が順に記載されています。
設定手順
- 1
selenium-wireのインストール
仮想環境で
pip install selenium-wireを実行します。 - 2
プロキシ情報の定義
ProxyV4の注文情報をもとに
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}を作成します。 - 3
設定したオプションでChromeを起動
seleniumwireからwebdriverをインポートし、driver = webdriver.Chrome(seleniumwire_options=sw_options)でドライバーを作成します。 - 4
出口IPの確認
driver.get('https://proxyv4.com/api/my-ip')を呼び出し、プロキシのアドレスがページに表示されることを確認します。
よくある質問
ChromeOptionsで--proxy-server=http://user:pass@ip:portが無視されるのはなぜですか?
Chromeの仕様により、--proxy-serverの値から認証情報が削除されるためです。認証情報はselenium-wireやonAuthRequired対応の拡張機能を使って渡すか、ユーザー名とパスワードを直接指定できるPlaywrightへの切り替えをご検討ください。
selenium-wireはブラウザを再起動せずにプロキシを変更できますか?
はい、可能です。driver.proxy = {'http': 'http://...', 'https': 'http://...'}のように新しい辞書を代入すれば、以降のリクエストに新しいアップストリームプロキシが適用されます。
認証用拡張機能はヘッドレスChromeでも動作しますか?
はい、--headless=newを使用すれば動作します。従来の--headlessモードでは、拡張機能が通常ウィンドウと同様に読み込まれませんでした。
プロキシ経由だとSeleniumがすべてのページでタイムアウトします。どう対処すべきですか?
同じ認証情報を使ってcurlでIP確認エンドポイントにアクセスしてみてください。curlでも失敗する場合は回線またはポートに問題があります。proxy timeout guideに確認項目が記載されています。
情報源
Seleniumセッション向けの安定したIP
7カ国の専用IPv4および米国・ベトナムの固定ISPプロキシ。ユーザー名・パスワード認証対応、通信量無制限、完全1ユーザー専有です。
米国の最新価格を見る