ProxyV4

Selenium WebDriverと認証プロキシ:確実に動作する設定方法

· Updated:

Seleniumでのプロキシ認証には回避策が必要です。ChromeDriverの--proxy-server=http://ip:portフラグはユーザー名とパスワードを渡すことができず、Chromeがインラインのuser:passを破棄してWebDriverからは操作できないログインダイアログを表示するためです。確実な解決策は2つあります。PythonでProxyV4のログインを処理するselenium-wireを使う方法と、言語を問わずSeleniumでonAuthRequiredに応答できる軽量なChrome拡張機能を使う方法です。

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
専用IPv4(データセンター)
🇺🇸 United States
在庫あり
〜から
$1.10 / IP / 月
数量割引
  • 1 IP$1.85
  • 3個以上のIP$1.70
  • 10個以上のIP$1.60
  • 25個以上のIP$1.50
  • 50個以上のIP$1.40
  • 100個以上のIP$1.30
  • 200個以上のIP$1.20
  • 500個以上のIP$1.10
United Statesを購入
静的レジデンシャルISP
🇺🇸 United States
在庫あり
〜から
$1.50 / IP / 月
数量割引
  • 1 IP$2.25
  • 3個以上のIP$2.10
  • 10個以上のIP$2.00
  • 25個以上のIP$1.90
  • 50個以上のIP$1.80
  • 100個以上のIP$1.70
  • 200個以上のIP$1.60
  • 500個以上のIP$1.50
United Statesを購入
プラットフォーム別プロキシ:Web Scraping & CrawlingSEO & SERP TrackingAmazon

各手法の比較

手法設定方法適した用途
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Pythonで最も手軽な方法。ブラウザを開いたままプロキシの変更が可能
認証用拡張機能バックグラウンドスクリプトでchrome.webRequest.onAuthRequiredを処理するzip形式の拡張機能Java、C#、Python、undetected-chromedriverのいずれにも好適
Playwrightへの移行browser.newContext({ proxy: { server, username, password } })新規プロジェクト。プロキシ認証が標準搭載されており、拡張機能は不要

通常の--proxy-serverで起きる問題

Chromeはコマンドラインからプロキシのアドレスを取得しますが、そこに記述された認証情報は無視します。プロキシが407を返すと、Chromeはネイティブのサインインプロンプトを表示します。このプロンプトはページのDOM外にあるためfind_elementでは認識できず、スクリプトはタイムアウトするまで停止します。そのため、実際に動作する手法はいずれもフラグ以外の手段で認証情報を提供しています。

selenium-wireは現在アクティブにメンテナンスされていない点にご注意ください。多くの環境では今でも動作しますが、長期運用のプロジェクトでは拡張機能を利用する方法やPlaywrightのほうが安全です。

プロキシ経由のSelenium実行を効率化するコツ

  • 低速なサードパーティ製スクリプトの完了を待たず、DOMの準備が整った段階で処理を進められるようoptions.page_load_strategy = 'eager'を設定する
  • Chrome 109以降でのヘッドレス実行には--headless=newを使用する(認証用拡張機能を含め、通常のウィンドウと同様に動作します)
  • 価格やタイトルなどのテキスト情報のみが必要な場合は、Chromeの環境設定で画像の読み込みを無効にする
  • クラッシュ時にChromeプロセスが残留しないよう、driver.quit()をtry / finallyブロック内に記述する

大規模運用を始める前に

各WebDriverセッションは完全なブラウザであるため、サイト側がIPアドレスによってアカウントを紐付けている場合は、セッションごとに個別のIPを割り当ててください。ProxyV4の専用IPv4は1人のお客様にのみ提供され、更新時も同じアドレスが維持されるため、長期運用のテストアカウントを同一IPに保つことができます。回線不良が原因で紛らわしいSeleniumのタイムアウトエラーが発生しないよう、新しいプロキシはまずプロキシチェッカーで確認してください。

それでも実行時にサーバー自身のIPでページが開かれたり、トンネルエラーで停止したりする場合は、プロキシが動作しない場合のSeleniumセクションに主な原因が順に記載されています。

設定手順

  1. 1

    selenium-wireのインストール

    仮想環境で pip install selenium-wire を実行します。

  2. 2

    プロキシ情報の定義

    ProxyV4の注文情報をもとに sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} を作成します。

  3. 3

    設定したオプションでChromeを起動

    seleniumwireからwebdriverをインポートし、driver = webdriver.Chrome(seleniumwire_options=sw_options)でドライバーを作成します。

  4. 4

    出口IPの確認

    driver.get('https://proxyv4.com/api/my-ip')を呼び出し、プロキシのアドレスがページに表示されることを確認します。

よくある質問

ChromeOptionsで--proxy-server=http://user:pass@ip:portが無視されるのはなぜですか?

Chromeの仕様により、--proxy-serverの値から認証情報が削除されるためです。認証情報はselenium-wireやonAuthRequired対応の拡張機能を使って渡すか、ユーザー名とパスワードを直接指定できるPlaywrightへの切り替えをご検討ください。

selenium-wireはブラウザを再起動せずにプロキシを変更できますか?

はい、可能です。driver.proxy = {'http': 'http://...', 'https': 'http://...'}のように新しい辞書を代入すれば、以降のリクエストに新しいアップストリームプロキシが適用されます。

認証用拡張機能はヘッドレスChromeでも動作しますか?

はい、--headless=newを使用すれば動作します。従来の--headlessモードでは、拡張機能が通常ウィンドウと同様に読み込まれませんでした。

プロキシ経由だとSeleniumがすべてのページでタイムアウトします。どう対処すべきですか?

同じ認証情報を使ってcurlでIP確認エンドポイントにアクセスしてみてください。curlでも失敗する場合は回線またはポートに問題があります。proxy timeout guideに確認項目が記載されています。

情報源

Seleniumセッション向けの安定したIP

7カ国の専用IPv4および米国・ベトナムの固定ISPプロキシ。ユーザー名・パスワード認証対応、通信量無制限、完全1ユーザー専有です。

米国の最新価格を見る

Related articles

プラットフォーム別プロキシ
Webスクレイピング用プロキシ:トラフィック無制限の固定IPプール
Python、Scrapy、Playwright、Selenium向けのWebスクレイピング用プロキシ。専用IPv4と静的ISPのプールを帯域無制限・IP単位の定額料金で提供します。
プロキシ設定
Playwrightのプロキシ認証:コンテキストごとに1つの固定IPを設定
Playwrightの各コンテキストに認証付きHTTP(S)プロキシを個別に割り当て、IPに応じたタイムゾーン設定と出口IP確認を行う方法を解説。
プロキシ設定
認証付きプロキシ経由でPython requestsを使う手順
認証付きHTTP(S)プロキシ経由でPythonリクエストを送信:proxies辞書の作成、Sessionへの適用、特殊文字パスワードのエンコード、リストのローテーション、IP確認まで解説。
プロキシ設定
認証プロキシ付きPuppeteer:起動フラグとログインの設定
Puppeteerのプロキシ認証:--proxy-serverでアドレス指定、page.authenticate()でログイン。SOCKS5対応、コンテキスト分離、不具合対策まで解説。
プラットフォーム別プロキシ
SEO順位計測向けプロキシ:現地の検索ユーザーと同じ結果ページを確認
米・英・越・日など対象市場の専用IPv4プロキシでSEO順位を計測。現地の検索結果、ローカルパック、広告を正確に把握できます。
プラットフォーム別プロキシ
各アカウントに固定アドレスを提供するAmazonセラー専用プロキシ
セラーセントラル、KDP、Merch向けAmazonセラー専用プロキシ。アカウントごとに米国固定ISPや英・日プライベートIPv4を提供。完全専用で更新時も同一IPを継続利用できます。
IPV4 · united states
スクレイピング・順位追跡・広告チェック向け米国専用IPv4プロキシプール
米国専用IPv4プロキシの購入:固定アメリカデータセンターIP、1ユーザー専任割当、データ容量無制限。スクレイピング、SERP順位追跡、米国の広告検証向けに構築。
ISP · united states
米国静的ISPプロキシ:変わらない住宅登録IP
一般向けプロバイダ登録IPによる米国静的ISPプロキシ。Amazon出品者、広告アカウント、Instagram向けに固定の米国IPを提供します。