ProxyV4

認証付きプロキシ経由でPython requestsを使う手順

· Updated:

Pythonのrequestsでプロキシを使用するには、'http'と'https'の両方のキーにhttp://user:pass@ip:portを指定したproxies辞書を渡します。その辞書をrequests.Session()に設定すれば、プロキシへの同一接続がリクエストごとに再利用され、毎回新規接続を確立するよりも高速に動作します。以下では、辞書の設定、セッションの利用法、発生しやすいエラー、そしてProxyV4の出口IPを1行で確認する方法を解説します。

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
専用IPv4(データセンター)
🇺🇸 United States
在庫あり
〜から
$1.10 / IP / 月
数量割引
  • 1 IP$1.85
  • 3個以上のIP$1.70
  • 10個以上のIP$1.60
  • 25個以上のIP$1.50
  • 50個以上のIP$1.40
  • 100個以上のIP$1.30
  • 200個以上のIP$1.20
  • 500個以上のIP$1.10
United Statesを購入
専用IPv4(データセンター)
🇻🇳 ベトナム
在庫あり
〜から
$1.10 / IP / 月
数量割引
  • 1 IP$1.85
  • 3個以上のIP$1.70
  • 10個以上のIP$1.60
  • 25個以上のIP$1.50
  • 50個以上のIP$1.40
  • 100個以上のIP$1.30
  • 200個以上のIP$1.20
  • 500個以上のIP$1.10
ベトナムを購入
プラットフォーム別プロキシ:Web Scraping & CrawlingSEO & SERP TrackingAmazon

proxies辞書の設定解説

設定項目値理由
'http'キー'http://user:pass@ip:port'通常のhttp:// URL向けに使用
'https'キー'http://user:pass@ip:port'プロキシURLはhttp://のまま指定:urllib3がプロキシにCONNECTトンネルを要求し、その内部でTLSを実行
timeouttimeout=(5, 15)接続に5秒、読み込みに15秒。応答のないターゲットによるスレッド停止を防止
ローテーションitertools.cycle(proxy_list)静的IPを順番に割り当て

単体のrequests.get()よりSessionが優れている理由

トップレベルのrequests.get()呼び出しは毎回新しいコネクションプールを作成するため、プロキシへのTCP接続とサイトとのTLSハンドシェイクが毎回繰り返されます。Sessionを使用すると、呼び出し間でこれらの接続が維持されます。単一のIP経由で数百ページを取得するスクリプトでは、実行時間全体に明確な差が現れます。

s.proxies.update(proxies)を一度設定すれば、以降のすべてのs.get()およびs.post()がプロキシを経由します。注意点として、環境変数にHTTP_PROXYやHTTPS_PROXYが設定されている場合、requestsがそれらをセッションの設定と結合することがあります。どちらが使用されるか確実にしたい場合は、呼び出し時に直接proxies=を渡してください。

エラーの原因と対処法

  • 407 Proxy Authentication Requiredを伴うProxyError:プロキシには到達可能ですが、URL内の認証情報が注文内容と一致していません。詳細は407エラーページを参照してください。
  • @、:、/を含むパスワードはURLの構造を崩します。事前にurllib.parse.quote(password, safe='')でエンコードしてください。
  • プロキシURLをhttps://に変更すると通常は接続に失敗します。プロキシポートが明示的にTLSポートでない限り、両方のキーでhttp://のままにしてください。
  • ConnectTimeoutは認証情報ではなくIPやポートの問題を示しています。ポートチェッカーで疎通確認を行ってください。

httpxおよびaiohttpでの同様のパターン

URLの形式はそのまま使えます。httpxではhttpx.Client(proxy='http://user:pass@ip:port')を作成し、aiohttpではsession.get(url, proxy=...)のようにproxy=を渡します。スケジューリングや再試行を伴う大規模なクロールには、通常Scrapyを使用する方が簡単です。

設定手順

  1. 1

    プロキシURLの組み立て

    ProxyV4の各ip:port:user:passの行をhttp://user:pass@ip:portの形式に書き換えるか、プロキシフォーマット変換ツールを使ってリスト全体を一括変換します。

  2. 2

    辞書の作成

    proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}と記述します。

  3. 3

    Sessionへの適用

    s = requests.Session()を作成し、s.proxies.update(proxies)を呼び出してリクエスト間で接続を維持できるようにします。

  4. 4

    出口IPの出力

    print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())を実行します。出力されるIPがプロキシのものになっているはずです。

よくある質問

なぜ'https'のエントリがhttp:// URLなのですか?

スキームはウェブサイトではなく、Pythonがプロキシとどのように通信するかを示しています。urllib3はプレーンHTTPでプロキシに接続してCONNECTを送信し、そのトンネル経由でhttps://サイトとのTLS通信を行うため、Webページのトラフィックは暗号化されたまま保護されます。

25個の静的プロキシにリクエストを分散させるにはどうすればよいですか?

25個のURLをリストに入れ、pool = itertools.cycle(PROXIES)を作成します。リクエストごとにp = next(pool)を取得してproxies={'http': p, 'https': p}を渡します。特定の単一アドレスに負荷が集中しないよう、IPごとに適切なディレイを設けてください。

Pythonスクリプトからのトラフィックは従量制ですか?

いいえ。ProxyV4の専用IPv4および静的ISPプランは帯域幅が無制限のため、長時間実行するスクリプトでもデータ通信量の上限に達することはありません。

情報源

Pythonスクリプト向けの静的IPプール

7カ国の専用IPv4に加え、米国およびベトナムの静的ISPを提供。1個単位でもまとめ買いでも購入可能で、数量が増えるほどIPあたりの単価が下がります。

米国の最新価格を確認

Related articles

プラットフォーム別プロキシ
Webスクレイピング用プロキシ:トラフィック無制限の固定IPプール
Python、Scrapy、Playwright、Selenium向けのWebスクレイピング用プロキシ。専用IPv4と静的ISPのプールを帯域無制限・IP単位の定額料金で提供します。
プロキシ設定
Playwrightのプロキシ認証:コンテキストごとに1つの固定IPを設定
Playwrightの各コンテキストに認証付きHTTP(S)プロキシを個別に割り当て、IPに応じたタイムゾーン設定と出口IP確認を行う方法を解説。
プロキシ設定
Scrapyプロキシ:meta['proxy']、ミドルウェアの順序、ローテーション
Scrapyで認証付きHTTP(S)プロキシを設定:request.meta['proxy']の設定、HttpProxyMiddleware (750)前の配置、IPローテーションとクロール速度調整。
無料ツール
ツールが要求する形式にプロキシリストを一括変換
ブラウザ上でip:port:user:pass、user:pass@ip:port、http:// URL、SOCKS5 URI、JSON配列、FoxyProxy用ファイルへプロキシリストを一括変換。
プラットフォーム別プロキシ
SEO順位計測向けプロキシ:現地の検索ユーザーと同じ結果ページを確認
米・英・越・日など対象市場の専用IPv4プロキシでSEO順位を計測。現地の検索結果、ローカルパック、広告を正確に把握できます。
プラットフォーム別プロキシ
各アカウントに固定アドレスを提供するAmazonセラー専用プロキシ
セラーセントラル、KDP、Merch向けAmazonセラー専用プロキシ。アカウントごとに米国固定ISPや英・日プライベートIPv4を提供。完全専用で更新時も同一IPを継続利用できます。
IPV4 · united states
スクレイピング・順位追跡・広告チェック向け米国専用IPv4プロキシプール
米国専用IPv4プロキシの購入:固定アメリカデータセンターIP、1ユーザー専任割当、データ容量無制限。スクレイピング、SERP順位追跡、米国の広告検証向けに構築。
IPV4 · vietnam
ベトナム専用IPv4プロキシ:大量アカウントに1アカウント1固定IP
ベトナム専用IPv4プロキシ:1ユーザー独占の固定データセンターIPを大口向け低価格で提供。シーディング用アカウント、Shopeeサブ店舗、自動化ツールに最適です。