認証付きプロキシ経由でPython requestsを使う手順
執筆: ProxyV4 エンジニアリングチーム · Updated:
Pythonのrequestsでプロキシを使用するには、'http'と'https'の両方のキーにhttp://user:pass@ip:portを指定したproxies辞書を渡します。その辞書をrequests.Session()に設定すれば、プロキシへの同一接続がリクエストごとに再利用され、毎回新規接続を確立するよりも高速に動作します。以下では、辞書の設定、セッションの利用法、発生しやすいエラー、そしてProxyV4の出口IPを1行で確認する方法を解説します。
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP$1.85
- 3個以上のIP$1.70
- 10個以上のIP$1.60
- 25個以上のIP$1.50
- 50個以上のIP$1.40
- 100個以上のIP$1.30
- 200個以上のIP$1.20
- 500個以上のIP$1.10
- 1 IP$1.85
- 3個以上のIP$1.70
- 10個以上のIP$1.60
- 25個以上のIP$1.50
- 50個以上のIP$1.40
- 100個以上のIP$1.30
- 200個以上のIP$1.20
- 500個以上のIP$1.10
proxies辞書の設定解説
| 設定項目 | 値 | 理由 |
|---|---|---|
'http'キー | 'http://user:pass@ip:port' | 通常のhttp:// URL向けに使用 |
'https'キー | 'http://user:pass@ip:port' | プロキシURLはhttp://のまま指定:urllib3がプロキシにCONNECTトンネルを要求し、その内部でTLSを実行 |
timeout | timeout=(5, 15) | 接続に5秒、読み込みに15秒。応答のないターゲットによるスレッド停止を防止 |
| ローテーション | itertools.cycle(proxy_list) | 静的IPを順番に割り当て |
単体のrequests.get()よりSessionが優れている理由
トップレベルのrequests.get()呼び出しは毎回新しいコネクションプールを作成するため、プロキシへのTCP接続とサイトとのTLSハンドシェイクが毎回繰り返されます。Sessionを使用すると、呼び出し間でこれらの接続が維持されます。単一のIP経由で数百ページを取得するスクリプトでは、実行時間全体に明確な差が現れます。
s.proxies.update(proxies)を一度設定すれば、以降のすべてのs.get()およびs.post()がプロキシを経由します。注意点として、環境変数にHTTP_PROXYやHTTPS_PROXYが設定されている場合、requestsがそれらをセッションの設定と結合することがあります。どちらが使用されるか確実にしたい場合は、呼び出し時に直接proxies=を渡してください。
エラーの原因と対処法
407 Proxy Authentication Requiredを伴うProxyError:プロキシには到達可能ですが、URL内の認証情報が注文内容と一致していません。詳細は407エラーページを参照してください。@、:、/を含むパスワードはURLの構造を崩します。事前にurllib.parse.quote(password, safe='')でエンコードしてください。- プロキシURLを
https://に変更すると通常は接続に失敗します。プロキシポートが明示的にTLSポートでない限り、両方のキーでhttp://のままにしてください。 ConnectTimeoutは認証情報ではなくIPやポートの問題を示しています。ポートチェッカーで疎通確認を行ってください。
httpxおよびaiohttpでの同様のパターン
URLの形式はそのまま使えます。httpxではhttpx.Client(proxy='http://user:pass@ip:port')を作成し、aiohttpではsession.get(url, proxy=...)のようにproxy=を渡します。スケジューリングや再試行を伴う大規模なクロールには、通常Scrapyを使用する方が簡単です。
設定手順
- 1
プロキシURLの組み立て
ProxyV4の各
ip:port:user:passの行をhttp://user:pass@ip:portの形式に書き換えるか、プロキシフォーマット変換ツールを使ってリスト全体を一括変換します。 - 2
辞書の作成
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}と記述します。 - 3
Sessionへの適用
s = requests.Session()を作成し、s.proxies.update(proxies)を呼び出してリクエスト間で接続を維持できるようにします。 - 4
出口IPの出力
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())を実行します。出力されるIPがプロキシのものになっているはずです。
よくある質問
なぜ'https'のエントリがhttp:// URLなのですか?
スキームはウェブサイトではなく、Pythonがプロキシとどのように通信するかを示しています。urllib3はプレーンHTTPでプロキシに接続してCONNECTを送信し、そのトンネル経由でhttps://サイトとのTLS通信を行うため、Webページのトラフィックは暗号化されたまま保護されます。
25個の静的プロキシにリクエストを分散させるにはどうすればよいですか?
25個のURLをリストに入れ、pool = itertools.cycle(PROXIES)を作成します。リクエストごとにp = next(pool)を取得してproxies={'http': p, 'https': p}を渡します。特定の単一アドレスに負荷が集中しないよう、IPごとに適切なディレイを設けてください。
Pythonスクリプトからのトラフィックは従量制ですか?
いいえ。ProxyV4の専用IPv4および静的ISPプランは帯域幅が無制限のため、長時間実行するスクリプトでもデータ通信量の上限に達することはありません。
情報源
Pythonスクリプト向けの静的IPプール
7カ国の専用IPv4に加え、米国およびベトナムの静的ISPを提供。1個単位でもまとめ買いでも購入可能で、数量が増えるほどIPあたりの単価が下がります。
米国の最新価格を確認