Webスクレイピング用プロキシ:トラフィック無制限の固定IPプール
Updated:
ギガバイト単位で課金されるWebスクレイピング用プロキシは、ページ容量が増えるたびにクローラーの運用コストが高くなります。そのため、定期的に巡回するクローラーには、トラフィック無制限の固定IPプールを利用するほうが安価です。ProxyV4は7カ国の専用IPv4と、米国・ベトナムの静的ISPを販売しており、すべてトラフィック無制限のIP単位定額制です。ターゲットが許容する1秒あたりのリクエスト数に応じてプールサイズを調整でき、ページ容量が増えても請求額は変わりません。
- 1 IP$1.85
- 3個以上のIP$1.70
- 10個以上のIP$1.60
- 25個以上のIP$1.50
- 50個以上のIP$1.40
- 100個以上のIP$1.30
- 200個以上のIP$1.20
- 500個以上のIP$1.10
- 1 IP$1.85
- 3個以上のIP$1.70
- 10個以上のIP$1.60
- 25個以上のIP$1.50
- 50個以上のIP$1.40
- 100個以上のIP$1.30
- 200個以上のIP$1.20
- 500個以上のIP$1.10
クローラーにおけるIP単位課金とGB単位課金の比較
| 比較項目 | 固定プール(IP単位) | 従量課金(GB単位) |
|---|---|---|
| コストを左右する要因 | IP数とレンタル期間 | HTML、JS、アセットを含むダウンロード容量 |
| ページの容量が増加した場合 | 影響なし(帯域幅は無制限) | 容量に応じて請求額が増加 |
| スループットの制限要因 | 各ターゲットのIP単位のレート制限 | 予算 |
| スケール方法 | IPを追加(数量に応じてIP単価が割引) | トラフィックを追加購入 |
スクレイパーがブロックされる理由とIPプールによる変化
カタログ、一覧ページ、公開APIのスクレイピングにおいて、ブロックされる主な原因は「誰か」ではなく「リクエストの頻度」です。1つのアドレスがサイトのリクエストレート制限を超えるとHTTP 429が返されます。10〜100個の静的IPプールを用意し、各IPの同時接続数を控えめに維持することで、各アドレスをしきい値未満に保ちつつ、クローラー全体として必要な速度で実行できます。
シングルテナンシー(専用利用)も効果的です。ProxyV4の各IPはレンタル期間中1人の顧客に専任で割り当てられるため、ターゲットサイトがそのアドレスで記録するリクエスト履歴はあなただけのものです。
ターゲットに合わせたプールの選定
静的プールを長持ちさせるクローラーの設定
すべての回線で標準的な認証情報を使用するため、Pythonでのプロキシ設定は proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"} と記述するだけです。
- リスト全体でリクエストをラウンドロビン方式で割り当て、ターゲットドメインごとにIPあたり約2〜5秒のランダムなジッター(ゆらぎ)を追加する
requests.Session()やプーリング対応クライアントで接続を再利用し、リクエストごとのTLSハンドシェイクのオーバーヘッドを防ぐ- PlaywrightやPuppeteerでは、パースしない画像、フォント、メディアをブロックする
- IPがHTTP 429または503を受け取った場合は、即座に再試行せず、ローテーションから外してクールダウンさせ、バックオフを行う
設定手順
- 1
- 2
リストをURL形式に変換
ip:port:user:passの行をプロキシフォーマット変換ツールに貼り付け、http://user:pass@ip:portの文字列またはJSONを取得します。 - 3
フレームワークにプールを組み込む
Python Requests、Scrapy、Selenium、またはNode.js Axiosの設定手順ページをご利用ください。
- 4
初回の本格実行前に測定
プロキシスピードテストで応答時間を確認し、ターゲットへの接続が遅い回線を除外します。
よくある質問
ProxyV4プロキシでのスクレイピングトラフィックは従量課金制ですか?
いいえ。専用IPv4および静的ISPは、帯域幅無制限のレンタル期間に応じたIP単位の定額制です。
1つの静的IPで1日に何ページ取得できますか?
ターゲットのレート制限によって異なります。ドメインあたり毎分1〜3リクエストの場合、1つのIPで検知されることなく1日あたり約1,500〜4,000ページを取得できます。
スクレイピング用のローテーティングプロキシは販売していますか?
現在は未発売です。ローテーティングベトナムプロキシはウェイトリストのみの受付となっています。当面は、ラウンドロビン割り当てを用いた静的プールでも、大半の定期クローラーで同様の役割を果たせます。
50個のプロキシを素早くScrapy形式に変換するにはどうすればよいですか?
プロキシフォーマット変換ツールに貼り付けてください。ブラウザ上で ip:port:user:pass の行がURL文字列やJSON配列に変換されます。
月額定額でスクレイピング用プールを構築
7カ国の専用IPv4と米国・ベトナムの静的ISPを、トラフィック無制限のIP単位定額制で提供します。
米国IPv4の最新価格を確認