専用IPプールを活用したスクレイパーの設計
Updated:
Webスクレイピング用プロキシはリクエストを多数のアドレスに分散させ、単一のIPにクロール全体の負荷が集中するのを防ぎます。大半のターゲットにおいて、専用IPv4アドレスのプールが最も高速かつ費用対効果の高い選択肢です。データセンターのIP帯をブロックするサイトには、静的ISPアドレスが代替手段となります。プールは自身のコード内でローテーションするため、どのIPがどのページを取得したかを常に正確に把握できます。
単一のIPが機能しなくなる理由
Webサイトは1つのアドレスが送信できるリクエスト数に上限を設けています。オフィスの回線からクローラーを実行するとすぐにその上限に達し、同じ建物内の他の全員までアクセス遮断の影響を受ける可能性があります。プロキシプールを利用すれば負荷を分散でき、自社ネットワークをログに残さず、対象国の訪問者に表示されるバージョンのページを取得できます。
主な利用者:競合の価格や在庫を追跡するECチーム、公開データセットを構築するアナリスト、旅行・不動産・求人情報のアグリゲーター、海外からの自社サイト表示をテストする開発者など。
静的プールとローテーションゲートウェイの比較
静的プールでは、レンタル期間中アドレスリストを専有できます。スケジューラーがリクエスト単位またはセッション単位でIPを選択してログに記録し、制限を受け始めたアドレスをローテーションから除外します。各IPはシングルテナント(専用)であるため、そのレピュテーションには自社のトラフィックのみが反映され、固定リストは社内ツールでの許可リスト登録も容易です。
専用IPv4および静的ISPの帯域幅は従量課金ではありません。大容量ページ、画像、長時間のクロールであっても、ギガバイト単位ではなくIP単位で定額課金されます。
ターゲットに応じた製品の選び方
プール規模の算出とリクエストの適切な制御
- 目標リクエストレートからプール規模を決定します。少数のアドレスに過度な負荷をかけるより、多数のアドレスに緩やかなレートで分散させた方が長持ちします。
- ログインセッションやカート操作中は単一のアドレスを固定し、セッション完了後に切り替えます。
- 現実的なヘッダーを送信し、リクエスト間にジッターを設け、HTTP 429や403を受け取った場合はバックオフします。
- レスポンスを検証し、CAPTCHAページやアクセス遮断ページがデータセットに混入しないようにします。
- プロキシチェッカーでアドレスをスクリーニングし(一度に最大100個まで確認可能、パスワードは保存されません)、応答が遅いアドレスやブロックされたアドレスを除外します。
自社の開発環境へのプール導入
すべてのアドレスはユーザー名・パスワード認証によるHTTP(S)またはSOCKS5に対応しており、Orders画面にて ip:port:user:pass の形式で提供されます。主要なライブラリでそのまま利用可能です。設定手順については、Python requests、Scrapy、Playwright、Puppeteerのセットアップページをご覧ください。プロキシ設定機能のないデスクトップツールは、Proxifier経由でルーティングできます。ターゲット別の注意事項については、Webスクレイピング用プロキシのページに記載しています。
責任あるデータ収集
プロキシはリクエストの送信元を変更するものであり、収集する権利のないデータまで取得可能にするものではありません。robots.txt、Webサイトの利用規約、および適用されるデータ保護法を遵守し、処理権限のない個人データは収集しないでください。サイトへの過剰な並列リクエスト送信、所有していないアカウントによるログイン後のスクレイピング、深刻な不正利用は、当社の利用規約にも違反します。
よくある質問
スクレイピングにはデータセンタープロキシとISPプロキシのどちらから始めるべきですか?
データセンタープロキシです。専用IPv4の方が高速で、対応国も豊富です。データセンターのIP帯がブロックされる場合にのみ、静的ISPへ移行してください。それぞれのトレードオフについては、プロキシタイプの比較で解説しています。
ローテーションプロキシサービスは必要ですか?
不要です。独自コードで静的プールをローテーションすることで、どのアドレスがどのリクエストを処理するかを完全に制御できます。
トラフィック量は従量課金ですか?
いいえ、従量課金ではありません。専用IPv4および静的ISPは帯域幅無制限であり、レンタル期間に応じたIPごとの定額料金です。
ScrapyやPlaywrightでSOCKS5を使用できますか?
はい、使用できます。有料プロキシはユーザー名・パスワード認証によるHTTP(S)およびSOCKS5に対応しています。ダッシュボード内の該当ページから、SOCKS5(または両方)に切り替えることができます。なお、Scrapyの内蔵ミドルウェアはHTTPのみに対応しているため、ScrapyではHTTPのままご利用ください。詳細はHTTP vs SOCKS5をご覧ください。
Webスクレイピングは合法ですか?
収集対象のデータ、事業を展開する法域、および対象サイトの利用規約によって異なります。robots.txtを遵守しつつ公開されている非個人データを収集することは一般的な手法ですが、ご自身のプロジェクトに適用される法規制や規約を必ずご確認ください。
スクレイピング用プールを開始
クロール規模に合わせて必要な数の専用IPv4アドレスをご注文いただけます。数量が増えるほどIPあたりの単価が下がり、帯域幅は無制限です。
米国データセンターの料金を確認