ProxyV4

専用IPプールを活用したスクレイパーの設計

Updated:

Webスクレイピング用プロキシはリクエストを多数のアドレスに分散させ、単一のIPにクロール全体の負荷が集中するのを防ぎます。大半のターゲットにおいて、専用IPv4アドレスのプールが最も高速かつ費用対効果の高い選択肢です。データセンターのIP帯をブロックするサイトには、静的ISPアドレスが代替手段となります。プールは自身のコード内でローテーションするため、どのIPがどのページを取得したかを常に正確に把握できます。

単一のIPが機能しなくなる理由

Webサイトは1つのアドレスが送信できるリクエスト数に上限を設けています。オフィスの回線からクローラーを実行するとすぐにその上限に達し、同じ建物内の他の全員までアクセス遮断の影響を受ける可能性があります。プロキシプールを利用すれば負荷を分散でき、自社ネットワークをログに残さず、対象国の訪問者に表示されるバージョンのページを取得できます。

主な利用者:競合の価格や在庫を追跡するECチーム、公開データセットを構築するアナリスト、旅行・不動産・求人情報のアグリゲーター、海外からの自社サイト表示をテストする開発者など。

静的プールとローテーションゲートウェイの比較

静的プールでは、レンタル期間中アドレスリストを専有できます。スケジューラーがリクエスト単位またはセッション単位でIPを選択してログに記録し、制限を受け始めたアドレスをローテーションから除外します。各IPはシングルテナント(専用)であるため、そのレピュテーションには自社のトラフィックのみが反映され、固定リストは社内ツールでの許可リスト登録も容易です。

専用IPv4および静的ISPの帯域幅は従量課金ではありません。大容量ページ、画像、長時間のクロールであっても、ギガバイト単位ではなくIP単位で定額課金されます。

ターゲットに応じた製品の選び方

ターゲット製品理由
公開カタログ、API、大半のWebサイト専用IPv4高速、費用対効果が高い、7カ国に対応
データセンターIP帯を拒否するサイト静的ISP、米国またはベトナム一般消費者向けISPに割り当てられたアドレス
IPv6対応サイトの大規模クロールIPv6IPあたりの単価が安く大量のアドレスを確保可能。サイト側のIPv6対応を要確認
アジア地域のローカライズページ日本、韓国、シンガポール、香港、ベトナムの専用IPv4現地のユーザーが見ている内容をそのまま取得

プール規模の算出とリクエストの適切な制御

  • 目標リクエストレートからプール規模を決定します。少数のアドレスに過度な負荷をかけるより、多数のアドレスに緩やかなレートで分散させた方が長持ちします。
  • ログインセッションやカート操作中は単一のアドレスを固定し、セッション完了後に切り替えます。
  • 現実的なヘッダーを送信し、リクエスト間にジッターを設け、HTTP 429や403を受け取った場合はバックオフします。
  • レスポンスを検証し、CAPTCHAページやアクセス遮断ページがデータセットに混入しないようにします。
  • プロキシチェッカーでアドレスをスクリーニングし(一度に最大100個まで確認可能、パスワードは保存されません)、応答が遅いアドレスやブロックされたアドレスを除外します。

自社の開発環境へのプール導入

すべてのアドレスはユーザー名・パスワード認証によるHTTP(S)またはSOCKS5に対応しており、Orders画面にて ip:port:user:pass の形式で提供されます。主要なライブラリでそのまま利用可能です。設定手順については、Python requests、Scrapy、Playwright、Puppeteerのセットアップページをご覧ください。プロキシ設定機能のないデスクトップツールは、Proxifier経由でルーティングできます。ターゲット別の注意事項については、Webスクレイピング用プロキシのページに記載しています。

責任あるデータ収集

プロキシはリクエストの送信元を変更するものであり、収集する権利のないデータまで取得可能にするものではありません。robots.txt、Webサイトの利用規約、および適用されるデータ保護法を遵守し、処理権限のない個人データは収集しないでください。サイトへの過剰な並列リクエスト送信、所有していないアカウントによるログイン後のスクレイピング、深刻な不正利用は、当社の利用規約にも違反します。

よくある質問

スクレイピングにはデータセンタープロキシとISPプロキシのどちらから始めるべきですか?

データセンタープロキシです。専用IPv4の方が高速で、対応国も豊富です。データセンターのIP帯がブロックされる場合にのみ、静的ISPへ移行してください。それぞれのトレードオフについては、プロキシタイプの比較で解説しています。

ローテーションプロキシサービスは必要ですか?

不要です。独自コードで静的プールをローテーションすることで、どのアドレスがどのリクエストを処理するかを完全に制御できます。

トラフィック量は従量課金ですか?

いいえ、従量課金ではありません。専用IPv4および静的ISPは帯域幅無制限であり、レンタル期間に応じたIPごとの定額料金です。

ScrapyやPlaywrightでSOCKS5を使用できますか?

はい、使用できます。有料プロキシはユーザー名・パスワード認証によるHTTP(S)およびSOCKS5に対応しています。ダッシュボード内の該当ページから、SOCKS5(または両方)に切り替えることができます。なお、Scrapyの内蔵ミドルウェアはHTTPのみに対応しているため、ScrapyではHTTPのままご利用ください。詳細はHTTP vs SOCKS5をご覧ください。

Webスクレイピングは合法ですか?

収集対象のデータ、事業を展開する法域、および対象サイトの利用規約によって異なります。robots.txtを遵守しつつ公開されている非個人データを収集することは一般的な手法ですが、ご自身のプロジェクトに適用される法規制や規約を必ずご確認ください。

スクレイピング用プールを開始

クロール規模に合わせて必要な数の専用IPv4アドレスをご注文いただけます。数量が増えるほどIPあたりの単価が下がり、帯域幅は無制限です。

米国データセンターの料金を確認

Related articles

活用事例
正確な現地順位を把握するための順位計測環境の構築
現地ユーザーと同じ視点でGoogle順位をチェック。市場ごとにIPを用意し、クエリ間隔を調整してデータ歪みを防ぐ計測環境を構築します。
プラットフォーム別プロキシ
Webスクレイピング用プロキシ:トラフィック無制限の固定IPプール
Python、Scrapy、Playwright、Selenium向けのWebスクレイピング用プロキシ。専用IPv4と静的ISPのプールを帯域無制限・IP単位の定額料金で提供します。
ナレッジベース
データセンター・ISP・レジデンシャル:3種類のプロキシIPを徹底解説
ISP・データセンター・レジデンシャルプロキシのIP所有元、設置場所、継続期間、料金体系の違いを解説。アカウント運用、広告、データ収集に最適なプロキシが分かります。
プロキシ設定
Scrapyプロキシ:meta['proxy']、ミドルウェアの順序、ローテーション
Scrapyで認証付きHTTP(S)プロキシを設定:request.meta['proxy']の設定、HttpProxyMiddleware (750)前の配置、IPローテーションとクロール速度調整。
無料ツール
プロキシの一括チェック:稼働状況、出口IP、レイテンシ
無料のオンラインプロキシチェッカー。最大100行のip:port:user:passを貼り付けるだけで、稼働状況、出口IP、レイテンシを確認でき、エラー原因も把握できます。
ISP · vietnam
メインストア・広告アカウント向けベトナム静的ISPプロキシ
ベトナムの一般ISP名義のIPを使用した静的ISPプロキシ。Shopee本店舗、TikTok Shop、Facebook広告、Zalo OAに最適な固定IP。
ISP · united states
米国静的ISPプロキシ:変わらない住宅登録IP
一般向けプロバイダ登録IPによる米国静的ISPプロキシ。Amazon出品者、広告アカウント、Instagram向けに固定の米国IPを提供します。
プラットフォーム別プロキシ
複数店舗を運営するTikTok Shopセラー向けプロキシ
複数店舗を運営する方向けのTikTok Shopプロキシ。米国・ベトナム・英国・シンガポールの固定ISPまたは専用IPv4を各店舗に割り当て、更新後も同一IPを維持できます。