ProxyV4

Scrapyプロキシ:meta['proxy']、ミドルウェアの順序、ローテーション

· Updated:

Scrapyでは、リクエストごとに request.meta['proxy'] = 'http://user:pass@ip:port' でプロキシを設定し、標準の HttpProxyMiddleware(順序 750)が user:pass 部分を Proxy-Authorization ヘッダーに変換します。その直前の 740 で実行される軽量なダウンローダーミドルウェアを追加すれば、スパイダーが生成するすべてのリクエストで ProxyV4 プールからIPを選択できるようになります。

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
専用IPv4(データセンター)
🇺🇸 United States
在庫あり
〜から
$1.10 / IP / 月
数量割引
  • 1 IP$1.85
  • 3個以上のIP$1.70
  • 10個以上のIP$1.60
  • 25個以上のIP$1.50
  • 50個以上のIP$1.40
  • 100個以上のIP$1.30
  • 200個以上のIP$1.20
  • 500個以上のIP$1.10
United Statesを購入
専用IPv4(データセンター)
🇬🇧 イギリス
在庫あり
〜から
$1.10 / IP / 月
数量割引
  • 1 IP$1.85
  • 3個以上のIP$1.70
  • 10個以上のIP$1.60
  • 25個以上のIP$1.50
  • 50個以上のIP$1.40
  • 100個以上のIP$1.30
  • 200個以上のIP$1.20
  • 500個以上のIP$1.10
イギリスを購入
プラットフォーム別プロキシ:Web Scraping & CrawlingSEO & SERP TrackingAmazon

ミドルウェアの数値(優先度)が重要な理由

ダウンローダーミドルウェアは、リクエスト送信時に昇順で実行されます。750 に設定された HttpProxyMiddleware は meta['proxy'] を読み取り、URLから認証情報を削除して認証ヘッダーを書き込みます。もし独自のミドルウェアでその後(例えば 800)にプロキシを設定すると、標準ミドルウェアがすでに実行済みのため認証情報が変換されず、プロキシは 407 を返します。自作ミドルウェアを 740 に登録することで、優先して実行させることができます。

設定推奨値効果
request.meta['proxy']'http://user:pass@ip:port'そのリクエストを指定された ProxyV4 プロキシ経由で送信します
カスタムミドルウェアの順序740HttpProxyMiddleware(750)より前に実行され、ログイン情報がエンコードされます
CONCURRENT_REQUESTS_PER_IP2 〜 4送信先IPごとの並行リクエスト数を制限し、各サーバーへの過度な負荷を抑えます
AUTOTHROTTLE_ENABLEDTrueターゲットの応答速度に応じてScrapyが遅延を自動調整できるようにします

ローテーションミドルウェアの概要

  • from_crawler() で設定からプロキシリストを読み込み、ミドルウェアインスタンスに保持します
  • process_request() 内で、リクエストにまだ設定されていない場合に request.meta['proxy'] = random.choice(self.proxies) を代入します
  • レスポンスが 429 や 503 で返ってきた場合、拒否されたプロキシではなくプール内の別のプロキシを使って再試行します
  • リクエスト間隔がメトロノームのように一定にならないよう、DOWNLOAD_DELAY = 1.0 と RANDOMIZE_DOWNLOAD_DELAY = True を組み合わせます

プール規模の設計

Scrapyによるクロールは1分間に多数のリクエストを送信できるため、IPの数が各IPの負荷の緩やかさを左右します。ProxyV4 では最低発注数の制限がなく、購入数が増えるほどIPあたりの価格が下がり、専用IPv4トラフィックは無制限であるため、大規模なクロールでも小規模なものと同じ帯域コストで運用できます。各IPは1人の顧客のみが使用するため、そのIPレピュテーションは他者の影響を受けず、お客様自身のクロール状況のみが反映されます。クロール量とサーバーへの配慮に関する計画については、ウェブスクレイピングガイドをご覧ください。

設定手順

  1. 1

    プロキシURLの準備

    プロキシフォーマット変換ツールを使って ProxyV4 の ip:port:user:pass 形式の行を http://user:pass@ip:port に変換し、設定ファイルまたはファイルに保存します。

  2. 2

    ProxyPoolMiddlewareの作成

    middlewares.py で process_request(self, request, spider) を実装し、request.meta['proxy'] = random.choice(self.proxies) を設定するようにします。

  3. 3

    標準ミドルウェアの前に登録

    settings.py で DOWNLOADER_MIDDLEWARES に 'myproject.middlewares.ProxyPoolMiddleware': 740 を追加し、CONCURRENT_REQUESTS_PER_IP = 2 を設定します。

  4. 4

    ローテーションの確認

    scrapy shell や簡単なテストスパイダーを使って https://proxyv4.com/api/my-ip を数回取得し、返されるIPがプール内のIPに切り替わっていることを確認します。

よくある質問

優先度800のプロキシミドルウェアで407エラーが発生します。なぜですか?

800 では HttpProxyMiddleware(750)の後に実行されるため、プロキシURL内の user:pass が Proxy-Authorization ヘッダーに変換されません。ミドルウェアの数値を 750 未満(例: 740)に変更してください。

特定のリクエストにだけプロキシを設定することはできますか?

はい、可能です。Request 作成時に meta={'proxy': 'http://user:pass@ip:port'} を渡すと、標準ミドルウェアがそのリクエストのログイン認証のみを処理します。

数百万ページ規模のクロールで帯域幅の制限に達することはありますか?

ProxyV4 の専用IPv4や静的ISPプロキシでは制限に達することはありません。どちらも帯域幅無制限です。実質的な上限は、ターゲットサーバーが許容するクロール速度のみです。

情報源

Scrapyクロール向けの帯域無制限な静的IP

7か国の専用IPv4に加え、米国とベトナムの静的ISPを提供。1つのIPから大規模プールまで、リアルタイムの数量割引価格でご利用いただけます。

米国の最新価格を確認

Related articles

プラットフォーム別プロキシ
Webスクレイピング用プロキシ:トラフィック無制限の固定IPプール
Python、Scrapy、Playwright、Selenium向けのWebスクレイピング用プロキシ。専用IPv4と静的ISPのプールを帯域無制限・IP単位の定額料金で提供します。
プロキシ設定
認証付きプロキシ経由でPython requestsを使う手順
認証付きHTTP(S)プロキシ経由でPythonリクエストを送信:proxies辞書の作成、Sessionへの適用、特殊文字パスワードのエンコード、リストのローテーション、IP確認まで解説。
プロキシ設定
Playwrightのプロキシ認証:コンテキストごとに1つの固定IPを設定
Playwrightの各コンテキストに認証付きHTTP(S)プロキシを個別に割り当て、IPに応じたタイムゾーン設定と出口IP確認を行う方法を解説。
無料ツール
ツールが要求する形式にプロキシリストを一括変換
ブラウザ上でip:port:user:pass、user:pass@ip:port、http:// URL、SOCKS5 URI、JSON配列、FoxyProxy用ファイルへプロキシリストを一括変換。
プラットフォーム別プロキシ
SEO順位計測向けプロキシ:現地の検索ユーザーと同じ結果ページを確認
米・英・越・日など対象市場の専用IPv4プロキシでSEO順位を計測。現地の検索結果、ローカルパック、広告を正確に把握できます。
プラットフォーム別プロキシ
各アカウントに固定アドレスを提供するAmazonセラー専用プロキシ
セラーセントラル、KDP、Merch向けAmazonセラー専用プロキシ。アカウントごとに米国固定ISPや英・日プライベートIPv4を提供。完全専用で更新時も同一IPを継続利用できます。
IPV4 · united states
スクレイピング・順位追跡・広告チェック向け米国専用IPv4プロキシプール
米国専用IPv4プロキシの購入:固定アメリカデータセンターIP、1ユーザー専任割当、データ容量無制限。スクレイピング、SERP順位追跡、米国の広告検証向けに構築。
IPV4 · united kingdom
マーケットプレイス・検索・キャンペーン向け英国専用IPv4プロキシ
1社専任で割り当てられる固定英国データセンターIPの英国専用IPv4プロキシ。eBay UKやAmazon.co.ukの調査、google.co.ukの順位追跡、英国向け広告の検証に最適です。