Scrapyプロキシ:meta['proxy']、ミドルウェアの順序、ローテーション
執筆: ProxyV4 エンジニアリングチーム · Updated:
Scrapyでは、リクエストごとに request.meta['proxy'] = 'http://user:pass@ip:port' でプロキシを設定し、標準の HttpProxyMiddleware(順序 750)が user:pass 部分を Proxy-Authorization ヘッダーに変換します。その直前の 740 で実行される軽量なダウンローダーミドルウェアを追加すれば、スパイダーが生成するすべてのリクエストで ProxyV4 プールからIPを選択できるようになります。
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP$1.85
- 3個以上のIP$1.70
- 10個以上のIP$1.60
- 25個以上のIP$1.50
- 50個以上のIP$1.40
- 100個以上のIP$1.30
- 200個以上のIP$1.20
- 500個以上のIP$1.10
- 1 IP$1.85
- 3個以上のIP$1.70
- 10個以上のIP$1.60
- 25個以上のIP$1.50
- 50個以上のIP$1.40
- 100個以上のIP$1.30
- 200個以上のIP$1.20
- 500個以上のIP$1.10
ミドルウェアの数値(優先度)が重要な理由
ダウンローダーミドルウェアは、リクエスト送信時に昇順で実行されます。750 に設定された HttpProxyMiddleware は meta['proxy'] を読み取り、URLから認証情報を削除して認証ヘッダーを書き込みます。もし独自のミドルウェアでその後(例えば 800)にプロキシを設定すると、標準ミドルウェアがすでに実行済みのため認証情報が変換されず、プロキシは 407 を返します。自作ミドルウェアを 740 に登録することで、優先して実行させることができます。
| 設定 | 推奨値 | 効果 |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | そのリクエストを指定された ProxyV4 プロキシ経由で送信します |
| カスタムミドルウェアの順序 | 740 | HttpProxyMiddleware(750)より前に実行され、ログイン情報がエンコードされます |
CONCURRENT_REQUESTS_PER_IP | 2 〜 4 | 送信先IPごとの並行リクエスト数を制限し、各サーバーへの過度な負荷を抑えます |
AUTOTHROTTLE_ENABLED | True | ターゲットの応答速度に応じてScrapyが遅延を自動調整できるようにします |
ローテーションミドルウェアの概要
from_crawler()で設定からプロキシリストを読み込み、ミドルウェアインスタンスに保持しますprocess_request()内で、リクエストにまだ設定されていない場合にrequest.meta['proxy'] = random.choice(self.proxies)を代入します- レスポンスが
429や503で返ってきた場合、拒否されたプロキシではなくプール内の別のプロキシを使って再試行します - リクエスト間隔がメトロノームのように一定にならないよう、
DOWNLOAD_DELAY = 1.0とRANDOMIZE_DOWNLOAD_DELAY = Trueを組み合わせます
プール規模の設計
Scrapyによるクロールは1分間に多数のリクエストを送信できるため、IPの数が各IPの負荷の緩やかさを左右します。ProxyV4 では最低発注数の制限がなく、購入数が増えるほどIPあたりの価格が下がり、専用IPv4トラフィックは無制限であるため、大規模なクロールでも小規模なものと同じ帯域コストで運用できます。各IPは1人の顧客のみが使用するため、そのIPレピュテーションは他者の影響を受けず、お客様自身のクロール状況のみが反映されます。クロール量とサーバーへの配慮に関する計画については、ウェブスクレイピングガイドをご覧ください。
設定手順
- 1
プロキシURLの準備
プロキシフォーマット変換ツールを使って ProxyV4 の
ip:port:user:pass形式の行をhttp://user:pass@ip:portに変換し、設定ファイルまたはファイルに保存します。 - 2
ProxyPoolMiddlewareの作成
middlewares.pyでprocess_request(self, request, spider)を実装し、request.meta['proxy'] = random.choice(self.proxies)を設定するようにします。 - 3
標準ミドルウェアの前に登録
settings.pyでDOWNLOADER_MIDDLEWARESに'myproject.middlewares.ProxyPoolMiddleware': 740を追加し、CONCURRENT_REQUESTS_PER_IP = 2を設定します。 - 4
ローテーションの確認
scrapy shellや簡単なテストスパイダーを使ってhttps://proxyv4.com/api/my-ipを数回取得し、返されるIPがプール内のIPに切り替わっていることを確認します。
よくある質問
優先度800のプロキシミドルウェアで407エラーが発生します。なぜですか?
800 では HttpProxyMiddleware(750)の後に実行されるため、プロキシURL内の user:pass が Proxy-Authorization ヘッダーに変換されません。ミドルウェアの数値を 750 未満(例: 740)に変更してください。
特定のリクエストにだけプロキシを設定することはできますか?
はい、可能です。Request 作成時に meta={'proxy': 'http://user:pass@ip:port'} を渡すと、標準ミドルウェアがそのリクエストのログイン認証のみを処理します。
数百万ページ規模のクロールで帯域幅の制限に達することはありますか?
ProxyV4 の専用IPv4や静的ISPプロキシでは制限に達することはありません。どちらも帯域幅無制限です。実質的な上限は、ターゲットサーバーが許容するクロール速度のみです。
情報源
Scrapyクロール向けの帯域無制限な静的IP
7か国の専用IPv4に加え、米国とベトナムの静的ISPを提供。1つのIPから大規模プールまで、リアルタイムの数量割引価格でご利用いただけます。
米国の最新価格を確認