Scrapy 프록시: meta['proxy'], 미들웨어 순서 및 순환
ProxyV4 엔지니어링 팀 작성 · Updated:
Scrapy에서는 request.meta['proxy'] = 'http://user:pass@ip:port'를 통해 요청별로 프록시를 설정하며, 내장된 HttpProxyMiddleware(순서 750)가 user:pass 부분을 Proxy-Authorization 헤더로 변환합니다. 그보다 앞선 740 순서로 간단한 다운로더 미들웨어를 추가하면, 스파이더가 생성하는 모든 요청이 ProxyV4 풀에서 IP를 하나씩 선택하도록 만들 수 있습니다.
request.meta['proxy'] = 'http://user:pass@ip:port'- IP 1개US$1.85
- 3개 이상 IPUS$1.70
- 10개 이상 IPUS$1.60
- 25개 이상 IPUS$1.50
- 50개 이상 IPUS$1.40
- 100개 이상 IPUS$1.30
- 200개 이상 IPUS$1.20
- 500개 이상 IPUS$1.10
- IP 1개US$1.85
- 3개 이상 IPUS$1.70
- 10개 이상 IPUS$1.60
- 25개 이상 IPUS$1.50
- 50개 이상 IPUS$1.40
- 100개 이상 IPUS$1.30
- 200개 이상 IPUS$1.20
- 500개 이상 IPUS$1.10
미들웨어 우선순위 번호가 중요한 이유
다운로더 미들웨어는 요청이 나갈 때 오름차순 번호 순서로 실행됩니다. 750번인 HttpProxyMiddleware는 meta['proxy']를 읽고 URL에서 인증 정보를 분리하여 인증 헤더를 작성합니다. 만약 자체 미들웨어를 그 이후인 800번 등으로 설정하면 기본 미들웨어가 이미 실행되어 인증 정보가 변환되지 않으므로 프록시에서 407 응답을 반환합니다. 자체 미들웨어를 740번에 등록해야 먼저 실행됩니다.
| 설정 | 권장 값 | 효과 |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | 해당 요청을 지정된 ProxyV4 프록시를 통해 전송 |
| 자체 미들웨어 순서 | 740 | HttpProxyMiddleware(750)보다 먼저 실행되어 로그인 정보가 인코딩됨 |
CONCURRENT_REQUESTS_PER_IP | 2에서 4 | 대상 IP당 병렬 요청 수를 제한하여 각 서버에 무리가 가지 않도록 예의를 지키는 상한선 |
AUTOTHROTTLE_ENABLED | True | 대상 서버의 응답 속도에 맞춰 Scrapy가 지연 시간을 늘리거나 줄이도록 허용 |
순환 미들웨어 구현 개요
from_crawler()의 설정에서 프록시 목록을 읽어와 미들웨어 인스턴스에 유지process_request()에서 요청에 이미 프록시가 설정되어 있지 않다면request.meta['proxy'] = random.choice(self.proxies)할당- 응답이
429또는503으로 반환되면 방금 거부된 프록시 대신 풀의 다른 프록시로 재시도 - 요청 간격이 메트로놈처럼 일정하지 않고 유동적으로 변하도록
DOWNLOAD_DELAY = 1.0과RANDOMIZE_DOWNLOAD_DELAY = True함께 사용
풀 크기 산정하기
Scrapy 크롤링은 분당 수많은 요청을 보낼 수 있으므로 IP 개수에 따라 각 IP를 얼마나 여유롭게 활용할지가 결정됩니다. ProxyV4는 최소 주문 수량이 없고 수량이 늘어날수록 IP당 단가가 낮아지며, 전용 IPv4 트래픽은 무제한이므로 대규모 크롤링이라도 대역폭 비용이 소규모 크롤링과 동일합니다. 각 IP는 단 한 명의 고객에게만 배정되므로 타인의 영향 없이 본인의 크롤링 평판만 유지됩니다. 크롤링 규모 및 예의 있는 수집 계획에 대한 자세한 내용은 웹 스크래핑 가이드를 참고하세요.
단계별 안내
- 1
프록시 URL 준비
프록시 형식 변환기를 사용하여 ProxyV4
ip:port:user:pass줄을http://user:pass@ip:port형식으로 변환한 뒤 설정이나 파일에 저장합니다. - 2
ProxyPoolMiddleware 작성
middlewares.py에서request.meta['proxy'] = random.choice(self.proxies)를 설정하도록process_request(self, request, spider)를 구현합니다. - 3
기본 미들웨어보다 앞에 등록
settings.py에서DOWNLOADER_MIDDLEWARES에'myproject.middlewares.ProxyPoolMiddleware': 740을 추가하고CONCURRENT_REQUESTS_PER_IP = 2를 설정합니다. - 4
순환 작동 확인
scrapy shell또는 간단한 테스트 스파이더로https://proxyv4.com/api/my-ip를 여러 번 호출하여 응답된 IP가 풀 내에서 순환 변경되는지 확인합니다.
자주 묻는 질문
우선순위 800에 위치한 프록시 미들웨어에서 407 오류가 발생합니다. 이유가 무엇인가요?
800에서는 HttpProxyMiddleware(750) 이후에 실행되므로 프록시 URL의 user:pass가 Proxy-Authorization 헤더로 변환되지 않습니다. 미들웨어를 750보다 앞선 순서(예: 740)로 옮기세요.
단 하나의 요청에만 프록시를 설정할 수 있나요?
네, 가능합니다. Request를 생성할 때 meta={'proxy': 'http://user:pass@ip:port'}를 전달하면 내장 미들웨어가 해당 요청에 대해서만 로그인을 처리합니다.
수백만 페이지를 크롤링하면 대역폭 제한에 걸리나요?
ProxyV4 전용 IPv4 또는 고정 ISP 프록시에서는 대역폭 제한이 없으며, 두 종류 모두 무제한 대역폭을 제공합니다. 실제 한도는 대상 서버가 크롤링을 허용하는 속도에 달려 있습니다.
출처
Scrapy 크롤링을 위한 무제한 고정 IP
7개국 전용 IPv4 및 미국·베트남 고정 ISP를 지원하며, 단일 IP부터 대규모 풀까지 실시간 수량 할인가가 적용됩니다.
미국 실시간 가격 확인