ProxyV4

Scrapy 프록시: meta['proxy'], 미들웨어 순서 및 순환

· Updated:

Scrapy에서는 request.meta['proxy'] = 'http://user:pass@ip:port'를 통해 요청별로 프록시를 설정하며, 내장된 HttpProxyMiddleware(순서 750)가 user:pass 부분을 Proxy-Authorization 헤더로 변환합니다. 그보다 앞선 740 순서로 간단한 다운로더 미들웨어를 추가하면, 스파이더가 생성하는 모든 요청이 ProxyV4 풀에서 IP를 하나씩 선택하도록 만들 수 있습니다.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
전용 IPv4 (데이터센터)
🇺🇸 미국
재고 있음
최저
US$1.10 / IP / 월
수량별 할인 혜택
  • IP 1개US$1.85
  • 3개 이상 IPUS$1.70
  • 10개 이상 IPUS$1.60
  • 25개 이상 IPUS$1.50
  • 50개 이상 IPUS$1.40
  • 100개 이상 IPUS$1.30
  • 200개 이상 IPUS$1.20
  • 500개 이상 IPUS$1.10
미국 구매
전용 IPv4 (데이터센터)
🇬🇧 영국
재고 있음
최저
US$1.10 / IP / 월
수량별 할인 혜택
  • IP 1개US$1.85
  • 3개 이상 IPUS$1.70
  • 10개 이상 IPUS$1.60
  • 25개 이상 IPUS$1.50
  • 50개 이상 IPUS$1.40
  • 100개 이상 IPUS$1.30
  • 200개 이상 IPUS$1.20
  • 500개 이상 IPUS$1.10
영국 구매

미들웨어 우선순위 번호가 중요한 이유

다운로더 미들웨어는 요청이 나갈 때 오름차순 번호 순서로 실행됩니다. 750번인 HttpProxyMiddleware는 meta['proxy']를 읽고 URL에서 인증 정보를 분리하여 인증 헤더를 작성합니다. 만약 자체 미들웨어를 그 이후인 800번 등으로 설정하면 기본 미들웨어가 이미 실행되어 인증 정보가 변환되지 않으므로 프록시에서 407 응답을 반환합니다. 자체 미들웨어를 740번에 등록해야 먼저 실행됩니다.

설정권장 값효과
request.meta['proxy']'http://user:pass@ip:port'해당 요청을 지정된 ProxyV4 프록시를 통해 전송
자체 미들웨어 순서740HttpProxyMiddleware(750)보다 먼저 실행되어 로그인 정보가 인코딩됨
CONCURRENT_REQUESTS_PER_IP2에서 4대상 IP당 병렬 요청 수를 제한하여 각 서버에 무리가 가지 않도록 예의를 지키는 상한선
AUTOTHROTTLE_ENABLEDTrue대상 서버의 응답 속도에 맞춰 Scrapy가 지연 시간을 늘리거나 줄이도록 허용

순환 미들웨어 구현 개요

  • from_crawler()의 설정에서 프록시 목록을 읽어와 미들웨어 인스턴스에 유지
  • process_request()에서 요청에 이미 프록시가 설정되어 있지 않다면 request.meta['proxy'] = random.choice(self.proxies) 할당
  • 응답이 429 또는 503으로 반환되면 방금 거부된 프록시 대신 풀의 다른 프록시로 재시도
  • 요청 간격이 메트로놈처럼 일정하지 않고 유동적으로 변하도록 DOWNLOAD_DELAY = 1.0과 RANDOMIZE_DOWNLOAD_DELAY = True 함께 사용

풀 크기 산정하기

Scrapy 크롤링은 분당 수많은 요청을 보낼 수 있으므로 IP 개수에 따라 각 IP를 얼마나 여유롭게 활용할지가 결정됩니다. ProxyV4는 최소 주문 수량이 없고 수량이 늘어날수록 IP당 단가가 낮아지며, 전용 IPv4 트래픽은 무제한이므로 대규모 크롤링이라도 대역폭 비용이 소규모 크롤링과 동일합니다. 각 IP는 단 한 명의 고객에게만 배정되므로 타인의 영향 없이 본인의 크롤링 평판만 유지됩니다. 크롤링 규모 및 예의 있는 수집 계획에 대한 자세한 내용은 웹 스크래핑 가이드를 참고하세요.

단계별 안내

  1. 1

    프록시 URL 준비

    프록시 형식 변환기를 사용하여 ProxyV4 ip:port:user:pass 줄을 http://user:pass@ip:port 형식으로 변환한 뒤 설정이나 파일에 저장합니다.

  2. 2

    ProxyPoolMiddleware 작성

    middlewares.py에서 request.meta['proxy'] = random.choice(self.proxies)를 설정하도록 process_request(self, request, spider)를 구현합니다.

  3. 3

    기본 미들웨어보다 앞에 등록

    settings.py에서 DOWNLOADER_MIDDLEWARES에 'myproject.middlewares.ProxyPoolMiddleware': 740을 추가하고 CONCURRENT_REQUESTS_PER_IP = 2를 설정합니다.

  4. 4

    순환 작동 확인

    scrapy shell 또는 간단한 테스트 스파이더로 https://proxyv4.com/api/my-ip를 여러 번 호출하여 응답된 IP가 풀 내에서 순환 변경되는지 확인합니다.

자주 묻는 질문

우선순위 800에 위치한 프록시 미들웨어에서 407 오류가 발생합니다. 이유가 무엇인가요?

800에서는 HttpProxyMiddleware(750) 이후에 실행되므로 프록시 URL의 user:pass가 Proxy-Authorization 헤더로 변환되지 않습니다. 미들웨어를 750보다 앞선 순서(예: 740)로 옮기세요.

단 하나의 요청에만 프록시를 설정할 수 있나요?

네, 가능합니다. Request를 생성할 때 meta={'proxy': 'http://user:pass@ip:port'}를 전달하면 내장 미들웨어가 해당 요청에 대해서만 로그인을 처리합니다.

수백만 페이지를 크롤링하면 대역폭 제한에 걸리나요?

ProxyV4 전용 IPv4 또는 고정 ISP 프록시에서는 대역폭 제한이 없으며, 두 종류 모두 무제한 대역폭을 제공합니다. 실제 한도는 대상 서버가 크롤링을 허용하는 속도에 달려 있습니다.

출처

Scrapy 크롤링을 위한 무제한 고정 IP

7개국 전용 IPv4 및 미국·베트남 고정 ISP를 지원하며, 단일 IP부터 대규모 풀까지 실시간 수량 할인가가 적용됩니다.

미국 실시간 가격 확인

Related articles

플랫폼별 프록시
웹 스크래핑용 프록시: 무제한 트래픽의 고정 IP 풀
Python, Scrapy, Playwright, Selenium용 웹 스크래핑 프록시. 전용 IPv4 및 고정 ISP 풀, 무제한 대역폭, 고정 IP 요금제 제공.
프록시 설정
인증된 프록시를 통한 Python requests 단계별 가이드
인증 HTTP(S) 프록시로 Python 요청을 전송하세요. proxies 딕셔너리 생성, Session 연결, 특수문자 비밀번호 인코딩, 목록 순환과 IP 확인 방법 안내.
프록시 설정
Playwright 프록시 인증, 컨텍스트당 고정 IP 1개 할당
Node.js·Python의 Playwright 컨텍스트마다 인증 HTTP(S) 프록시를 설정하고, IP 기반 시간대와 로캘 일치 및 출구 주소를 확인하세요.
무료 툴
사용 도구에 맞는 형식으로 프록시 목록 변환하기
브라우저에서 ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON, FoxyProxy 프록시 목록 일괄 변환.
플랫폼별 프록시
SEO 순위 추적용 프록시: 현지 검색 사용자에게 보이는 검색 결과를 직접 확인하세요
미국, 영국, 베트남, 일본 등 주요 시장의 전용 IPv4 프록시로 현지인에게 표시되는 실제 순위, 로컬 팩, 광고를 정확히 추적하세요.
플랫폼별 프록시
각 계정에 고정 주소를 부여하는 아마존 셀러 프록시
Seller Central, KDP, Merch용 아마존 셀러 프록시: 계정당 미국 고정 ISP 또는 영국/일본 전용 IPv4를 단독 배정하며 갱신 시에도 유지됩니다.
IPV4 · united states
스크래핑, 순위 추적 및 광고 검수를 위한 미국 전용 IPv4 프록시 풀
미국 프라이빗 IPv4 프록시 구매: 고정 미국 데이터센터 IP, 단독 사용, 무제한 대역폭. 스크래핑, SERP 순위 추적 및 미국 광고 검증에 최적화되어 있습니다.
IPV4 · united kingdom
마켓플레이스, 검색 및 캠페인을 위한 영국 전용 IPv4 프록시
eBay UK·Amazon.co.uk 리서치, google.co.uk 추적, 영국 광고 검수용 단일 고객 전용 영국 고정 데이터센터 IPv4 프록시입니다.