웹 스크래핑용 프록시: 무제한 트래픽의 고정 IP 풀
Updated:
GB당 과금되는 웹 스크래핑 프록시는 페이지 용량이 커질수록 크롤러 비용이 늘어납니다. 따라서 지속적이고 정기적인 크롤러에는 무제한 트래픽을 제공하는 고정 IP 풀이 훨씬 경제적입니다. ProxyV4는 7개국의 전용 IPv4와 미국 및 베트남의 고정 ISP를 트래픽 제한 없이 IP당 정액 요금으로 제공합니다. 타깃 사이트가 허용하는 초당 요청 수에 맞춰 풀 규모를 정하면, 페이지 용량과 관계없이 요금이 동일하게 유지됩니다.
- IP 1개US$1.85
- 3개 이상 IPUS$1.70
- 10개 이상 IPUS$1.60
- 25개 이상 IPUS$1.50
- 50개 이상 IPUS$1.40
- 100개 이상 IPUS$1.30
- 200개 이상 IPUS$1.20
- 500개 이상 IPUS$1.10
- IP 1개US$1.85
- 3개 이상 IPUS$1.70
- 10개 이상 IPUS$1.60
- 25개 이상 IPUS$1.50
- 50개 이상 IPUS$1.40
- 100개 이상 IPUS$1.30
- 200개 이상 IPUS$1.20
- 500개 이상 IPUS$1.10
크롤러 환경에서 IP당 요금제와 GB당 요금제 비교
| 항목 | 고정 풀 (IP당 과금) | 종량제 트래픽 (GB당 과금) |
|---|---|---|
| 비용 결정 요인 | IP 수량 및 대여 기간 | HTML, JS, 에셋 등 다운로드된 바이트 수 |
| 페이지 용량이 커질 때 | 비용 변동 없음 (대역폭 무제한) | 용량에 비례해 청구 금액 증가 |
| 처리량 제한 요인 | 타깃 사이트의 IP별 요청 제한 | 예산 한도 |
| 확장 방법 | IP 추가 (수량이 늘어날수록 IP당 단가 할인) | 트래픽 추가 구매 |
스크래퍼가 차단되는 이유와 IP 풀의 해결책
카탈로그, 매물 목록, 공개 API를 스크래핑할 때 발생하는 차단의 대부분은 신원 때문이 아니라 요청 속도 때문입니다. 단일 IP 주소가 사이트의 요청 한도를 초과하면 HTTP 429 오류가 발생합니다. 각각 적정 동시 요청 수를 유지하는 10~100개의 고정 IP 풀을 활용하면, 전체 크롤러가 원하는 속도로 실행되는 동안에도 모든 IP가 차단 임계값 아래로 유지됩니다.
단독 사용(단일 테넌시) 역시 큰 도움이 됩니다. ProxyV4의 각 IP는 대여 기간 내내 단 한 명의 고객에게만 전용으로 배정되므로, 타깃 사이트에 기록되는 해당 IP의 요청 이력은 오직 귀하만의 것입니다.
타깃 사이트에 맞는 프록시 풀 선택
고정 풀의 수명을 늘려주는 크롤러 설정
모든 프록시는 표준 인증 방식을 사용하므로 Python에서는 proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}와 같이 간단히 설정할 수 있습니다.
- 목록 전체에 라운드로빈 방식으로 요청을 분배하고, 타깃 도메인별 IP마다 약 2~5초의 무작위 지연(지터)을 추가하세요
requests.Session()또는 풀링 클라이언트로 연결을 재사용하여 매 요청마다 TLS 핸드셰이크 오버헤드가 발생하지 않도록 하세요- Playwright 및 Puppeteer에서는 파싱하지 않는 이미지, 폰트, 미디어를 차단하세요
- 특정 IP에 HTTP 429 또는 503 오류가 발생하면 즉시 재시도하지 말고 대기 시간을 위해 로테이션에서 잠시 제외하세요
단계별 안내
- 1
- 2
목록을 URL 형식으로 변환
ip:port:user:pass형식의 줄들을 프록시 형식 변환기에 붙여넣어http://user:pass@ip:port형태의 문자열이나 JSON으로 변환하세요. - 3
프레임워크에 프록시 풀 연동
Python Requests, Scrapy, Selenium, Node.js Axios 연동 가이드를 참고하세요.
- 4
첫 전체 실행 전 성능 측정
프록시 속도 테스트로 응답 시간을 확인하고, 타깃 사이트 접속이 느린 프록시는 제외하세요.
자주 묻는 질문
ProxyV4 프록시의 스크래핑 트래픽은 종량제로 과금되나요?
아닙니다. 전용 IPv4와 고정 ISP는 대여 기간 동안 대역폭 제한 없이 IP당 정액 요금으로 과금됩니다.
고정 IP 1개로 하루에 몇 페이지를 가져올 수 있나요?
타깃 사이트의 요청 한도에 따라 다릅니다. 도메인당 분당 1~3회 요청 기준, IP 1개로 차단 감지 없이 하루에 약 1,500~4,000페이지를 수집할 수 있습니다.
스크래핑용 유동 프록시도 판매하나요?
아직 판매하지 않습니다. 베트남 유동 프록시는 현재 사전 대기 신청만 받고 있습니다. 대부분의 정기 크롤링 작업은 라운드로빈 배분을 적용한 고정 풀로도 동일한 효과를 낼 수 있습니다.
프록시 50개를 Scrapy 형식으로 빠르게 변환하려면 어떻게 하나요?
프록시 형식 변환기에 붙여넣으세요. 브라우저에서 ip:port:user:pass 형태의 줄을 URL 문자열이나 JSON 배열로 즉시 변환해 줍니다.
고정 월비용으로 스크래핑 풀 구축하기
7개국의 전용 IPv4 및 미국·베트남 고정 ISP를 무제한 트래픽과 함께 IP당 정액제로 이용하세요.
실시간 미국 IPv4 가격 확인