ProxyV4

전용 IP 풀 기반의 스크래퍼 설계

Updated:

웹 스크래핑 프록시는 여러 주소로 요청을 분산하여 단일 IP에 크롤링 부하가 집중되지 않도록 합니다. 대부분의 대상에는 전용 IPv4 주소 풀이 가장 빠르고 비용 효율적이며, 데이터센터 대역을 차단하는 사이트에는 고정 ISP 주소가 대안이 됩니다. 자체 코드 내에서 풀을 회전시키므로 어떤 IP가 어떤 페이지를 수집했는지 항상 정확히 파악할 수 있습니다.

단일 IP 작동이 중단되는 이유

웹사이트는 단일 주소가 전송할 수 있는 요청 수를 제한합니다. 사무실 회선에서 크롤러를 실행하면 금세 한도에 도달하며, 사내 건물 전체 사용자가 함께 차단될 수 있습니다. 프록시 풀을 사용하면 부하를 분산하고, 내부 네트워크를 접속 로그에 노출하지 않으며, 특정 국가의 방문자에게 표시되는 페이지 버전을 수집할 수 있습니다.

주요 활용 대상: 경쟁사 가격 및 재고를 추적하는 이커머스 팀, 공개 데이터 세트를 구축하는 분석가, 여행·부동산·채용 공고 애그리게이터, 타국가 환경에서 자체 사이트를 테스트하는 개발자.

고정 풀 vs 회전 게이트웨이

고정 풀을 사용하면 대여 기간 동안 해당 IP 주소 목록 전체를 독점 사용합니다. 스케줄러가 요청당 또는 세션당 IP를 선택하여 기록하고, 속도 제한이 발생하는 주소는 제외합니다. 각 IP는 단독 사용자 전용(single-tenant)이므로 평판이 본인의 트래픽에만 영향을 받으며, 고정 목록이라 사내 도구의 허용 목록(allowlist)에 등록하기 쉽습니다.

전용 IPv4 및 고정 ISP의 대역폭은 무제한입니다. 대용량 페이지, 이미지, 장시간 크롤링도 기가바이트당 과금이 아닌 IP당 정액 요금으로 처리됩니다.

수집 대상에 맞는 제품 선택

대상제품이유
공개 카탈로그, API, 대부분의 웹사이트전용 IPv4빠른 속도, 뛰어난 가성비, 7개국 지원
데이터센터 대역을 차단하는 사이트고정 ISP, 미국 또는 베트남일반 가정용 ISP에 등록된 주소
IPv6를 지원하는 사이트의 대규모 크롤링IPv6IP당 저렴한 가격으로 대량 주소 확보 가능(사이트의 IPv6 지원 여부 사전 확인 필요)
아시아 지역 타깃 페이지일본, 대한민국, 싱가포르, 홍콩, 베트남 전용 IPv4현지 방문자에게 노출되는 화면 수집

풀 규모 산정 및 요청 관리 원칙

  • 목표 요청 속도에 맞춰 풀 규모를 산정하세요. 적은 수의 주소에 부하를 집중하는 것보다 많은 주소로 IP당 요청 빈도를 완만하게 유지해야 오래 유지됩니다.
  • 로그인 세션이나 장바구니 세션 동안에는 하나의 주소를 고정하고, 완료 후 전환하세요.
  • 실제 브라우저와 유사한 헤더를 전송하고, 요청 사이에 무작위 지연(jitter)을 추가하며, HTTP 429 및 403 응답 시 요청을 일시 중단(back off)하세요.
  • 응답 내용을 검증하여 캡차나 차단 페이지가 데이터 세트에 저장되지 않도록 하세요.
  • 프록시 체커(비밀번호 미저장, 한 번에 최대 100개 검사 가능)로 주소를 확인하고 느리거나 차단된 주소는 제외하세요.

자체 기술 스택에 풀 연동하기

모든 주소는 사용자 이름 및 비밀번호 방식의 HTTP(S) 또는 SOCKS5를 지원하며, 주문 내역에서 ip:port:user:pass 형식으로 제공됩니다. 주요 라이브러리에서 바로 인식되며, Python requests, Scrapy, Playwright, Puppeteer 설정 페이지를 참고할 수 있습니다. 프록시 설정을 지원하지 않는 데스크톱 도구는 Proxifier를 통해 라우팅할 수 있습니다. 세부 대상별 안내는 웹 스크래핑 프록시 안내 페이지에서 확인하세요.

책임 있는 데이터 수집

프록시는 요청의 발신 위치를 변경해 줄 뿐, 수집 권한 자체를 부여하지는 않습니다. robots.txt, 사이트 이용약관 및 관련 데이터 보호 법률을 준수해야 하며, 처리 권한이 없는 개인정보는 수집하지 마세요. 과도한 병렬 요청으로 서버에 부하를 주거나, 본인 소유가 아닌 계정으로 로그인 후 스크래핑하는 등의 심각한 남용 행위는 당사의 이용약관 위반에 해당합니다.

자주 묻는 질문

스크래핑에는 데이터센터 프록시와 ISP 프록시 중 무엇으로 시작해야 하나요?

데이터센터 프록시를 추천합니다. 전용 IPv4가 더 빠르고 지원 국가도 다양합니다. 대상 사이트가 데이터센터 대역을 차단할 때만 고정 ISP로 전환하세요. 자세한 차이점은 프록시 종류 비교에서 확인할 수 있습니다.

자동 회전 프록시 서비스가 필수인가요?

아닙니다. 자체 코드에서 고정 풀을 회전시키면 어떤 주소가 어떤 요청을 처리하는지 완벽하게 제어할 수 있습니다.

트래픽 사용량에 따라 요금이 부과되나요?

아닙니다. 전용 IPv4 및 고정 ISP는 대역폭이 무제한이며, 대여 기간 동안 IP 개수 기준으로만 결제됩니다.

Scrapy나 Playwright에서 SOCKS5를 사용할 수 있나요?

네, 지원합니다. 유료 프록시는 사용자 이름 및 비밀번호 방식의 HTTP(S)와 SOCKS5를 모두 지원하며, 대시보드의 주문 상세 페이지에서 SOCKS5(또는 둘 다)로 전환할 수 있습니다. 단, Scrapy 기본 미들웨어는 HTTP만 지원하므로 HTTP를 그대로 사용하세요. 자세한 내용은 HTTP vs SOCKS5를 참조하세요.

웹 스크래핑은 합법인가요?

수집하는 데이터 종류, 활동 지역, 해당 사이트의 이용약관에 따라 다릅니다. robots.txt 규정을 준수하면서 공개된 비개인정보를 수집하는 것은 일반적인 관행이지만, 진행 중인 프로젝트에 적용되는 규정을 반드시 직접 확인하시기 바랍니다.

스크래핑 풀 구축 시작하기

크롤링 규모에 맞춰 필요한 만큼 전용 IPv4 주소를 주문하세요. 수량이 많을수록 IP당 가격이 할인되며 대역폭은 무제한입니다.

미국 데이터센터 가격 확인하기

Related articles

활용 사례
정확한 현지 순위를 제공하는 순위 추적 환경 구축하기
현지 사용자가 보는 그대로 구글 검색 순위를 확인하세요. 시장별 IP를 구성하고 쿼리 속도를 조절하여 순위 데이터 왜곡을 방지할 수 있습니다.
플랫폼별 프록시
웹 스크래핑용 프록시: 무제한 트래픽의 고정 IP 풀
Python, Scrapy, Playwright, Selenium용 웹 스크래핑 프록시. 전용 IPv4 및 고정 ISP 풀, 무제한 대역폭, 고정 IP 요금제 제공.
지식 베이스
데이터센터, ISP, 주거용: 프록시 IP 3가지 유형 완벽 정리
ISP, 데이터센터, 주거용 프록시 비교: IP 소유 주체부터 구동 환경, 유지 기간, 과금 방식, 그리고 계정 관리·광고·데이터 수집별 최적의 선택까지 알아봅니다.
프록시 설정
Scrapy 프록시: meta['proxy'], 미들웨어 순서 및 순환
Scrapy 인증 HTTP(S) 프록시: request.meta['proxy'] 설정, HttpProxyMiddleware(750) 이전 배치, IP 순환 및 크롤링 속도 조절.
무료 툴
프록시 대량 확인: 상태, 출구 IP 및 응답 속도
무료 온라인 프록시 체커: 최대 100개의 ip:port:user:pass를 입력하여 작동 여부, 출구 IP, 응답 속도 및 오류 원인을 확인하세요.
ISP · vietnam
메인 스토어 및 광고 계정을 위한 베트남 고정 ISP 프록시
베트남 통신사 명의 IP의 베트남 고정 ISP 프록시. 메인 Shopee 상점, TikTok Shop, Facebook 광고 계정, Zalo OA 전용 고정 IP.
ISP · united states
미국 고정 ISP 프록시: 변경되지 않는 가정용 등록 고정 IP
일반 가정용 ISP로 등록된 미국 고정 ISP 프록시입니다. 아마존 셀러, 광고 계정, 인스타그램 관리를 위해 계정당 단독 고정 미국 IP를 제공합니다.
플랫폼별 프록시
여러 매장을 운영하는 TikTok Shop 셀러를 위한 프록시
다중 매장 셀러를 위한 TikTok Shop 프록시: 미국, 베트남, 영국, 싱가포르 매장별 고정 ISP 또는 전용 IPv4 제공, 갱신 시 동일 IP 유지.