인증된 프록시를 통한 Python requests 단계별 가이드
ProxyV4 엔지니어링 팀 작성 · Updated:
Python requests에서 프록시를 사용하려면 'http'와 'https' 키가 모두 http://user:pass@ip:port를 가리키는 proxies 딕셔너리를 전달하면 됩니다. 이 딕셔너리를 requests.Session()에 설정하면 호출마다 동일한 프록시 연결이 재사용되어 요청마다 새로 연결하는 것보다 훨씬 빠릅니다. 아래에서 딕셔너리 구성, 세션 활용법, 자주 발생하는 오류 및 ProxyV4 출구 IP 확인 한 줄 코드를 확인하세요.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- IP 1개US$1.85
- 3개 이상 IPUS$1.70
- 10개 이상 IPUS$1.60
- 25개 이상 IPUS$1.50
- 50개 이상 IPUS$1.40
- 100개 이상 IPUS$1.30
- 200개 이상 IPUS$1.20
- 500개 이상 IPUS$1.10
- IP 1개US$1.85
- 3개 이상 IPUS$1.70
- 10개 이상 IPUS$1.60
- 25개 이상 IPUS$1.50
- 50개 이상 IPUS$1.40
- 100개 이상 IPUS$1.30
- 200개 이상 IPUS$1.20
- 500개 이상 IPUS$1.10
proxies 딕셔너리 상세 설명
| 설정 | 값 | 이유 |
|---|---|---|
'http' 키 | 'http://user:pass@ip:port' | 일반 http:// URL에 사용 |
'https' 키 | 'http://user:pass@ip:port' | 동일하게 http:// 프록시 URL 사용: urllib3가 프록시에 CONNECT 터널을 요청하고 그 내부에서 TLS를 실행 |
timeout | timeout=(5, 15) | 연결 5초, 읽기 15초로 응답 없는 대상 때문에 스레드가 멈추는 현상 방지 |
| 순환 | itertools.cycle(proxy_list) | 고정 IP를 차례대로 할당 |
단독 requests.get()보다 Session이 더 좋은 이유
최상위 requests.get()을 호출할 때마다 새로운 연결 풀이 생성되므로 프록시와의 TCP 연결 및 사이트와의 TLS 핸드셰이크가 매번 반복됩니다. Session은 호출 간에 이러한 연결을 유지합니다. 하나의 IP를 통해 수백 개의 페이지를 가져오는 스크립트의 경우, 이 차이가 전체 실행 시간에 확연히 드러납니다.
s.proxies.update(proxies)를 한 번 설정하면 모든 s.get() 및 s.post()가 프록시를 통해 전송됩니다. 참고할 점은 환경 변수에 HTTP_PROXY 또는 HTTPS_PROXY가 설정되어 있으면 requests가 이를 세션 설정과 결합할 수 있으므로, 어떤 프록시가 사용되는지 확실히 하려면 호출 시 직접 proxies=를 전달하세요.
오류 및 원인 파악 방법
407 Proxy Authentication Required를 동반한ProxyError: 프록시 연결은 가능하지만 URL의 로그인 정보가 주문 내역과 일치하지 않습니다. 자세한 내용은 407 오류 페이지를 참고하세요.@,:,/가 포함된 비밀번호는 URL 구문을 깨뜨리므로 먼저urllib.parse.quote(password, safe='')로 인코딩하세요.- 프록시 URL을
https://로 변경하면 보통 연결이 끊어집니다. 프록시 포트가 특별히 TLS 포트가 아닌 이상 두 키 모두http://를 유지하세요. ConnectTimeout은 인증 정보가 아니라 IP 또는 포트 문제를 나타냅니다. 포트 검사기로 접속 가능 여부를 테스트하세요.
httpx 및 aiohttp에서의 동일한 패턴
URL 형식은 동일하게 적용됩니다. httpx에서는 httpx.Client(proxy='http://user:pass@ip:port')를 생성하고, aiohttp에서는 session.get(url, proxy=...)에 proxy=를 전달합니다. 스케줄링 및 재시도가 포함된 대규모 크롤링은 보통 Scrapy를 사용하는 것이 더 수월합니다.
단계별 안내
- 1
프록시 URL 생성
ProxyV4의 각
ip:port:user:pass라인을http://user:pass@ip:port형식으로 다시 작성하거나 프록시 형식 변환기를 사용하여 전체 목록을 변환하세요. - 2
딕셔너리 생성
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}를 작성합니다. - 3
Session에 연결
s = requests.Session()을 생성하고s.proxies.update(proxies)를 호출하여 요청 간 연결을 유지하도록 합니다. - 4
출구 IP 출력
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())를 실행합니다. 출력되는 IP는 프록시의 IP여야 합니다.
자주 묻는 질문
'https' 항목이 왜 http:// URL인가요?
이 스킴은 웹사이트가 아니라 Python이 프록시와 통신하는 방식을 나타냅니다. urllib3는 일반 HTTP를 통해 프록시에 연결하고 CONNECT를 전송한 후 해당 터널을 통해 https:// 사이트와 TLS 통신을 수행하므로 페이지 트래픽은 여전히 암호화됩니다.
25개의 고정 프록시로 요청을 어떻게 분산하나요?
25개의 URL을 목록에 넣고 pool = itertools.cycle(PROXIES)를 생성한 다음, 각 요청마다 p = next(pool)을 가져와 proxies={'http': p, 'https': p}로 전달하세요. 단일 주소에 과도한 요청이 집중되지 않도록 IP별로 적절한 지연 시간을 두는 것이 좋습니다.
Python 스크립트의 트래픽은 종량제로 과금되나요?
아닙니다. ProxyV4 전용 IPv4 및 고정 ISP 플랜은 무제한 대역폭을 제공하므로 장시간 실행되는 스크립트도 데이터 한도에 걸리지 않습니다.
출처
Python 스크립트를 위한 고정 IP 풀
7개국의 전용 IPv4 및 미국과 베트남의 고정 ISP를 지원합니다. 단일 IP 또는 대량으로 구매할 수 있으며, 수량이 많을수록 IP당 가격이 낮아집니다.
실시간 미국 가격 확인