Requisições em Python via proxy autenticado, passo a passo
Pela equipe de engenharia da ProxyV4 · Updated:
Para usar um proxy no Python requests, passe um dict proxies cujas chaves 'http' e 'https' apontem para http://user:pass@ip:port. Insira esse dict em uma requests.Session() e a mesma conexão com o proxy será reutilizada a cada chamada, o que é mais rápido do que abrir uma nova conexão por requisição. Abaixo: o dict, a sessão, os erros mais comuns e uma verificação em uma linha do IP de saída da ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IPUS$ 1,85
- 3+ IPsUS$ 1,70
- 10+ IPsUS$ 1,60
- 25+ IPsUS$ 1,50
- 50+ IPsUS$ 1,40
- 100+ IPsUS$ 1,30
- 200+ IPsUS$ 1,20
- 500+ IPsUS$ 1,10
- 1 IPUS$ 1,85
- 3+ IPsUS$ 1,70
- 10+ IPsUS$ 1,60
- 25+ IPsUS$ 1,50
- 50+ IPsUS$ 1,40
- 100+ IPsUS$ 1,30
- 200+ IPsUS$ 1,20
- 500+ IPsUS$ 1,10
O dict proxies, explicado
| Configuração | Valor | Motivo |
|---|---|---|
Chave 'http' | 'http://user:pass@ip:port' | Usada para URLs http:// comuns |
Chave 'https' | 'http://user:pass@ip:port' | Ainda é uma URL de proxy http://: o urllib3 solicita um túnel CONNECT ao proxy e executa o TLS dentro dele |
timeout | timeout=(5, 15) | 5 s para conectar, 15 s para leitura, evitando que um destino inativo trave a thread |
| Alternância | itertools.cycle(proxy_list) | Distribui seus IPs estáticos em sequência |
Por que usar Session é melhor que requests.get() avulso
Cada chamada requests.get() de nível superior cria um novo pool de conexões, repetindo a conexão TCP com o proxy e o handshake TLS com o site a cada requisição. Uma Session mantém essas conexões ativas entre as chamadas. Para um script que coleta centenas de páginas usando o mesmo IP, essa diferença fica visível no tempo total de execução.
Defina s.proxies.update(proxies) uma única vez e todas as chamadas s.get() e s.post() passarão pelo proxy. Um detalhe importante: se HTTP_PROXY ou HTTPS_PROXY estiverem configurados no ambiente, o requests poderá combiná-los com as definições da sessão; passe proxies= diretamente na chamada quando precisar ter certeza de qual configuração está em uso.
Erros e como interpretá-los
ProxyErrorcom407 Proxy Authentication Required: o proxy está acessível, mas as credenciais na sua URL não correspondem ao pedido. Consulte a página de erro 407- Senhas com
@,:ou/quebram a URL; codifique-as antes comurllib.parse.quote(password, safe='') - Mudar a URL do proxy para
https://costuma interromper a conexão; mantenhahttp://em ambas as chaves, a menos que a porta do proxy seja especificamente uma porta TLS ConnectTimeoutindica problemas no IP ou na porta, não nas credenciais; teste a conectividade com o verificador de portas
Mesmo padrão no httpx e no aiohttp
O formato da URL permanece o mesmo. No httpx, crie httpx.Client(proxy='http://user:pass@ip:port'); no aiohttp, passe proxy= em session.get(url, proxy=...). Coletas maiores com agendamento e tentativas automáticas costumam ser mais simples no Scrapy.
Passo a passo
- 1
Monte a URL do proxy
Reescreva cada linha
ip:port:user:passda ProxyV4 comohttp://user:pass@ip:port, ou converta a lista inteira com o conversor de formato de proxy. - 2
Crie o dict
Defina
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Vincule-o a uma Session
Crie
s = requests.Session()e chames.proxies.update(proxies)para manter as conexões ativas entre as requisições. - 4
Exiba o IP de saída
Execute
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); o IP exibido deve ser o do proxy.
Perguntas frequentes
Por que a entrada 'https' usa uma URL http://?
O esquema define como o Python se comunica com o proxy, e não com o site. O urllib3 conecta-se ao proxy via HTTP comum, envia CONNECT e estabelece TLS com o site https:// dentro desse túnel; portanto, o tráfego da página continua criptografado.
Como distribuir requisições entre 25 proxies estáticos?
Coloque as 25 URLs em uma lista, crie pool = itertools.cycle(PROXIES) e, a cada requisição, obtenha p = next(pool) e passe proxies={'http': p, 'https': p}. Mantenha um intervalo adequado por IP para não sobrecarregar nenhum endereço individual.
O tráfego dos scripts em Python é limitado?
Não. Os planos de IPv4 privado e ISP estático da ProxyV4 incluem largura de banda ilimitada, garantindo que scripts de longa duração não atinjam nenhum limite de dados.
Fontes
Um pool de IPs estáticos para scripts Python
IPv4 privado em 7 países e ISP estático nos EUA e Vietnã. Compre um único IP ou em lote; o preço por IP diminui com a quantidade.
Ver preços atuais nos EUA