Selenium WebDriver e proxies autenticados: o que funciona
Pela equipe de engenharia da ProxyV4 · Updated:
A autenticação de proxy no Selenium exige uma solução alternativa, pois a flag --proxy-server=http://ip:port do ChromeDriver não aceita usuário e senha; o Chrome descarta user:pass inline e exibe uma caixa de diálogo de login que o WebDriver não consegue preencher. As duas soluções confiáveis são o selenium-wire, que gerencia o login da ProxyV4 em Python, e uma pequena extensão do Chrome que responde ao onAuthRequired em qualquer linguagem do Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IPUS$ 1,85
- 3+ IPsUS$ 1,70
- 10+ IPsUS$ 1,60
- 25+ IPsUS$ 1,50
- 50+ IPsUS$ 1,40
- 100+ IPsUS$ 1,30
- 200+ IPsUS$ 1,20
- 500+ IPsUS$ 1,10
- 1 IPUS$ 2,25
- 3+ IPsUS$ 2,10
- 10+ IPsUS$ 2,00
- 25+ IPsUS$ 1,90
- 50+ IPsUS$ 1,80
- 100+ IPsUS$ 1,70
- 200+ IPsUS$ 1,60
- 500+ IPsUS$ 1,50
Comparativo de opções
| Método | Como configurar | Ideal para |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Caminho mais rápido em Python; o proxy pode ser alterado com o navegador aberto |
| Extensão de autenticação | Uma extensão compactada em .zip cujo script de segundo plano gerencia chrome.webRequest.onAuthRequired | Atende igualmente Java, C#, Python e undetected-chromedriver |
| Migrar para o Playwright | browser.newContext({ proxy: { server, username, password } }) | Novos projetos; o login do proxy é nativo, sem necessidade de extensão |
O que acontece apenas com --proxy-server
O Chrome obtém o endereço do proxy a partir da linha de comando, mas ignora quaisquer credenciais inseridas nele. Quando o proxy responde 407, o Chrome abre uma solicitação nativa de login. Essa caixa de diálogo fica fora do DOM da página, de modo que o find_element não consegue localizá-la e o script aguarda até atingir o tempo limite. Portanto, todo método funcional fornece as credenciais por outro caminho que não seja a flag.
Observe que o selenium-wire não é mais mantido ativamente. Ele ainda funciona para muitas configurações, mas para projetos de longo prazo a abordagem com extensão ou o Playwright é a escolha mais segura.
Mantendo execuções com proxy eficientes no Selenium
- Defina
options.page_load_strategy = 'eager'para que o script continue assim que o DOM estiver pronto, em vez de aguardar scripts lentos de terceiros - Para execuções headless no Chrome 109 ou superior, use
--headless=new; as extensões, incluindo a de autenticação, funcionam como em uma janela normal - Desative o carregamento de imagens nas preferências do Chrome quando precisar apenas de texto, como preços ou títulos
- Coloque
driver.quit()em um blocotry / finallypara que uma falha não deixe processos do Chrome abertos em segundo plano
Antes de aumentar a escala
Cada sessão do WebDriver é um navegador completo; portanto, dê a cada sessão o seu próprio IP se o site vincular contas por endereço. Um IPv4 privado da ProxyV4 é alugado para um único cliente e mantém seu endereço ao renovar, o que garante contas de teste de longa duração no mesmo IP. Passe novos proxies pelo verificador de proxy primeiro para que uma linha com falha não apareça como um timeout confuso do Selenium.
Se uma execução ainda abrir páginas a partir do IP do próprio servidor ou parar em um erro de túnel, a seção do Selenium em proxy não funciona lista as causas comuns em ordem.
Passo a passo
- 1
Instale o selenium-wire
Em seu ambiente virtual, execute
pip install selenium-wire. - 2
Defina o proxy
Configure
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}com os dados do seu pedido na ProxyV4. - 3
Inicie o Chrome com essas opções
Crie o driver com
driver = webdriver.Chrome(seleniumwire_options=sw_options), importandowebdriverdeseleniumwire. - 4
Verifique o IP de saída
Acesse
driver.get('https://proxyv4.com/api/my-ip')e confirme se a página exibe o endereço do proxy.
Perguntas frequentes
Por que --proxy-server=http://user:pass@ip:port é ignorado no ChromeOptions?
O Chrome remove as credenciais do valor de --proxy-server por padrão de projeto. Forneça-as por meio do selenium-wire, de uma extensão com onAuthRequired ou migre para o Playwright, que aceita usuário e senha diretamente.
O selenium-wire pode alterar o proxy sem reiniciar o navegador?
Sim. Atribua um novo dict, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, e as requisições seguintes usarão o novo proxy upstream.
A extensão de autenticação funciona no Chrome headless?
Sim, com --headless=new. O modo --headless antigo não carregava extensões da mesma maneira.
O Selenium atinge o tempo limite em todas as páginas ao usar o proxy. O que fazer a seguir?
Acesse o endpoint de IP com o cURL usando as mesmas credenciais. Se o cURL também falhar, o problema está na rota ou na porta; o guia de timeout de proxy lista o que verificar.
Fontes
IPs estáveis para sessões do Selenium
IPv4 privado em 7 países e ISP estático nos EUA e Vietnã, com usuário e senha, tráfego ilimitado e um único cliente por IP.
Ver preços atualizados nos EUA