Projetando um scraper em torno de um pool de IPs dedicados
Updated:
Proxies para web scraping distribuem suas requisições entre vários endereços para que nenhum IP isolado sobrecarregue toda a coleta. Para a maioria dos alvos, um pool de endereços IPv4 privados é a opção mais rápida e econômica; endereços ISP estáticos são a alternativa para sites que bloqueiam faixas de datacenter. Você faz a rotação do pool no seu próprio código, o que significa que sempre sabe qual IP coletou cada página.
Por que um único IP para de funcionar
Os sites limitam quantas requisições um endereço pode enviar. Um crawler executado na conexão do seu escritório logo atinge esse limite, e o bloqueio pode afetar todas as outras pessoas no prédio. Um pool de proxies divide a carga, mantém sua própria rede fora dos logs e permite acessar a versão de uma página que visitantes de determinado país recebem.
Usuários típicos: equipes de e-commerce monitorando preços e estoque da concorrência, analistas criando conjuntos de dados públicos, agregadores de viagens, imóveis e vagas de emprego, além de desenvolvedores testando seus próprios sites a partir de outros países.
Pool estático versus gateway rotativo
Com um pool estático, a lista de endereços é sua durante o período de locação. Seu agendador escolhe um IP por requisição ou por sessão, registra o uso e desativa qualquer endereço que comece a sofrer restrições de taxa. Cada IP é exclusivo (single-tenant), portanto sua reputação reflete apenas o seu tráfego, e a lista fixa é fácil de incluir na allowlist de ferramentas internas.
A largura de banda no IPv4 privado e no ISP estático é ilimitada. Páginas grandes, imagens e coletas longas são pagas por IP, não por gigabyte.
Combinando o produto ao alvo
| Alvo | Produto | Motivo |
|---|---|---|
| Catálogos públicos, APIs, a maioria dos sites | IPv4 privado | Rápido, econômico, sete países |
| Sites que rejeitam faixas de datacenter | ISP estático, EUA ou Vietnã | Endereços registrados em provedores residenciais (ISPs) |
| Coletas muito grandes em sites compatíveis com IPv6 | IPv6 | Muitos endereços com preço baixo por IP; confirme se o site aceita IPv6 |
| Páginas regionalizadas na Ásia | IPv4 privado no Japão, Coreia do Sul, Singapura, Hong Kong ou Vietnã | Colete o que os visitantes locais veem |
Dimensionamento do pool e disciplina de requisições
- Dimensione o pool com base na sua taxa de requisições desejada: mais endereços com um ritmo moderado por IP duram mais do que poucos endereços sobrecarregados.
- Fixe um endereço durante toda a sessão de login ou carrinho e, em seguida, alterne.
- Envie cabeçalhos realistas, adicione intervalos variáveis (jitter) entre as requisições e reduza o ritmo (backoff) diante de erros HTTP 429 e 403.
- Valide as respostas para que páginas de captcha e páginas de bloqueio nunca entrem no conjunto de dados.
- Analise os endereços com o verificador de proxy (até 100 por vez, as senhas não são armazenadas) e descarte os lentos ou bloqueados.
Integrando o pool à sua stack
Cada endereço funciona via HTTP(S) ou SOCKS5 com usuário e senha, entregue no formato ip:port:user:pass em Pedidos. As bibliotecas mais comuns aceitam esse formato diretamente; consulte as páginas de configuração para Python requests, Scrapy, Playwright e Puppeteer. Ferramentas desktop sem configurações de proxy podem ser roteadas pelo Proxifier. A página de proxies para web scraping traz observações específicas para cada alvo.
Colete com responsabilidade
Um proxy altera a origem de uma requisição, não o que você tem o direito de coletar. Respeite o robots.txt, os termos do site e a legislação de proteção de dados aplicável a você, e não colete dados pessoais que não tenha o direito de processar. Inundar um site com requisições paralelas, fazer scraping após autenticação com contas que não pertencem a você e qualquer abuso severo também violam nossos termos.
Perguntas frequentes
Devo começar com proxies de datacenter ou ISP para web scraping?
Datacenter. O IPv4 privado é mais rápido e está disponível em mais países. Mude um alvo para ISP estático apenas se ele bloquear faixas de datacenter. A comparação entre tipos de proxy explica essas diferenças.
É necessário um serviço de proxy rotativo?
Não. Um pool estático com rotação feita pelo seu próprio código oferece controle total sobre qual endereço processa cada requisição.
O tráfego é limitado?
Não. O IPv4 privado e o ISP estático têm largura de banda ilimitada; você paga por IP pelo período de contratação.
Posso usar SOCKS5 com Scrapy ou Playwright?
Sim. Proxies pagos são compatíveis com HTTP(S) e SOCKS5 com usuário e senha; altere o pedido para SOCKS5 (ou ambos) na página correspondente no painel. O middleware nativo do Scrapy aceita apenas HTTP, portanto mantenha HTTP nele. Veja HTTP vs SOCKS5.
Web scraping é legal?
Depende do que você coleta, de onde você opera e dos termos do site. Coletar dados públicos e não pessoais respeitando o robots.txt é uma prática comum; verifique as regras aplicáveis ao seu próprio projeto.
Inicie um pool para web scraping
Contrate quantos endereços IPv4 privados a sua coleta precisar; o preço por IP diminui com a quantidade e a largura de banda é ilimitada.
Ver preços de datacenter nos EUA