ProxyV4

Projetando um scraper em torno de um pool de IPs dedicados

Updated:

Proxies para web scraping distribuem suas requisições entre vários endereços para que nenhum IP isolado sobrecarregue toda a coleta. Para a maioria dos alvos, um pool de endereços IPv4 privados é a opção mais rápida e econômica; endereços ISP estáticos são a alternativa para sites que bloqueiam faixas de datacenter. Você faz a rotação do pool no seu próprio código, o que significa que sempre sabe qual IP coletou cada página.

Por que um único IP para de funcionar

Os sites limitam quantas requisições um endereço pode enviar. Um crawler executado na conexão do seu escritório logo atinge esse limite, e o bloqueio pode afetar todas as outras pessoas no prédio. Um pool de proxies divide a carga, mantém sua própria rede fora dos logs e permite acessar a versão de uma página que visitantes de determinado país recebem.

Usuários típicos: equipes de e-commerce monitorando preços e estoque da concorrência, analistas criando conjuntos de dados públicos, agregadores de viagens, imóveis e vagas de emprego, além de desenvolvedores testando seus próprios sites a partir de outros países.

Pool estático versus gateway rotativo

Com um pool estático, a lista de endereços é sua durante o período de locação. Seu agendador escolhe um IP por requisição ou por sessão, registra o uso e desativa qualquer endereço que comece a sofrer restrições de taxa. Cada IP é exclusivo (single-tenant), portanto sua reputação reflete apenas o seu tráfego, e a lista fixa é fácil de incluir na allowlist de ferramentas internas.

A largura de banda no IPv4 privado e no ISP estático é ilimitada. Páginas grandes, imagens e coletas longas são pagas por IP, não por gigabyte.

Combinando o produto ao alvo

AlvoProdutoMotivo
Catálogos públicos, APIs, a maioria dos sitesIPv4 privadoRápido, econômico, sete países
Sites que rejeitam faixas de datacenterISP estático, EUA ou VietnãEndereços registrados em provedores residenciais (ISPs)
Coletas muito grandes em sites compatíveis com IPv6IPv6Muitos endereços com preço baixo por IP; confirme se o site aceita IPv6
Páginas regionalizadas na ÁsiaIPv4 privado no Japão, Coreia do Sul, Singapura, Hong Kong ou VietnãColete o que os visitantes locais veem

Dimensionamento do pool e disciplina de requisições

  • Dimensione o pool com base na sua taxa de requisições desejada: mais endereços com um ritmo moderado por IP duram mais do que poucos endereços sobrecarregados.
  • Fixe um endereço durante toda a sessão de login ou carrinho e, em seguida, alterne.
  • Envie cabeçalhos realistas, adicione intervalos variáveis (jitter) entre as requisições e reduza o ritmo (backoff) diante de erros HTTP 429 e 403.
  • Valide as respostas para que páginas de captcha e páginas de bloqueio nunca entrem no conjunto de dados.
  • Analise os endereços com o verificador de proxy (até 100 por vez, as senhas não são armazenadas) e descarte os lentos ou bloqueados.

Integrando o pool à sua stack

Cada endereço funciona via HTTP(S) ou SOCKS5 com usuário e senha, entregue no formato ip:port:user:pass em Pedidos. As bibliotecas mais comuns aceitam esse formato diretamente; consulte as páginas de configuração para Python requests, Scrapy, Playwright e Puppeteer. Ferramentas desktop sem configurações de proxy podem ser roteadas pelo Proxifier. A página de proxies para web scraping traz observações específicas para cada alvo.

Colete com responsabilidade

Um proxy altera a origem de uma requisição, não o que você tem o direito de coletar. Respeite o robots.txt, os termos do site e a legislação de proteção de dados aplicável a você, e não colete dados pessoais que não tenha o direito de processar. Inundar um site com requisições paralelas, fazer scraping após autenticação com contas que não pertencem a você e qualquer abuso severo também violam nossos termos.

Perguntas frequentes

Devo começar com proxies de datacenter ou ISP para web scraping?

Datacenter. O IPv4 privado é mais rápido e está disponível em mais países. Mude um alvo para ISP estático apenas se ele bloquear faixas de datacenter. A comparação entre tipos de proxy explica essas diferenças.

É necessário um serviço de proxy rotativo?

Não. Um pool estático com rotação feita pelo seu próprio código oferece controle total sobre qual endereço processa cada requisição.

O tráfego é limitado?

Não. O IPv4 privado e o ISP estático têm largura de banda ilimitada; você paga por IP pelo período de contratação.

Posso usar SOCKS5 com Scrapy ou Playwright?

Sim. Proxies pagos são compatíveis com HTTP(S) e SOCKS5 com usuário e senha; altere o pedido para SOCKS5 (ou ambos) na página correspondente no painel. O middleware nativo do Scrapy aceita apenas HTTP, portanto mantenha HTTP nele. Veja HTTP vs SOCKS5.

Web scraping é legal?

Depende do que você coleta, de onde você opera e dos termos do site. Coletar dados públicos e não pessoais respeitando o robots.txt é uma prática comum; verifique as regras aplicáveis ao seu próprio projeto.

Inicie um pool para web scraping

Contrate quantos endereços IPv4 privados a sua coleta precisar; o preço por IP diminui com a quantidade e a largura de banda é ilimitada.

Ver preços de datacenter nos EUA

Related articles

Casos de uso
Como estruturar o rastreamento de ranking com posições locais reais
Veja rankings no Google como os usuários locais: use um IP por mercado, ajuste o ritmo das consultas e evite erros de setup que distorcem seus dados.
Proxies por plataforma
Proxies para web scraping: pool fixo de IPs com tráfego ilimitado
Proxies de web scraping para Python, Scrapy, Playwright e Selenium: pool de IPs IPv4 privados e ISP estáticos, tráfego ilimitado e preço fixo por IP.
Base de conhecimento
Datacenter, ISP ou Residencial: Três Tipos de IP de Proxy Explicados
Proxy ISP vs datacenter vs residencial: quem é o dono do IP, onde roda, duração, cobrança e qual escolher para contas, anúncios ou coleta de dados.
Configuração de proxy
Proxies no Scrapy: meta['proxy'], ordem dos middlewares e rotação
Use proxies HTTP(S) autenticados no Scrapy: defina request.meta['proxy'], ordene antes de HttpProxyMiddleware (750), rotacione IPs e regule o ritmo do crawl.
Ferramentas gratuitas
Verifique proxies em massa: status, IP de saída e latência
Verificador de proxy online grátis: cole até 100 linhas ip:port:user:pass e veja quais funcionam, o IP de saída, latência e o significado de cada falha.
ISP · vietnam
Proxy ISP Estático do Vietnã para Lojas Principais e Contas de Anúncios
Proxies ISP estáticos do Vietnã com IPs de provedores residenciais. Um IP fixo para lojas Shopee, TikTok Shop, contas de anúncios no Facebook e Zalo OA.
ISP · united states
Proxy ISP Estático dos EUA: Um IP Residencial Registrado que Nunca Muda
Proxies ISP estáticos dos EUA registrados em provedores residenciais. Um IP americano fixo por conta para vendedores da Amazon, contas de anúncios e Instagram.
Proxies por plataforma
Proxies para vendedores do TikTok Shop que gerenciam mais de uma loja
Proxies TikTok Shop para várias lojas: um ISP estático ou IPv4 privado por loja nos EUA, Vietnã, Reino Unido ou Singapura, mantendo o mesmo IP nas renovações.