Proxies para web scraping: pool fixo de IPs com tráfego ilimitado
Updated:
Proxies de web scraping cobrados por gigabyte encarecem o crawler toda vez que uma página fica mais pesada; por isso, crawlers constantes e agendados saem mais baratos com um pool fixo de endereços e tráfego ilimitado. A ProxyV4 vende IPv4 privado em sete países e ISP estático nos EUA e Vietnã, ambos com preço por IP e sem medição de tráfego. Você dimensiona o pool pela quantidade de requisições por segundo que os alvos toleram, e a fatura não muda, não importa o peso das páginas.
- 1 IPUS$ 1,85
- 3+ IPsUS$ 1,70
- 10+ IPsUS$ 1,60
- 25+ IPsUS$ 1,50
- 50+ IPsUS$ 1,40
- 100+ IPsUS$ 1,30
- 200+ IPsUS$ 1,20
- 500+ IPsUS$ 1,10
- 1 IPUS$ 1,85
- 3+ IPsUS$ 1,70
- 10+ IPsUS$ 1,60
- 25+ IPsUS$ 1,50
- 50+ IPsUS$ 1,40
- 100+ IPsUS$ 1,30
- 200+ IPsUS$ 1,20
- 500+ IPsUS$ 1,10
Preço por IP versus preço por GB para um crawler
| Pergunta | Pool estático (por IP) | Tráfego medido (por GB) |
|---|---|---|
| O que determina o custo | Número de IPs e período de locação | Bytes baixados, incluindo HTML, JS e recursos |
| O que acontece quando as páginas pesam mais | Nada; a largura de banda é ilimitada | A fatura cresce com elas |
| O que limita o throughput | Limite de taxa por IP de cada alvo | Orçamento |
| Como escalar | Adicione IPs; o preço por IP cai com a quantidade | Compre mais tráfego |
Por que scrapers são bloqueados e o que um pool muda
Ao fazer scraping de catálogos, anúncios e APIs públicas, a maioria dos bloqueios não ocorre por quem você é, mas pela velocidade dos seus pedidos: um único endereço que exceda o limite de requisições do site recebe HTTP 429. Um pool de 10 a 100 IPs estáticos, cada um mantido em uma concorrência moderada, mantém cada endereço abaixo do limite enquanto o crawler funciona como um todo na velocidade necessária.
A exclusividade de uso também ajuda aqui. Cada IP da ProxyV4 pertence a um único cliente durante todo o período de locação, garantindo que o histórico de requisições visto pelo site de destino seja exclusivamente seu.
Adequando o pool ao alvo
- Catálogos públicos e APIs de alto volume: IPv4 privado nos Estados Unidos ou Singapura, com o menor custo por IP
- E-commerces e portais locais vietnamitas: IPv4 do Vietnã para obter páginas locais e preços locais
- Alvos que filtram ASNs de hospedagem atrás de um WAF: ISP estático nos Estados Unidos ou no Vietnã, registrados em provedores residenciais, o que costuma resultar em menos desafios do Cloudflare
- Alvos que precisam de um novo IP a cada requisição: proxies rotativos do Vietnã ainda não estão à venda; a página de proxies rotativos do Vietnã traz a lista de espera
Configurações de crawler para fazer um pool estático durar
Cada linha utiliza credenciais padrão, portanto, no Python o proxy é simplesmente proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Distribua as requisições em round-robin pela lista e adicione jitter aleatório, cerca de 2 a 5 segundos por IP por domínio de destino
- Reutilize conexões com
requests.Session()ou um cliente com pool para não pagar o custo de um handshake TLS a cada requisição - No Playwright e Puppeteer, bloqueie imagens, fontes e mídias que você não vai processar
- Quando um IP receber HTTP 429 ou 503, retire-o da rotação para um cooldown e reduza o ritmo em vez de tentar novamente de imediato
Passo a passo
- 1
Compre um pool dimensionado para os seus alvos
Escolha a quantidade por país, como IPv4 dos EUA, Japão ou Reino Unido. Os descontos por volume são aplicados automaticamente conforme a quantidade aumenta.
- 2
Converta a lista em URLs
Cole as linhas no formato
ip:port:user:passno conversor de formato de proxy para obter stringshttp://user:pass@ip:portou JSON. - 3
Conecte o pool ao seu framework
Use as páginas de configuração para Python Requests, Scrapy, Selenium ou Node.js Axios.
- 4
Faça testes antes da primeira execução completa
Verifique o tempo de resposta com o teste de velocidade de proxy e descarte qualquer linha lenta para o seu destino.
Perguntas frequentes
O tráfego de scraping nos proxies da ProxyV4 é medido?
Não. O IPv4 privado e o ISP estático têm preço por IP pelo período de locação, com largura de banda ilimitada.
Quantas páginas por dia um único IP estático pode coletar?
Depende do limite de requisições do destino. A uma taxa de 1 a 3 requisições por minuto por domínio, um IP coleta cerca de 1.500 a 4.000 páginas por dia sem chamar atenção.
Vocês vendem proxies rotativos para scraping?
Ainda não. Os proxies rotativos do Vietnã estão apenas na lista de espera. Por enquanto, um pool estático com distribuição round-robin faz o mesmo trabalho para a maioria das coletas agendadas.
Como converter 50 proxies para o formato do Scrapy rapidamente?
Cole-os no conversor de formato de proxy. Ele converte as linhas ip:port:user:pass em URLs ou em uma matriz JSON direto no navegador.
Crie um pool de scraping com custo mensal fixo
IPv4 privado em sete países e ISP estático nos EUA e Vietnã, com preço por IP e tráfego ilimitado.
Ver preços em tempo real do IPv4 dos EUA