ProxyV4

Proxies no Scrapy: meta['proxy'], ordem dos middlewares e rotação

· Updated:

No Scrapy, um proxy é definido por requisição através de request.meta['proxy'] = 'http://user:pass@ip:port', e o HttpProxyMiddleware nativo (ordem 750) converte a parte user:pass em um cabeçalho Proxy-Authorization. Adicione um pequeno downloader middleware executado antes dele, em 740, e cada requisição emitida pelo seu spider poderá selecionar um IP do seu pool da ProxyV4.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
IPv4 privado (datacenter)
🇺🇸 Estados Unidos
Em estoque
A partir de
US$ 1,10 / IP / mês
Descontos por quantidade
  • 1 IPUS$ 1,85
  • 3+ IPsUS$ 1,70
  • 10+ IPsUS$ 1,60
  • 25+ IPsUS$ 1,50
  • 50+ IPsUS$ 1,40
  • 100+ IPsUS$ 1,30
  • 200+ IPsUS$ 1,20
  • 500+ IPsUS$ 1,10
Comprar Estados Unidos
IPv4 privado (datacenter)
🇬🇧 Reino Unido
Em estoque
A partir de
US$ 1,10 / IP / mês
Descontos por quantidade
  • 1 IPUS$ 1,85
  • 3+ IPsUS$ 1,70
  • 10+ IPsUS$ 1,60
  • 25+ IPsUS$ 1,50
  • 50+ IPsUS$ 1,40
  • 100+ IPsUS$ 1,30
  • 200+ IPsUS$ 1,20
  • 500+ IPsUS$ 1,10
Comprar Reino Unido

Por que o número do middleware importa

Os downloader middlewares são executados em ordem crescente no fluxo de envio. O HttpProxyMiddleware em 750 lê meta['proxy'], remove as credenciais da URL e grava o cabeçalho de autenticação. Se o seu próprio middleware definir o proxy depois, em 800 por exemplo, o nativo já terá sido executado, as credenciais nunca serão convertidas e o proxy responderá 407. Registrar o seu em 740 garante que ele seja executado primeiro.

ConfiguraçãoValor sugeridoEfeito
request.meta['proxy']'http://user:pass@ip:port'Envia a requisição pelo proxy especificado da ProxyV4
Ordem do seu middleware740Executa antes de HttpProxyMiddleware (750), garantindo a codificação do login
CONCURRENT_REQUESTS_PER_IP2 a 4Limita requisições paralelas por IP de destino, um teto responsável para não sobrecarregar cada servidor
AUTOTHROTTLE_ENABLEDTruePermite que o Scrapy aumente ou reduza os intervalos com base na velocidade de resposta do destino

Estrutura básica de um middleware de rotação

  • Leia a lista de proxies das configurações em from_crawler() e mantenha-a na instância do middleware
  • Em process_request(), defina request.meta['proxy'] = random.choice(self.proxies), a menos que a requisição já possua um
  • Quando uma resposta retornar 429 ou 503, tente novamente com um proxy diferente do pool em vez daquele que acabou de ser recusado
  • Combine DOWNLOAD_DELAY = 1.0 com RANDOMIZE_DOWNLOAD_DELAY = True para que o intervalo entre as requisições varie, em vez de seguir um ritmo mecânico

Dimensionando o pool

Uma coleta no Scrapy pode enviar muitas requisições por minuto, portanto a quantidade de IPs determina o nível de moderação no uso de cada um. Na ProxyV4 não há pedido mínimo e o preço por IP diminui conforme a quantidade aumenta, além de o tráfego IPv4 dedicado não ser tarifado, fazendo com que uma grande raspagem tenha o mesmo custo de largura de banda que uma pequena. Cada IP é utilizado exclusivamente por um cliente, de modo que a reputação dele reflete apenas a sua própria coleta e a de mais ninguém. Para planejar o volume do crawl e o ritmo de requisições, confira o guia de web scraping.

Passo a passo

  1. 1

    Prepare as URLs de proxy

    Converta as linhas ip:port:user:pass da ProxyV4 para http://user:pass@ip:port com o conversor de formato de proxy e armazene-as nas configurações ou em um arquivo.

  2. 2

    Escreva o ProxyPoolMiddleware

    Em middlewares.py, implemente process_request(self, request, spider) para que ele defina request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Registre-o antes do nativo

    Em settings.py, adicione 'myproject.middlewares.ProxyPoolMiddleware': 740 a DOWNLOADER_MIDDLEWARES e defina CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Confirme a rotação

    Acesse https://proxyv4.com/api/my-ip algumas vezes com o scrapy shell ou com um spider de teste simples e verifique se o IP retornado alterna entre os do seu pool.

Perguntas frequentes

Meu middleware de proxy com prioridade 800 recebe erros 407. Por quê?

Em 800, ele é executado após o HttpProxyMiddleware (750), portanto o user:pass na URL do seu proxy nunca é convertido em um cabeçalho Proxy-Authorization. Mova o seu middleware para um valor abaixo de 750, por exemplo 740.

Posso definir o proxy para apenas uma requisição?

Sim. Passe meta={'proxy': 'http://user:pass@ip:port'} ao criar a Request; o middleware nativo gerenciará a autenticação apenas para essa requisição.

Uma coleta de milhões de páginas atingirá o limite de largura de banda?

Não com os proxies IPv4 dedicados ou ISP estáticos da ProxyV4; ambos possuem largura de banda ilimitada. O limite prático é a velocidade permitida pelo alvo da raspagem.

Fontes

IPs estáticos ilimitados para coletas no Scrapy

IPv4 dedicado em 7 países e ISP estático nos EUA e Vietnã, de um único IP a um grande pool, com preços dinâmicos por volume.

Ver preços atualizados nos EUA

Related articles

Proxies por plataforma
Proxies para web scraping: pool fixo de IPs com tráfego ilimitado
Proxies de web scraping para Python, Scrapy, Playwright e Selenium: pool de IPs IPv4 privados e ISP estáticos, tráfego ilimitado e preço fixo por IP.
Configuração de proxy
Requisições em Python via proxy autenticado, passo a passo
Envie requisições Python via proxy HTTP(S) autenticado: crie o dict proxies, use em uma Session, codifique senhas especiais, alterne a lista e valide o IP.
Configuração de proxy
Autenticação de proxy no Playwright: um IP estático por contexto
Defina um proxy HTTP(S) autenticado para cada contexto do Playwright em Node.js ou Python, alinhe fuso horário e locale ao IP e confirme o endereço de saída.
Ferramentas gratuitas
Reescreva uma lista de proxies no formato que sua ferramenta precisa
Converta listas de proxies no navegador entre ip:port:user:pass, user:pass@ip:port, URLs http://, URIs SOCKS5, arrays JSON e arquivos do FoxyProxy, em lote.
Proxies por plataforma
Proxies para monitoramento de SEO: veja a página de resultados que um usuário local vê
Proxies de SEO com IPv4 privado nos EUA, Reino Unido, Vietnã, Japão e mais 4 mercados, para ver rankings, pacotes locais e anúncios como os usuários locais.
Proxies por plataforma
Proxies para Amazon Seller que dão a cada conta um endereço permanente
Proxies Amazon Seller para Seller Central, KDP e Merch: ISP estático dos EUA ou IPv4 privado no Reino Unido/Japão por conta, exclusivo e mantido na renovação.
IPV4 · united states
Pool de Proxies IPv4 Privados dos EUA para Scraping, Rastreamento de Ranking e Verificação de Anúncios
Compre proxies IPv4 privados dos EUA: IPs estáticos de datacenter, um cliente por IP e banda ilimitada. Para scraping, rastreio de SERP e checar anúncios.
IPV4 · united kingdom
Proxy IPv4 Privado do Reino Unido para Marketplaces, Busca e Campanhas
Proxy IPv4 privado do Reino Unido com IP estático de datacenter para pesquisas no eBay UK, Amazon.co.uk, rastreamento no google.co.uk e checagem de anúncios.