Proxies no Scrapy: meta['proxy'], ordem dos middlewares e rotação
Pela equipe de engenharia da ProxyV4 · Updated:
No Scrapy, um proxy é definido por requisição através de request.meta['proxy'] = 'http://user:pass@ip:port', e o HttpProxyMiddleware nativo (ordem 750) converte a parte user:pass em um cabeçalho Proxy-Authorization. Adicione um pequeno downloader middleware executado antes dele, em 740, e cada requisição emitida pelo seu spider poderá selecionar um IP do seu pool da ProxyV4.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IPUS$ 1,85
- 3+ IPsUS$ 1,70
- 10+ IPsUS$ 1,60
- 25+ IPsUS$ 1,50
- 50+ IPsUS$ 1,40
- 100+ IPsUS$ 1,30
- 200+ IPsUS$ 1,20
- 500+ IPsUS$ 1,10
- 1 IPUS$ 1,85
- 3+ IPsUS$ 1,70
- 10+ IPsUS$ 1,60
- 25+ IPsUS$ 1,50
- 50+ IPsUS$ 1,40
- 100+ IPsUS$ 1,30
- 200+ IPsUS$ 1,20
- 500+ IPsUS$ 1,10
Por que o número do middleware importa
Os downloader middlewares são executados em ordem crescente no fluxo de envio. O HttpProxyMiddleware em 750 lê meta['proxy'], remove as credenciais da URL e grava o cabeçalho de autenticação. Se o seu próprio middleware definir o proxy depois, em 800 por exemplo, o nativo já terá sido executado, as credenciais nunca serão convertidas e o proxy responderá 407. Registrar o seu em 740 garante que ele seja executado primeiro.
| Configuração | Valor sugerido | Efeito |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Envia a requisição pelo proxy especificado da ProxyV4 |
| Ordem do seu middleware | 740 | Executa antes de HttpProxyMiddleware (750), garantindo a codificação do login |
CONCURRENT_REQUESTS_PER_IP | 2 a 4 | Limita requisições paralelas por IP de destino, um teto responsável para não sobrecarregar cada servidor |
AUTOTHROTTLE_ENABLED | True | Permite que o Scrapy aumente ou reduza os intervalos com base na velocidade de resposta do destino |
Estrutura básica de um middleware de rotação
- Leia a lista de proxies das configurações em
from_crawler()e mantenha-a na instância do middleware - Em
process_request(), definarequest.meta['proxy'] = random.choice(self.proxies), a menos que a requisição já possua um - Quando uma resposta retornar
429ou503, tente novamente com um proxy diferente do pool em vez daquele que acabou de ser recusado - Combine
DOWNLOAD_DELAY = 1.0comRANDOMIZE_DOWNLOAD_DELAY = Truepara que o intervalo entre as requisições varie, em vez de seguir um ritmo mecânico
Dimensionando o pool
Uma coleta no Scrapy pode enviar muitas requisições por minuto, portanto a quantidade de IPs determina o nível de moderação no uso de cada um. Na ProxyV4 não há pedido mínimo e o preço por IP diminui conforme a quantidade aumenta, além de o tráfego IPv4 dedicado não ser tarifado, fazendo com que uma grande raspagem tenha o mesmo custo de largura de banda que uma pequena. Cada IP é utilizado exclusivamente por um cliente, de modo que a reputação dele reflete apenas a sua própria coleta e a de mais ninguém. Para planejar o volume do crawl e o ritmo de requisições, confira o guia de web scraping.
Passo a passo
- 1
Prepare as URLs de proxy
Converta as linhas
ip:port:user:passda ProxyV4 parahttp://user:pass@ip:portcom o conversor de formato de proxy e armazene-as nas configurações ou em um arquivo. - 2
Escreva o ProxyPoolMiddleware
Em
middlewares.py, implementeprocess_request(self, request, spider)para que ele definarequest.meta['proxy'] = random.choice(self.proxies). - 3
Registre-o antes do nativo
Em
settings.py, adicione'myproject.middlewares.ProxyPoolMiddleware': 740aDOWNLOADER_MIDDLEWARESe definaCONCURRENT_REQUESTS_PER_IP = 2. - 4
Confirme a rotação
Acesse
https://proxyv4.com/api/my-ipalgumas vezes com oscrapy shellou com um spider de teste simples e verifique se o IP retornado alterna entre os do seu pool.
Perguntas frequentes
Meu middleware de proxy com prioridade 800 recebe erros 407. Por quê?
Em 800, ele é executado após o HttpProxyMiddleware (750), portanto o user:pass na URL do seu proxy nunca é convertido em um cabeçalho Proxy-Authorization. Mova o seu middleware para um valor abaixo de 750, por exemplo 740.
Posso definir o proxy para apenas uma requisição?
Sim. Passe meta={'proxy': 'http://user:pass@ip:port'} ao criar a Request; o middleware nativo gerenciará a autenticação apenas para essa requisição.
Uma coleta de milhões de páginas atingirá o limite de largura de banda?
Não com os proxies IPv4 dedicados ou ISP estáticos da ProxyV4; ambos possuem largura de banda ilimitada. O limite prático é a velocidade permitida pelo alvo da raspagem.
Fontes
IPs estáticos ilimitados para coletas no Scrapy
IPv4 dedicado em 7 países e ISP estático nos EUA e Vietnã, de um único IP a um grande pool, com preços dinâmicos por volume.
Ver preços atualizados nos EUA