Proxies en Scrapy: meta['proxy'], orden del middleware y rotación
Por el equipo de ingeniería de ProxyV4 · Updated:
En Scrapy, el proxy se configura por petición mediante request.meta['proxy'] = 'http://user:pass@ip:port', y el HttpProxyMiddleware integrado (orden 750) convierte la parte user:pass en un encabezado Proxy-Authorization. Añade un pequeño downloader middleware que se ejecute antes, en 740, y cada petición generada por tu spider podrá tomar una IP de tu pool de ProxyV4.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 US$
- 3+ IPs1,70 US$
- 10+ IPs1,60 US$
- 25+ IPs1,50 US$
- 50+ IPs1,40 US$
- 100+ IPs1,30 US$
- 200+ IPs1,20 US$
- 500+ IPs1,10 US$
- 1 IP1,85 US$
- 3+ IPs1,70 US$
- 10+ IPs1,60 US$
- 25+ IPs1,50 US$
- 50+ IPs1,40 US$
- 100+ IPs1,30 US$
- 200+ IPs1,20 US$
- 500+ IPs1,10 US$
Por qué importa el número del middleware
Los downloader middlewares se ejecutan en orden ascendente en la salida. HttpProxyMiddleware en 750 lee meta['proxy'], extrae las credenciales de la URL y escribe el encabezado de autenticación. Si tu propio middleware define el proxy después, por ejemplo en 800, el integrado ya se habrá ejecutado, las credenciales nunca se convertirán y el proxy responderá 407. Registrar el tuyo en 740 lo coloca en primer lugar.
| Configuración | Valor sugerido | Efecto |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Envía esa petición a través del proxy de ProxyV4 indicado |
| Orden de tu middleware | 740 | Se ejecuta antes de HttpProxyMiddleware (750), codificando las credenciales |
CONCURRENT_REQUESTS_PER_IP | 2 a 4 | Limita las peticiones simultáneas por IP de destino, un límite prudente para no sobrecargar el servidor |
AUTOTHROTTLE_ENABLED | True | Permite que Scrapy ajuste los retrasos según la rapidez de respuesta del objetivo |
Esquema de un middleware de rotación
- Lee la lista de proxies desde la configuración en
from_crawler()y consérvala en la instancia del middleware - En
process_request(), asignarequest.meta['proxy'] = random.choice(self.proxies)a menos que la petición ya incluya uno - Cuando una respuesta devuelva
429o503, vuelve a intentarla con otro proxy del pool en lugar del que acaba de ser rechazado - Combina
DOWNLOAD_DELAY = 1.0conRANDOMIZE_DOWNLOAD_DELAY = Truepara que el intervalo entre peticiones varíe en lugar de marcar un ritmo fijo como un metrónomo
Dimensionar el pool
Un rastreo con Scrapy puede emitir muchas peticiones por minuto, por lo que la cantidad de IP determina la intensidad de uso de cada una. Con ProxyV4 no hay pedido mínimo y el precio por IP disminuye al aumentar la cantidad; además, el tráfico IPv4 privado no está medido, por lo que un rastreo grande cuesta lo mismo que uno pequeño en ancho de banda. Cada IP la utiliza un solo cliente, por lo que su reputación refleja únicamente tu propio rastreo y el de nadie más. Para planificar el volumen y la frecuencia de tus rastreos, consulta la guía de web scraping.
Paso a paso
- 1
Prepara las URL de los proxies
Convierte tus líneas
ip:port:user:passde ProxyV4 ahttp://user:pass@ip:portcon el conversor de formato de proxy y guárdalas en la configuración o en un archivo. - 2
Crea ProxyPoolMiddleware
En
middlewares.py, implementaprocess_request(self, request, spider)para que establezcarequest.meta['proxy'] = random.choice(self.proxies). - 3
Regístralo antes del integrado
En
settings.py, añade'myproject.middlewares.ProxyPoolMiddleware': 740aDOWNLOADER_MIDDLEWARESy defineCONCURRENT_REQUESTS_PER_IP = 2. - 4
Confirma la rotación
Consulta
https://proxyv4.com/api/my-ipvarias veces conscrapy shello con una spider de prueba breve y comprueba que la IP mostrada cambie entre las de tu pool.
Preguntas frecuentes
¿Por qué mi middleware de proxy con prioridad 800 devuelve errores 407?
En 800 se ejecuta después de HttpProxyMiddleware (750), por lo que el user:pass de la URL de tu proxy nunca se convierte en un encabezado Proxy-Authorization. Mueve tu middleware por debajo de 750, por ejemplo a 740.
¿Puedo configurar el proxy para una sola petición?
Sí. Pasa meta={'proxy': 'http://user:pass@ip:port'} al crear el Request; el middleware integrado gestionará la autenticación solo para esa petición.
¿Un rastreo de millones de páginas alcanzará algún límite de ancho de banda?
No con los proxies IPv4 privados o ISP estáticos de ProxyV4; ambos disponen de ancho de banda ilimitado. El límite práctico depende de la velocidad a la que el destino te permita rastrear.
Fuentes
IP estáticas sin límite para rastreos con Scrapy
IPv4 privadas en 7 países y proxies ISP estáticos en EE. UU. y Vietnam, desde una sola IP hasta un gran pool, con precios por volumen en tiempo real.
Ver precios actuales para EE. UU.