ProxyV4

Proxies en Scrapy: meta['proxy'], orden del middleware y rotación

· Updated:

En Scrapy, el proxy se configura por petición mediante request.meta['proxy'] = 'http://user:pass@ip:port', y el HttpProxyMiddleware integrado (orden 750) convierte la parte user:pass en un encabezado Proxy-Authorization. Añade un pequeño downloader middleware que se ejecute antes, en 740, y cada petición generada por tu spider podrá tomar una IP de tu pool de ProxyV4.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
IPv4 privado (centro de datos)
🇺🇸 Estados Unidos
Disponible
Desde
1,10 US$ / IP / mes
Descuentos por volumen
  • 1 IP1,85 US$
  • 3+ IPs1,70 US$
  • 10+ IPs1,60 US$
  • 25+ IPs1,50 US$
  • 50+ IPs1,40 US$
  • 100+ IPs1,30 US$
  • 200+ IPs1,20 US$
  • 500+ IPs1,10 US$
Comprar Estados Unidos
IPv4 privado (centro de datos)
🇬🇧 Reino Unido
Disponible
Desde
1,10 US$ / IP / mes
Descuentos por volumen
  • 1 IP1,85 US$
  • 3+ IPs1,70 US$
  • 10+ IPs1,60 US$
  • 25+ IPs1,50 US$
  • 50+ IPs1,40 US$
  • 100+ IPs1,30 US$
  • 200+ IPs1,20 US$
  • 500+ IPs1,10 US$
Comprar Reino Unido

Por qué importa el número del middleware

Los downloader middlewares se ejecutan en orden ascendente en la salida. HttpProxyMiddleware en 750 lee meta['proxy'], extrae las credenciales de la URL y escribe el encabezado de autenticación. Si tu propio middleware define el proxy después, por ejemplo en 800, el integrado ya se habrá ejecutado, las credenciales nunca se convertirán y el proxy responderá 407. Registrar el tuyo en 740 lo coloca en primer lugar.

ConfiguraciónValor sugeridoEfecto
request.meta['proxy']'http://user:pass@ip:port'Envía esa petición a través del proxy de ProxyV4 indicado
Orden de tu middleware740Se ejecuta antes de HttpProxyMiddleware (750), codificando las credenciales
CONCURRENT_REQUESTS_PER_IP2 a 4Limita las peticiones simultáneas por IP de destino, un límite prudente para no sobrecargar el servidor
AUTOTHROTTLE_ENABLEDTruePermite que Scrapy ajuste los retrasos según la rapidez de respuesta del objetivo

Esquema de un middleware de rotación

  • Lee la lista de proxies desde la configuración en from_crawler() y consérvala en la instancia del middleware
  • En process_request(), asigna request.meta['proxy'] = random.choice(self.proxies) a menos que la petición ya incluya uno
  • Cuando una respuesta devuelva 429 o 503, vuelve a intentarla con otro proxy del pool en lugar del que acaba de ser rechazado
  • Combina DOWNLOAD_DELAY = 1.0 con RANDOMIZE_DOWNLOAD_DELAY = True para que el intervalo entre peticiones varíe en lugar de marcar un ritmo fijo como un metrónomo

Dimensionar el pool

Un rastreo con Scrapy puede emitir muchas peticiones por minuto, por lo que la cantidad de IP determina la intensidad de uso de cada una. Con ProxyV4 no hay pedido mínimo y el precio por IP disminuye al aumentar la cantidad; además, el tráfico IPv4 privado no está medido, por lo que un rastreo grande cuesta lo mismo que uno pequeño en ancho de banda. Cada IP la utiliza un solo cliente, por lo que su reputación refleja únicamente tu propio rastreo y el de nadie más. Para planificar el volumen y la frecuencia de tus rastreos, consulta la guía de web scraping.

Paso a paso

  1. 1

    Prepara las URL de los proxies

    Convierte tus líneas ip:port:user:pass de ProxyV4 a http://user:pass@ip:port con el conversor de formato de proxy y guárdalas en la configuración o en un archivo.

  2. 2

    Crea ProxyPoolMiddleware

    En middlewares.py, implementa process_request(self, request, spider) para que establezca request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Regístralo antes del integrado

    En settings.py, añade 'myproject.middlewares.ProxyPoolMiddleware': 740 a DOWNLOADER_MIDDLEWARES y define CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Confirma la rotación

    Consulta https://proxyv4.com/api/my-ip varias veces con scrapy shell o con una spider de prueba breve y comprueba que la IP mostrada cambie entre las de tu pool.

Preguntas frecuentes

¿Por qué mi middleware de proxy con prioridad 800 devuelve errores 407?

En 800 se ejecuta después de HttpProxyMiddleware (750), por lo que el user:pass de la URL de tu proxy nunca se convierte en un encabezado Proxy-Authorization. Mueve tu middleware por debajo de 750, por ejemplo a 740.

¿Puedo configurar el proxy para una sola petición?

Sí. Pasa meta={'proxy': 'http://user:pass@ip:port'} al crear el Request; el middleware integrado gestionará la autenticación solo para esa petición.

¿Un rastreo de millones de páginas alcanzará algún límite de ancho de banda?

No con los proxies IPv4 privados o ISP estáticos de ProxyV4; ambos disponen de ancho de banda ilimitado. El límite práctico depende de la velocidad a la que el destino te permita rastrear.

Fuentes

IP estáticas sin límite para rastreos con Scrapy

IPv4 privadas en 7 países y proxies ISP estáticos en EE. UU. y Vietnam, desde una sola IP hasta un gran pool, con precios por volumen en tiempo real.

Ver precios actuales para EE. UU.

Related articles

Proxies por plataforma
Proxies para web scraping: un pool fijo de IP con tráfico ilimitado
Proxies de web scraping para Python, Scrapy, Playwright y Selenium: pool de IPv4 privadas e ISP estáticas con ancho de banda ilimitado y tarifa fija por IP.
Configuración de proxy
Peticiones de Python mediante un proxy autenticado, paso a paso
Envía peticiones en Python con un proxy HTTP(S) autenticado: crea el dict proxies, úsalo en una Session, codifica contraseñas, rota una lista y revisa la IP.
Configuración de proxy
Autenticación de proxy en Playwright: una IP estática por contexto
Asigna a cada contexto de Playwright su propio proxy HTTP(S) con autenticación en Node.js o Python, ajusta zona horaria e idioma a la IP y valida la salida.
Herramientas gratuitas
Convierte una lista de proxies al formato que espera tu herramienta
Convierte listas de proxies en tu navegador entre ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, arrays JSON y archivos FoxyProxy por lotes.
Proxies por plataforma
Proxies para rank tracking SEO: vea la página de resultados que ve un usuario local
Proxies de rank tracking SEO con IPv4 privada en EE. UU., Reino Unido, Vietnam, Japón y 4 mercados más: rankings, packs locales y anuncios como los ven allí.
Proxies por plataforma
Proxies para vendedores de Amazon que dan a cada cuenta una dirección permanente
Proxies para Amazon Seller, KDP y Merch: ISP estática de EE. UU. o IPv4 privada en UK/Japón por cuenta, exclusiva para ti y conservada al renovar.
IPV4 · united states
Pool de proxies IPv4 privados de EE. UU. para scraping, seguimiento de posiciones y verificación de anuncios
Compra proxies IPv4 privados de EE. UU.: IP estáticas de datacenter, un cliente por IP y ancho de banda ilimitado. Para scraping, rastreo de SERP y anuncios.
IPV4 · united kingdom
Proxy IPv4 privado de Reino Unido para marketplaces, búsquedas y campañas
Proxy IPv4 privado de UK con IP de centro de datos exclusiva para análisis en eBay UK y Amazon.co.uk, rastreo en google.co.uk y verificación de anuncios en UK.