ProxyV4

Proxys Scrapy : meta['proxy'], ordre des middlewares et rotation

· Updated:

Dans Scrapy, un proxy se définit par requête via request.meta['proxy'] = 'http://user:pass@ip:port', et le composant intégré HttpProxyMiddleware (ordre 750) convertit la partie user:pass en en-tête Proxy-Authorization. Ajoutez un léger downloader middleware placé en amont, à 740, pour que chaque requête générée par votre spider puisse choisir une IP dans votre pool ProxyV4.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
IPv4 privée (datacenter)
🇺🇸 États-Unis
En stock
Dès
1,10 $US / IP / mois
Remises sur quantité
  • 1 IP1,85 $US
  • 3+ IP1,70 $US
  • 10+ IP1,60 $US
  • 25+ IP1,50 $US
  • 50+ IP1,40 $US
  • 100+ IP1,30 $US
  • 200+ IP1,20 $US
  • 500+ IP1,10 $US
Acheter États-Unis
IPv4 privée (datacenter)
🇬🇧 Royaume-Uni
En stock
Dès
1,10 $US / IP / mois
Remises sur quantité
  • 1 IP1,85 $US
  • 3+ IP1,70 $US
  • 10+ IP1,60 $US
  • 25+ IP1,50 $US
  • 50+ IP1,40 $US
  • 100+ IP1,30 $US
  • 200+ IP1,20 $US
  • 500+ IP1,10 $US
Acheter Royaume-Uni

Pourquoi le numéro de middleware a son importance

Les downloader middlewares s'exécutent par ordre croissant à l'envoi de la requête. HttpProxyMiddleware à 750 lit meta['proxy'], retire les identifiants de l'URL et génère l'en-tête d'authentification. Si votre propre middleware définit le proxy après, à 800 par exemple, le composant intégré s'est déjà exécuté, les identifiants ne sont jamais convertis et le proxy renvoie une erreur 407. Déclarer le vôtre à 740 lui donne la priorité.

ParamètreValeur suggéréeEffet
request.meta['proxy']'http://user:pass@ip:port'Achemine cette requête via le proxy ProxyV4 indiqué
Ordre de votre middleware740S'exécute avant HttpProxyMiddleware (750), ce qui permet d'encoder l'authentification
CONCURRENT_REQUESTS_PER_IP2 à 4Limite les requêtes parallèles par IP de destination, évitant ainsi de surcharger chaque serveur
AUTOTHROTTLE_ENABLEDTruePermet à Scrapy d'ajuster automatiquement les délais selon le temps de réponse de la cible

Structure d'un middleware de rotation

  • Lisez la liste de proxys depuis les paramètres dans from_crawler() et conservez-la sur l'instance du middleware
  • Dans process_request(), attribuez request.meta['proxy'] = random.choice(self.proxies) sauf si la requête en possède déjà un
  • Lorsqu'une réponse renvoie 429 ou 503, réessayez avec un autre proxy du pool plutôt qu'avec celui venant d'être refusé
  • Combinez DOWNLOAD_DELAY = 1.0 et RANDOMIZE_DOWNLOAD_DELAY = True pour faire varier l'intervalle entre les requêtes au lieu d'un rythme régulier de métronome

Dimensionner le pool

Un crawl avec Scrapy peut émettre un volume important de requêtes par minute ; le nombre d'IP détermine donc la fréquence de sollicitation de chacune. Avec ProxyV4, il n'y a aucun minimum de commande, le tarif par IP diminue avec la quantité, et le trafic IPv4 dédié est illimité : un crawl volumineux ne coûte ainsi pas plus cher en bande passante qu'un petit. Chaque IP est réservée à un seul client, sa réputation dépend donc exclusivement de votre crawl. Pour planifier le volume et la cadence de votre crawl, consultez le guide du web scraping.

Étape par étape

  1. 1

    Préparer les URL de proxy

    Convertissez vos lignes ip:port:user:pass fournies par ProxyV4 en http://user:pass@ip:port grâce au convertisseur de format de proxy et enregistrez-les dans les paramètres ou un fichier.

  2. 2

    Créer le ProxyPoolMiddleware

    Dans middlewares.py, implémentez process_request(self, request, spider) pour attribuer request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    L'enregistrer avant le composant intégré

    Dans settings.py, ajoutez 'myproject.middlewares.ProxyPoolMiddleware': 740 à DOWNLOADER_MIDDLEWARES et configurez CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Vérifier la rotation

    Interrogez https://proxyv4.com/api/my-ip à plusieurs reprises avec scrapy shell ou un spider de test court, et vérifiez que l'IP renvoyée alterne bien au sein de votre pool.

Foire aux questions

Mon middleware proxy en priorité 800 génère des erreurs 407. Pourquoi ?

À 800, il s'exécute après HttpProxyMiddleware (750), de sorte que le user:pass de votre URL de proxy n'est jamais converti en en-tête Proxy-Authorization. Positionnez votre middleware avant 750, par exemple à 740.

Puis-je définir le proxy pour une seule requête ?

Oui. Transmettez meta={'proxy': 'http://user:pass@ip:port'} lors de la création de la Request ; le middleware intégré se chargera de l'authentification pour cette seule requête.

Un crawl de plusieurs millions de pages risque-t-il d'atteindre une limite de bande passante ?

Pas avec les proxys IPv4 dédiés ou ISP statiques de ProxyV4 : tous deux incluent une bande passante illimitée. La seule limite concrète reste la cadence acceptée par le site cible.

Sources

Des IP statiques illimitées pour vos crawls Scrapy

IPv4 dédiées dans 7 pays et ISP statiques aux États-Unis et au Vietnam, de l'IP unique au pool étendu, avec tarification dégressive en temps réel.

Consulter les tarifs US en direct

Related articles

Proxies par plateforme
Proxies pour le web scraping : un pool d'IP fixe avec trafic illimité
Proxies de web scraping pour Python, Scrapy, Playwright et Selenium : pool d'IPv4 privées et ISP statiques, bande passante illimitée et tarif fixe par IP.
Configuration proxy
Requêtes Python via un proxy authentifié, étape par étape
Requêtes Python via un proxy HTTP(S) authentifié : créez le dict proxies, liez-le à une Session, encodez le mot de passe, alternez la liste et testez l'IP.
Configuration proxy
Authentification proxy Playwright : une IP statique par contexte
Attribuez un proxy HTTP(S) authentifié à chaque contexte Playwright en Node.js ou Python, alignez fuseau et locale sur l'IP et vérifiez l'adresse de sortie.
Outils gratuits
Convertissez une liste de proxys au format attendu par votre outil
Convertissez par lot vos listes de proxys dans votre navigateur : ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, JSON et fichiers FoxyProxy.
Proxies par plateforme
Proxies pour le suivi SEO : voyez la page de résultats vue par un internaute local
Proxies de suivi SEO avec IPv4 privée aux USA, UK, Vietnam, Japon et 4 autres marchés : vos positions, packs locaux et annonces comme les voient les locaux.
Proxies par plateforme
Proxies Amazon Seller : attribuez une adresse permanente à chaque compte
Proxies Amazon Seller pour Seller Central, KDP et Merch : ISP fixe US ou IPv4 privée UK/Japon par compte, louée à vous seul et conservée au renouvellement.
IPV4 · united states
Pool de proxys IPv4 privés aux États-Unis pour le scraping, le suivi de positions et la vérification publicitaire
Achetez des proxys IPv4 privés US : IP datacenter statiques, un client par IP, bande passante illimitée. Pour le scraping, le suivi SERP et les pubs US.
IPV4 · united kingdom
Proxy IPv4 privé au Royaume-Uni pour les marketplaces, la recherche et les campagnes
Proxy IPv4 privé UK avec IP datacenter britannique fixe louée à un seul client : veille eBay UK, Amazon.co.uk, suivi google.co.uk et contrôle des pubs UK.