Proxys Scrapy : meta['proxy'], ordre des middlewares et rotation
Par l'équipe d'ingénierie de ProxyV4 · Updated:
Dans Scrapy, un proxy se définit par requête via request.meta['proxy'] = 'http://user:pass@ip:port', et le composant intégré HttpProxyMiddleware (ordre 750) convertit la partie user:pass en en-tête Proxy-Authorization. Ajoutez un léger downloader middleware placé en amont, à 740, pour que chaque requête générée par votre spider puisse choisir une IP dans votre pool ProxyV4.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 $US
- 3+ IP1,70 $US
- 10+ IP1,60 $US
- 25+ IP1,50 $US
- 50+ IP1,40 $US
- 100+ IP1,30 $US
- 200+ IP1,20 $US
- 500+ IP1,10 $US
- 1 IP1,85 $US
- 3+ IP1,70 $US
- 10+ IP1,60 $US
- 25+ IP1,50 $US
- 50+ IP1,40 $US
- 100+ IP1,30 $US
- 200+ IP1,20 $US
- 500+ IP1,10 $US
Pourquoi le numéro de middleware a son importance
Les downloader middlewares s'exécutent par ordre croissant à l'envoi de la requête. HttpProxyMiddleware à 750 lit meta['proxy'], retire les identifiants de l'URL et génère l'en-tête d'authentification. Si votre propre middleware définit le proxy après, à 800 par exemple, le composant intégré s'est déjà exécuté, les identifiants ne sont jamais convertis et le proxy renvoie une erreur 407. Déclarer le vôtre à 740 lui donne la priorité.
| Paramètre | Valeur suggérée | Effet |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Achemine cette requête via le proxy ProxyV4 indiqué |
| Ordre de votre middleware | 740 | S'exécute avant HttpProxyMiddleware (750), ce qui permet d'encoder l'authentification |
CONCURRENT_REQUESTS_PER_IP | 2 à 4 | Limite les requêtes parallèles par IP de destination, évitant ainsi de surcharger chaque serveur |
AUTOTHROTTLE_ENABLED | True | Permet à Scrapy d'ajuster automatiquement les délais selon le temps de réponse de la cible |
Structure d'un middleware de rotation
- Lisez la liste de proxys depuis les paramètres dans
from_crawler()et conservez-la sur l'instance du middleware - Dans
process_request(), attribuezrequest.meta['proxy'] = random.choice(self.proxies)sauf si la requête en possède déjà un - Lorsqu'une réponse renvoie
429ou503, réessayez avec un autre proxy du pool plutôt qu'avec celui venant d'être refusé - Combinez
DOWNLOAD_DELAY = 1.0etRANDOMIZE_DOWNLOAD_DELAY = Truepour faire varier l'intervalle entre les requêtes au lieu d'un rythme régulier de métronome
Dimensionner le pool
Un crawl avec Scrapy peut émettre un volume important de requêtes par minute ; le nombre d'IP détermine donc la fréquence de sollicitation de chacune. Avec ProxyV4, il n'y a aucun minimum de commande, le tarif par IP diminue avec la quantité, et le trafic IPv4 dédié est illimité : un crawl volumineux ne coûte ainsi pas plus cher en bande passante qu'un petit. Chaque IP est réservée à un seul client, sa réputation dépend donc exclusivement de votre crawl. Pour planifier le volume et la cadence de votre crawl, consultez le guide du web scraping.
Étape par étape
- 1
Préparer les URL de proxy
Convertissez vos lignes
ip:port:user:passfournies par ProxyV4 enhttp://user:pass@ip:portgrâce au convertisseur de format de proxy et enregistrez-les dans les paramètres ou un fichier. - 2
Créer le ProxyPoolMiddleware
Dans
middlewares.py, implémentezprocess_request(self, request, spider)pour attribuerrequest.meta['proxy'] = random.choice(self.proxies). - 3
L'enregistrer avant le composant intégré
Dans
settings.py, ajoutez'myproject.middlewares.ProxyPoolMiddleware': 740àDOWNLOADER_MIDDLEWARESet configurezCONCURRENT_REQUESTS_PER_IP = 2. - 4
Vérifier la rotation
Interrogez
https://proxyv4.com/api/my-ipà plusieurs reprises avecscrapy shellou un spider de test court, et vérifiez que l'IP renvoyée alterne bien au sein de votre pool.
Foire aux questions
Mon middleware proxy en priorité 800 génère des erreurs 407. Pourquoi ?
À 800, il s'exécute après HttpProxyMiddleware (750), de sorte que le user:pass de votre URL de proxy n'est jamais converti en en-tête Proxy-Authorization. Positionnez votre middleware avant 750, par exemple à 740.
Puis-je définir le proxy pour une seule requête ?
Oui. Transmettez meta={'proxy': 'http://user:pass@ip:port'} lors de la création de la Request ; le middleware intégré se chargera de l'authentification pour cette seule requête.
Un crawl de plusieurs millions de pages risque-t-il d'atteindre une limite de bande passante ?
Pas avec les proxys IPv4 dédiés ou ISP statiques de ProxyV4 : tous deux incluent une bande passante illimitée. La seule limite concrète reste la cadence acceptée par le site cible.
Sources
Des IP statiques illimitées pour vos crawls Scrapy
IPv4 dédiées dans 7 pays et ISP statiques aux États-Unis et au Vietnam, de l'IP unique au pool étendu, avec tarification dégressive en temps réel.
Consulter les tarifs US en direct