Concevoir un scraper autour d'un pool d'IP dédiées
Updated:
Les proxys de web scraping répartissent vos requêtes sur de nombreuses adresses afin qu'aucune IP ne supporte l'ensemble du crawl. Pour la plupart des cibles, un pool d'adresses IPv4 privées constitue l'option la plus rapide et la plus économique ; les adresses ISP statiques servent de solution de repli pour les sites qui bloquent les plages de datacenters. Vous gérez la rotation du pool directement dans votre code, ce qui vous permet de toujours savoir quelle IP a récupéré quelle page.
Pourquoi une IP unique cesse de fonctionner
Les sites limitent le nombre de requêtes qu'une adresse peut envoyer. Un crawler exécuté depuis la connexion de votre bureau atteint vite cette limite, et le blocage peut impacter tous les autres occupants du bâtiment. Un pool de proxys répartit la charge, préserve votre propre réseau des journaux de connexion et vous permet de récupérer la version d'une page affichée aux visiteurs d'un pays donné.
Utilisateurs types : équipes e-commerce suivant les prix et les stocks des concurrents, analystes créant des jeux de données publics, agrégateurs d'offres de voyage, d'immobilier ou d'emploi, et développeurs testant leurs propres sites depuis l'étranger.
Pool statique ou passerelle rotative
Avec un pool statique, la liste d'adresses vous appartient pour toute la durée de location. Votre planificateur sélectionne une IP par requête ou par session, l'enregistre et retire toute adresse qui commence à subir des ralentissements. Chaque IP est dédiée (single-tenant) : sa réputation dépend donc uniquement de votre trafic, et la liste fixe s'ajoute facilement en liste blanche dans vos outils internes.
La bande passante sur les IPv4 privées et les ISP statiques n'est pas mesurée. Les pages volumineuses, les images et les crawls prolongés sont facturés par IP, et non au gigaoctet.
Associer le bon produit à la cible
| Cible | Produit | Raison |
|---|---|---|
| Catalogues publics, API, la plupart des sites | IPv4 privée | Rapide, économique, sept pays |
| Sites refusant les plages de datacenters | ISP statique, États-Unis ou Vietnam | Adresses enregistrées auprès de FAI grand public |
| Très grands crawls sur des sites compatibles IPv6 | IPv6 | Nombreuses adresses à bas prix par IP ; vérifiez que le site accepte l'IPv6 |
| Pages localisées en Asie | IPv4 privée au Japon, en Corée du Sud, à Singapour, à Hong Kong ou au Vietnam | Récupérez le contenu affiché aux visiteurs locaux |
Dimensionnement du pool et discipline des requêtes
- Dimensionnez le pool selon votre cadence de requêtes cible : un plus grand nombre d'adresses sollicitées modérément durera bien plus longtemps que quelques adresses surchargées.
- Conservez la même adresse pendant toute la durée d'une session avec connexion ou d'un panier, puis changez.
- Envoyez des en-têtes réalistes, introduisez un intervalle aléatoire (jitter) entre les requêtes et ralentissez en cas d'erreurs HTTP 429 et 403.
- Validez les réponses pour éviter que les pages de captcha ou de blocage ne se retrouvent dans le jeu de données.
- Testez vos adresses avec le testeur de proxy (jusqu'à 100 à la fois, les mots de passe ne sont pas stockés) et éliminez celles qui sont lentes ou bloquées.
Intégrer le pool à votre infrastructure
Chaque adresse fonctionne en HTTP(S) ou SOCKS5 avec identifiant et mot de passe, fournie au format ip:port:user:pass sous Commandes. Les bibliothèques courantes gèrent ce format nativement ; consultez les guides de configuration pour Python requests, Scrapy, Playwright et Puppeteer. Les logiciels de bureau dépourvus de paramètres de proxy peuvent être routés via Proxifier. La page sur les proxys de web scraping apporte des précisions selon les cibles.
Collecter de manière responsable
Un proxy modifie l'origine géographique d'une requête, mais ne vous accorde aucun droit supplémentaire sur les données collectées. Respectez le fichier robots.txt, les conditions d'utilisation du site et la législation relative à la protection des données qui vous est applicable, et ne collectez aucune donnée personnelle que vous n'êtes pas autorisé à traiter. L'envoi massif de requêtes parallèles, le scraping derrière une authentification avec des comptes qui ne vous appartiennent pas et les abus manifestes enfreignent également nos conditions d'utilisation.
Foire aux questions
Dois-je commencer avec des proxys de datacenter ou ISP pour le scraping ?
Datacenter. L'IPv4 privée est plus rapide et disponible dans davantage de pays. Ne basculez une cible vers des IP ISP statiques que si elle bloque les plages de datacenters. Le comparatif des types de proxys détaille ces compromis.
Un service de proxys rotatifs est-il obligatoire ?
Non. Un pool statique dont vous gérez la rotation dans votre propre code vous offre un contrôle total sur l'adresse qui traite chaque requête.
Le trafic est-il mesuré ?
Non. Les IPv4 privées et les ISP statiques bénéficient d'une bande passante illimitée ; vous payez par IP pour la durée de location.
Puis-je utiliser SOCKS5 avec Scrapy ou Playwright ?
Oui. Les proxys payants prennent en charge HTTP(S) et SOCKS5 avec identifiant et mot de passe ; basculez la commande sur SOCKS5 (ou les deux) depuis sa page dans le tableau de bord. Le middleware intégré de Scrapy ne gère que HTTP, conservez donc HTTP dans ce cas. Consultez HTTP vs SOCKS5.
Le web scraping est-il légal ?
Tout dépend de ce que vous collectez, de votre zone géographique et des conditions d'utilisation du site. Récupérer des données publiques et non personnelles tout en respectant le fichier robots.txt est une pratique courante ; vérifiez les règles applicables à votre projet.
Créer un pool de scraping
Commandez autant d'adresses IPv4 privées que nécessaire pour votre crawl ; le prix par IP diminue avec la quantité et la bande passante n'est pas mesurée.
Consulter les tarifs datacenter US