ProxyV4

Concevoir un scraper autour d'un pool d'IP dédiées

Updated:

Les proxys de web scraping répartissent vos requêtes sur de nombreuses adresses afin qu'aucune IP ne supporte l'ensemble du crawl. Pour la plupart des cibles, un pool d'adresses IPv4 privées constitue l'option la plus rapide et la plus économique ; les adresses ISP statiques servent de solution de repli pour les sites qui bloquent les plages de datacenters. Vous gérez la rotation du pool directement dans votre code, ce qui vous permet de toujours savoir quelle IP a récupéré quelle page.

Pourquoi une IP unique cesse de fonctionner

Les sites limitent le nombre de requêtes qu'une adresse peut envoyer. Un crawler exécuté depuis la connexion de votre bureau atteint vite cette limite, et le blocage peut impacter tous les autres occupants du bâtiment. Un pool de proxys répartit la charge, préserve votre propre réseau des journaux de connexion et vous permet de récupérer la version d'une page affichée aux visiteurs d'un pays donné.

Utilisateurs types : équipes e-commerce suivant les prix et les stocks des concurrents, analystes créant des jeux de données publics, agrégateurs d'offres de voyage, d'immobilier ou d'emploi, et développeurs testant leurs propres sites depuis l'étranger.

Pool statique ou passerelle rotative

Avec un pool statique, la liste d'adresses vous appartient pour toute la durée de location. Votre planificateur sélectionne une IP par requête ou par session, l'enregistre et retire toute adresse qui commence à subir des ralentissements. Chaque IP est dédiée (single-tenant) : sa réputation dépend donc uniquement de votre trafic, et la liste fixe s'ajoute facilement en liste blanche dans vos outils internes.

La bande passante sur les IPv4 privées et les ISP statiques n'est pas mesurée. Les pages volumineuses, les images et les crawls prolongés sont facturés par IP, et non au gigaoctet.

Associer le bon produit à la cible

CibleProduitRaison
Catalogues publics, API, la plupart des sitesIPv4 privéeRapide, économique, sept pays
Sites refusant les plages de datacentersISP statique, États-Unis ou VietnamAdresses enregistrées auprès de FAI grand public
Très grands crawls sur des sites compatibles IPv6IPv6Nombreuses adresses à bas prix par IP ; vérifiez que le site accepte l'IPv6
Pages localisées en AsieIPv4 privée au Japon, en Corée du Sud, à Singapour, à Hong Kong ou au VietnamRécupérez le contenu affiché aux visiteurs locaux

Dimensionnement du pool et discipline des requêtes

  • Dimensionnez le pool selon votre cadence de requêtes cible : un plus grand nombre d'adresses sollicitées modérément durera bien plus longtemps que quelques adresses surchargées.
  • Conservez la même adresse pendant toute la durée d'une session avec connexion ou d'un panier, puis changez.
  • Envoyez des en-têtes réalistes, introduisez un intervalle aléatoire (jitter) entre les requêtes et ralentissez en cas d'erreurs HTTP 429 et 403.
  • Validez les réponses pour éviter que les pages de captcha ou de blocage ne se retrouvent dans le jeu de données.
  • Testez vos adresses avec le testeur de proxy (jusqu'à 100 à la fois, les mots de passe ne sont pas stockés) et éliminez celles qui sont lentes ou bloquées.

Intégrer le pool à votre infrastructure

Chaque adresse fonctionne en HTTP(S) ou SOCKS5 avec identifiant et mot de passe, fournie au format ip:port:user:pass sous Commandes. Les bibliothèques courantes gèrent ce format nativement ; consultez les guides de configuration pour Python requests, Scrapy, Playwright et Puppeteer. Les logiciels de bureau dépourvus de paramètres de proxy peuvent être routés via Proxifier. La page sur les proxys de web scraping apporte des précisions selon les cibles.

Collecter de manière responsable

Un proxy modifie l'origine géographique d'une requête, mais ne vous accorde aucun droit supplémentaire sur les données collectées. Respectez le fichier robots.txt, les conditions d'utilisation du site et la législation relative à la protection des données qui vous est applicable, et ne collectez aucune donnée personnelle que vous n'êtes pas autorisé à traiter. L'envoi massif de requêtes parallèles, le scraping derrière une authentification avec des comptes qui ne vous appartiennent pas et les abus manifestes enfreignent également nos conditions d'utilisation.

Foire aux questions

Dois-je commencer avec des proxys de datacenter ou ISP pour le scraping ?

Datacenter. L'IPv4 privée est plus rapide et disponible dans davantage de pays. Ne basculez une cible vers des IP ISP statiques que si elle bloque les plages de datacenters. Le comparatif des types de proxys détaille ces compromis.

Un service de proxys rotatifs est-il obligatoire ?

Non. Un pool statique dont vous gérez la rotation dans votre propre code vous offre un contrôle total sur l'adresse qui traite chaque requête.

Le trafic est-il mesuré ?

Non. Les IPv4 privées et les ISP statiques bénéficient d'une bande passante illimitée ; vous payez par IP pour la durée de location.

Puis-je utiliser SOCKS5 avec Scrapy ou Playwright ?

Oui. Les proxys payants prennent en charge HTTP(S) et SOCKS5 avec identifiant et mot de passe ; basculez la commande sur SOCKS5 (ou les deux) depuis sa page dans le tableau de bord. Le middleware intégré de Scrapy ne gère que HTTP, conservez donc HTTP dans ce cas. Consultez HTTP vs SOCKS5.

Le web scraping est-il légal ?

Tout dépend de ce que vous collectez, de votre zone géographique et des conditions d'utilisation du site. Récupérer des données publiques et non personnelles tout en respectant le fichier robots.txt est une pratique courante ; vérifiez les règles applicables à votre projet.

Créer un pool de scraping

Commandez autant d'adresses IPv4 privées que nécessaire pour votre crawl ; le prix par IP diminue avec la quantité et la bande passante n'est pas mesurée.

Consulter les tarifs datacenter US

Related articles

Cas d'usage
Mettre en place un suivi de positions qui reflète la réalité locale
Vérifiez vos positions Google comme les internautes locaux : une IP par marché, requêtes cadencées et zéro erreur de configuration pour des données fiables.
Proxies par plateforme
Proxies pour le web scraping : un pool d'IP fixe avec trafic illimité
Proxies de web scraping pour Python, Scrapy, Playwright et Selenium : pool d'IPv4 privées et ISP statiques, bande passante illimitée et tarif fixe par IP.
Base de connaissances
Datacenter, ISP ou résidentiel : les trois types d'IP proxy expliqués
Proxy ISP vs datacenter vs résidentiel : propriétaire, hébergement, durée de vie, facturation et choix idéal pour vos comptes, ads ou collecte de données.
Configuration proxy
Proxys Scrapy : meta['proxy'], ordre des middlewares et rotation
Proxys HTTP(S) avec auth sur Scrapy : réglez request.meta['proxy'], placez le middleware avant HttpProxyMiddleware (750), alternez les IP et cadencez le crawl.
Outils gratuits
Vérifiez vos proxies en masse : statut, IP de sortie et latence
Testeur de proxy gratuit en ligne : collez jusqu'à 100 lignes ip:port:user:pass pour vérifier leur état, IP de sortie, latence et résoudre chaque erreur.
ISP · vietnam
Proxy ISP statique au Vietnam pour les boutiques principales et les comptes publicitaires
Proxies ISP fixes au Vietnam sur IP d'opérateurs grand public. Une IP fixe pour vos boutiques Shopee, TikTok Shop, comptes publicitaires Facebook et Zalo OA.
ISP · united states
Proxy ISP statique aux États-Unis : une IP résidentielle qui ne change jamais
Proxys ISP statiques USA via des FAI grand public. Une IP américaine fixe par compte pour vendeurs Amazon, comptes publicitaires et Instagram.
Proxies par plateforme
Proxys pour les vendeurs TikTok Shop gérant plusieurs boutiques
Proxys TikTok Shop multi-boutiques : IP ISP statique ou IPv4 privée par boutique aux USA, Vietnam, UK ou Singapour, conservée lors de chaque renouvellement.