Proxies pour le web scraping : un pool d'IP fixe avec trafic illimité
Updated:
Les proxies de web scraping facturés au gigaoctet rendent un crawler plus coûteux dès qu'une page s'alourdit. C'est pourquoi les crawlers réguliers et planifiés sont plus économiques avec un pool fixe d'adresses au trafic illimité. ProxyV4 propose des IPv4 privées dans sept pays et des adresses ISP statiques aux États-Unis et au Vietnam, chacune tarifée par IP sans facturation du trafic. Vous dimensionnez le pool selon le volume de requêtes par seconde toléré par les cibles, et la facture reste identique quel que soit le poids des pages.
- 1 IP1,85 $US
- 3+ IP1,70 $US
- 10+ IP1,60 $US
- 25+ IP1,50 $US
- 50+ IP1,40 $US
- 100+ IP1,30 $US
- 200+ IP1,20 $US
- 500+ IP1,10 $US
- 1 IP1,85 $US
- 3+ IP1,70 $US
- 10+ IP1,60 $US
- 25+ IP1,50 $US
- 50+ IP1,40 $US
- 100+ IP1,30 $US
- 200+ IP1,20 $US
- 500+ IP1,10 $US
Tarification par IP versus tarification au Go pour un crawler
| Question | Pool statique (par IP) | Trafic facturé (par Go) |
|---|---|---|
| Ce qui détermine le coût | Nombre d'IP et durée de location | Octets téléchargés, y compris HTML, JS et ressources |
| Ce qui se passe quand les pages s'alourdissent | Rien ; la bande passante est illimitée | La facture augmente en conséquence |
| Ce qui limite le débit | La limite de requêtes par IP fixée par chaque cible | Le budget |
| Comment monter en charge | Ajouter des IP ; le tarif unitaire diminue avec le volume | Acheter plus de trafic |
Pourquoi les scrapers sont bloqués, et ce qu'un pool change
Lors du scraping de catalogues, d'annonces ou d'API publiques, la plupart des blocages ne concernent pas votre identité mais votre cadence de requêtes : une adresse qui dépasse la fréquence tolérée par un site reçoit une erreur HTTP 429. Un pool de 10 à 100 IP statiques, chacune maintenue à un niveau de simultanéité raisonnable, garde chaque adresse sous le seuil d'alerte tout en laissant le crawler fonctionner à la vitesse requise.
L'utilisation d'adresses dédiées est un atout supplémentaire. Chaque IP ProxyV4 est attribuée à un seul client pendant toute la durée de la location, de sorte que l'historique d'appels observé par une cible sur cette adresse vous appartient exclusivement.
Adapter le pool à la cible
- Catalogues publics et API à fort volume : IPv4 privées aux États-Unis ou à Singapour, au coût par IP le plus bas
- E-commerce vietnamien et portails locaux : IPv4 Vietnam pour accéder aux pages locales et aux tarifs en monnaie locale
- Cibles filtrant les ASN d'hébergement derrière un WAF : ISP statiques aux États-Unis ou au Vietnam, enregistrées auprès de FAI grand public, ce qui réduit généralement les défis Cloudflare
- Cibles nécessitant une nouvelle IP à chaque requête : les proxies rotatifs au Vietnam ne sont pas encore disponibles à la vente ; inscrivez-vous sur la liste d'attente de la page proxies rotatifs Vietnam
Paramètres de crawler pour préserver un pool statique
Chaque ligne utilise des identifiants standards, ainsi en Python le proxy s'intègre simplement via proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Distribuez les requêtes à tour de rôle (round-robin) sur la liste et appliquez un délai aléatoire (jitter), d'environ 2 à 5 secondes par IP et par domaine cible
- Réutilisez les connexions avec
requests.Session()ou un client avec gestion de pool pour éviter d'effectuer une négociation TLS à chaque requête - Dans Playwright et Puppeteer, bloquez le chargement des images, polices et médias que vous n'analysez pas
- Lorsqu'une IP reçoit une erreur HTTP 429 ou 503, mettez-la temporairement en pause et appliquez un temps d'attente au lieu de réessayer immédiatement
Étape par étape
- 1
Acheter un pool dimensionné pour vos cibles
Sélectionnez le volume par pays, par exemple des IPv4 aux États-Unis, au Japon ou au Royaume-Uni. Les paliers dégressifs s'appliquent automatiquement avec la quantité.
- 2
Convertir la liste en URL
Collez vos lignes
ip:port:user:passdans le convertisseur de format de proxy pour générer des chaîneshttp://user:pass@ip:portou un objet JSON. - 3
Intégrer le pool à votre framework
Consultez les guides de configuration pour Python Requests, Scrapy, Selenium ou Node.js Axios.
- 4
Mesurer avant la première exécution complète
Vérifiez les temps de réponse avec le test de vitesse de proxy et écartez toute ligne affichant une latence élevée vers votre cible.
Foire aux questions
Le trafic de scraping sur les proxies ProxyV4 est-il limité ou facturé au volume ?
Non. Les adresses IPv4 privées et ISP statiques sont facturées par IP pour la durée de location avec une bande passante illimitée.
Combien de pages par jour une IP statique peut-elle récupérer ?
Cela dépend de la limite de requêtes fixée par la cible. À raison de 1 à 3 requêtes par minute par domaine, une IP récupère environ 1 500 à 4 000 pages par jour sans déclencher d'alerte.
Vendez-vous des proxies rotatifs pour le scraping ?
Pas encore. Les proxies rotatifs au Vietnam sont uniquement disponibles sur liste d'attente. Pour le moment, un pool statique géré en round-robin remplit parfaitement ce rôle pour la plupart des crawls planifiés.
Comment convertir rapidement 50 proxies au format Scrapy ?
Collez-les dans le convertisseur de format de proxy. Il transforme directement les lignes ip:port:user:pass en URL ou en tableau JSON dans votre navigateur.
Créer un pool de scraping à coût mensuel fixe
IPv4 privées dans sept pays et ISP statiques aux États-Unis et au Vietnam, facturées par IP avec trafic illimité.
Voir les tarifs IPv4 États-Unis en direct