Requêtes Python via un proxy authentifié, étape par étape
Par l'équipe d'ingénierie de ProxyV4 · Updated:
Pour utiliser un proxy avec Python requests, transmettez un dictionnaire proxies dont les clés 'http' et 'https' pointent toutes deux vers http://user:pass@ip:port. Associez ce dictionnaire à une requests.Session() pour réutiliser la même connexion au proxy à chaque appel, ce qui est bien plus rapide que d'en ouvrir une nouvelle par requête. Ci-dessous : le dictionnaire, la session, les erreurs fréquentes et une commande simple pour vérifier l'IP de sortie ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 $US
- 3+ IP1,70 $US
- 10+ IP1,60 $US
- 25+ IP1,50 $US
- 50+ IP1,40 $US
- 100+ IP1,30 $US
- 200+ IP1,20 $US
- 500+ IP1,10 $US
- 1 IP1,85 $US
- 3+ IP1,70 $US
- 10+ IP1,60 $US
- 25+ IP1,50 $US
- 50+ IP1,40 $US
- 100+ IP1,30 $US
- 200+ IP1,20 $US
- 500+ IP1,10 $US
Comprendre le dictionnaire proxies
| Paramètre | Valeur | Raison |
|---|---|---|
Clé 'http' | 'http://user:pass@ip:port' | Utilisée pour les URL http:// en clair |
Clé 'https' | 'http://user:pass@ip:port' | Reste une URL de proxy http:// : urllib3 demande un tunnel CONNECT au proxy et y exécute TLS |
timeout | timeout=(5, 15) | 5 s pour la connexion, 15 s pour la lecture, évitant qu'une cible injoignable ne bloque un thread |
| Rotation | itertools.cycle(proxy_list) | Distribue tour à tour vos IP statiques |
Pourquoi une Session surpasse un simple requests.get()
Chaque appel direct à requests.get() crée un nouveau pool de connexions : la connexion TCP au proxy et la négociation TLS avec le site sont donc répétées à chaque fois. Une Session maintient ces connexions actives d'un appel à l'autre. Pour un script qui récupère des centaines de pages via une même IP, la différence sur le temps d'exécution total est flagrante.
Définissez s.proxies.update(proxies) une seule fois pour que chaque s.get() et s.post() passe par le proxy. À noter : si HTTP_PROXY ou HTTPS_PROXY sont définies dans votre environnement, requests peut les combiner avec la configuration de la session ; transmettez proxies= directement lors de l'appel pour vous assurer de la configuration utilisée.
Erreurs courantes et comment les interpréter
ProxyErroravec407 Proxy Authentication Required: le proxy est joignable, mais les identifiants dans votre URL ne correspondent pas à la commande. Consultez la page d'erreur 407- Les mots de passe contenant
@,:ou/corrompent l'URL ; encodez-les d'abord avecurllib.parse.quote(password, safe='') - Passer l'URL du proxy en
https://interrompt généralement la connexion ; conservezhttp://pour les deux clés, sauf si le port de votre proxy est spécifiquement un port TLS ConnectTimeoutsignale un problème avec l'IP ou le port, pas avec les identifiants ; testez l'accessibilité avec le testeur de port
Même principe avec httpx et aiohttp
Le format de l'URL reste identique. Avec httpx, utilisez httpx.Client(proxy='http://user:pass@ip:port') ; avec aiohttp, passez proxy= à session.get(url, proxy=...). Pour des crawls plus volumineux nécessitant planification et nouvelles tentatives, la gestion est généralement plus simple dans Scrapy.
Étape par étape
- 1
Construire l'URL du proxy
Réécrivez chaque ligne ProxyV4 au format
ip:port:user:passenhttp://user:pass@ip:port, ou convertissez la liste complète avec le convertisseur de format de proxy. - 2
Créer le dictionnaire
Déclarez
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
L'associer à une Session
Créez
s = requests.Session()et appelezs.proxies.update(proxies)afin de maintenir les connexions actives entre chaque requête. - 4
Afficher l'IP de sortie
Exécutez
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); l'IP retournée doit être celle du proxy.
Foire aux questions
Pourquoi l'entrée 'https' utilise-t-elle une URL http:// ?
Le protocole décrit la façon dont Python communique avec le proxy, et non avec le site web cible. urllib3 se connecte au proxy en HTTP simple, transmet CONNECT, puis établit une liaison TLS avec le site en https:// à travers ce tunnel : le trafic vers la page reste donc entièrement chiffré.
Comment répartir les requêtes sur 25 proxys statiques ?
Placez les 25 URL dans une liste, initialisez pool = itertools.cycle(PROXIES), puis pour chaque requête, prenez p = next(pool) et passez proxies={'http': p, 'https': p}. Conservez un délai raisonnable entre les requêtes par IP pour ne surcharger aucune adresse.
Le trafic généré par les scripts Python est-il limité ?
Non. Les forfaits d'IPv4 dédiées et d'ISP statiques ProxyV4 incluent une bande passante illimitée : vos scripts longue durée n'atteindront ainsi aucun plafond de données.
Sources
Un pool d'IP statiques pour vos scripts Python
IPv4 dédiées dans 7 pays et ISP statiques aux États-Unis et au Vietnam. Achetez une seule IP ou un lot : le tarif par IP diminue avec le volume.
Voir les tarifs actuels aux États-Unis