Python-Requests über einen authentifizierten Proxy, Schritt für Schritt
Vom ProxyV4-Entwicklungsteam · Updated:
Um einen Proxy in Python-Requests zu nutzen, übergeben Sie ein proxies-Dict, dessen Schlüssel 'http' und 'https' beide auf http://user:pass@ip:port verweisen. Weisen Sie dieses Dict einer requests.Session() zu, wird dieselbe Verbindung zum Proxy für jeden Aufruf wiederverwendet – das ist schneller als eine neue Verbindung pro Anfrage zu öffnen. Unten finden Sie das Dict, die Session, typische Fehlermeldungen und einen Einzeiler zur Überprüfung der ProxyV4-Exit-IP.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 $
- 3+ IPs1,70 $
- 10+ IPs1,60 $
- 25+ IPs1,50 $
- 50+ IPs1,40 $
- 100+ IPs1,30 $
- 200+ IPs1,20 $
- 500+ IPs1,10 $
- 1 IP1,85 $
- 3+ IPs1,70 $
- 10+ IPs1,60 $
- 25+ IPs1,50 $
- 50+ IPs1,40 $
- 100+ IPs1,30 $
- 200+ IPs1,20 $
- 500+ IPs1,10 $
Das proxies-Dict erklärt
| Einstellung | Wert | Grund |
|---|---|---|
'http'-Schlüssel | 'http://user:pass@ip:port' | Wird für reine http://-URLs verwendet |
'https'-Schlüssel | 'http://user:pass@ip:port' | Weiterhin eine http://-Proxy-URL: urllib3 fordert beim Proxy einen CONNECT-Tunnel an und führt darin TLS aus |
timeout | timeout=(5, 15) | 5 s zum Verbinden, 15 s zum Lesen, damit ein nicht erreichbares Ziel den Thread nicht blockiert |
| Rotation | itertools.cycle(proxy_list) | Gibt Ihre statischen IPs der Reihe nach aus |
Warum eine Session besser ist als einfache requests.get()-Aufrufe
Jeder übergeordnete requests.get()-Aufruf erstellt einen neuen Connection-Pool, sodass die TCP-Verbindung zum Proxy und der TLS-Handshake mit der Website jedes Mal wiederholt werden. Eine Session hält diese Verbindungen zwischen den Aufrufen aufrecht. Bei einem Skript, das Hunderte von Seiten über eine IP abruft, macht sich dieser Unterschied in der Gesamtlaufzeit deutlich bemerkbar.
Setzen Sie s.proxies.update(proxies) einmalig, und jedes s.get() sowie s.post() läuft über den Proxy. Wichtig zu wissen: Wenn HTTP_PROXY oder HTTPS_PROXY in den Umgebungsvariablen gesetzt sind, kombiniert requests diese eventuell mit den Session-Einstellungen; übergeben Sie proxies= direkt beim jeweiligen Aufruf, wenn Sie absolut sicher sein wollen, welcher Proxy verwendet wird.
Fehler und wie man sie interpretiert
ProxyErrormit407 Proxy Authentication Required: Der Proxy ist erreichbar, aber die Zugangsdaten in Ihrer URL stimmen nicht mit der Bestellung überein. Siehe die 407-Fehlerseite- Passwörter, die
@,:oder/enthalten, beschädigen die URL; encodieren Sie diese zuvor miturllib.parse.quote(password, safe='') - Das Ändern der Proxy-URL zu
https://unterbricht meist die Verbindung; behalten Siehttp://für beide Schlüssel bei, es sei denn, Ihr Proxy-Port ist ausdrücklich ein TLS-Port ConnectTimeoutweist auf die IP oder den Port hin, nicht auf die Zugangsdaten; prüfen Sie die Erreichbarkeit mit dem Port-Checker
Gleiches Muster in httpx und aiohttp
Das URL-Format bleibt identisch. In httpx erstellen Sie httpx.Client(proxy='http://user:pass@ip:port'); in aiohttp übergeben Sie proxy= an session.get(url, proxy=...). Größere Crawls mit Zeitplanung und Retries lassen sich meist einfacher mit Scrapy umsetzen.
Schritt für Schritt
- 1
Proxy-URL zusammenbauen
Schreiben Sie jede ProxyV4-Zeile im Format
ip:port:user:passzuhttp://user:pass@ip:portum oder konvertieren Sie die gesamte Liste mit dem Proxy-Format-Konverter. - 2
Dict erstellen
Schreiben Sie
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
An eine Session anbinden
Erstellen Sie
s = requests.Session()und rufen Sies.proxies.update(proxies)auf, damit Verbindungen zwischen den Anfragen aufrechterhalten bleiben. - 4
Exit-IP ausgeben
Führen Sie
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())aus; die IP in der Ausgabe sollte die des Proxys sein.
Häufig gestellte Fragen
Warum ist der 'https'-Eintrag eine http://-URL?
Das Schema beschreibt, wie Python mit dem Proxy kommuniziert, nicht mit der Website. urllib3 verbindet sich über einfaches HTTP mit dem Proxy, sendet CONNECT und baut anschließend über diesen Tunnel TLS zur https://-Website auf, sodass der Datenverkehr zur Seite weiterhin verschlüsselt ist.
Wie verteile ich Anfragen auf 25 statische Proxys?
Fügen Sie die 25 URLs in eine Liste ein, erstellen Sie pool = itertools.cycle(PROXIES) und verwenden Sie für jede Anfrage p = next(pool) sowie proxies={'http': p, 'https': p}. Achten Sie auf eine sinnvolle Verzögerung pro IP, damit keine einzelne Adresse überlastet wird.
Wird der Traffic von Python-Skripten begrenzt?
Nein. Private IPv4- und statische ISP-Tarife von ProxyV4 bieten unbegrenzte Bandbreite, sodass lang laufende Skripte an kein Datenlimit stoßen.
Quellen
Ein statischer IP-Pool für Python-Skripte
Private IPv4 in 7 Ländern sowie statische ISP in den USA und Vietnam. Kaufen Sie einzelne IPs oder im Paket; der Preis pro IP sinkt mit der Menge.
Aktuelle US-Preise prüfen