Python requests μέσω authenticated proxy, βήμα προς βήμα
Από την ομάδα μηχανικών της ProxyV4 · Updated:
Για να χρησιμοποιήσετε proxy στο Python requests, ορίστε ένα λεξικό proxies όπου τα κλειδιά 'http' και 'https' οδηγούν και τα δύο σε http://user:pass@ip:port. Ορίστε αυτό το λεξικό σε ένα requests.Session() ώστε να επαναχρησιμοποιείται η ίδια σύνδεση proxy για κάθε κλήση, κάτι πολύ πιο γρήγορο από το άνοιγμα νέας ανά αίτημα. Παρακάτω: το λεξικό, το session, τα σφάλματα που πιθανόν να αντιμετωπίσετε και ένας έλεγχος μίας γραμμής για την IP εξόδου της ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
Επεξήγηση του λεξικού proxies
| Ρύθμιση | Τιμή | Αιτιολογία |
|---|---|---|
Κλειδί 'http' | 'http://user:pass@ip:port' | Χρησιμοποιείται για απλά http:// URL |
Κλειδί 'https' | 'http://user:pass@ip:port' | Παραμένει http:// proxy URL: η urllib3 ζητά τούνελ CONNECT από τον proxy και εκτελεί TLS μέσα σε αυτό |
timeout | timeout=(5, 15) | 5 δευτ. για σύνδεση, 15 δευτ. για ανάγνωση, ώστε ένας μη διαθέσιμος στόχος να μην παγώνει το thread |
| Εναλλαγή | itertools.cycle(proxy_list) | Μοιράζει τις στατικές σας IP διαδοχικά |
Γιατί το Session υπερέχει του απλού requests.get()
Κάθε μεμονωμένη κλήση requests.get() δημιουργεί ένα νέο connection pool, με αποτέλεσμα η σύνδεση TCP στον proxy και το TLS handshake με τον ιστότοπο να επαναλαμβάνονται κάθε φορά. Ένα Session διατηρεί αυτές τις συνδέσεις ενεργές μεταξύ των κλήσεων. Για ένα script που αντλεί εκατοντάδες σελίδες μέσω μίας IP, αυτή η διαφορά είναι άμεσα ορατή στον συνολικό χρόνο εκτέλεσης.
Ορίστε το s.proxies.update(proxies) μία φορά και κάθε s.get() και s.post() θα διέρχεται από τον proxy. Κάτι που πρέπει να γνωρίζετε: εάν οι μεταβλητές HTTP_PROXY ή HTTPS_PROXY έχουν οριστεί στο περιβάλλον, το requests ενδέχεται να τις συνδυάσει με τις ρυθμίσεις του session. Περάστε το όρισμα proxies= απευθείας στην κλήση όταν θέλετε να είστε απόλυτα βέβαιοι για το ποιο χρησιμοποιείται.
Σφάλματα και πώς να τα ερμηνεύσετε
ProxyErrorμε407 Proxy Authentication Required: ο proxy είναι προσβάσιμος, αλλά τα στοιχεία σύνδεσης στο URL σας δεν ταιριάζουν με την παραγγελία. Δείτε τη σελίδα σφάλματος 407- Κωδικοί πρόσβασης που περιέχουν
@,:ή/καταστρέφουν τη δομή του URL. Κωδικοποιήστε τους πρώτα μεurllib.parse.quote(password, safe='') - Η αλλαγή του πρωτοκόλλου στο proxy URL σε
https://συνήθως διακόπτει τη σύνδεση. Διατηρήστε τοhttp://και για τα δύο κλειδιά, εκτός εάν η θύρα του proxy σας είναι ρητά θύρα TLS - Το
ConnectTimeoutυποδεικνύει πρόβλημα στην IP ή τη θύρα, όχι στα διαπιστευτήρια. Ελέγξτε τη δυνατότητα σύνδεσης με το εργαλείο ελέγχου θυρών
Το ίδιο μοτίβο σε httpx και aiohttp
Η μορφή του URL παραμένει ακριβώς η ίδια. Στο httpx, δημιουργήστε το httpx.Client(proxy='http://user:pass@ip:port'). Στο aiohttp, περάστε το proxy= στο session.get(url, proxy=...). Οι μεγαλύτερες διαδικασίες crawl με προγραμματισμό και επαναλήψεις είναι συνήθως ευκολότερες στο Scrapy.
Βήμα προς βήμα
- 1
Δημιουργήστε το URL του proxy
Μετατρέψτε κάθε γραμμή
ip:port:user:passτης ProxyV4 σεhttp://user:pass@ip:port, ή μετατρέψτε ολόκληρη τη λίστα με τον μετατροπέα μορφής proxy. - 2
Δημιουργήστε το λεξικό
Γράψτε
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Συνδέστε το σε ένα Session
Δημιουργήστε το
s = requests.Session()και εκτελέστεs.proxies.update(proxies)ώστε οι συνδέσεις να διατηρούνται ενεργές μεταξύ των αιτημάτων. - 4
Εμφανίστε την IP εξόδου
Εκτελέστε
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()). Η IP στο αποτέλεσμα θα πρέπει να είναι αυτή του proxy.
Συχνές ερωτήσεις
Γιατί η καταχώριση 'https' έχει URL με http://;
Το σχήμα περιγράφει τον τρόπο με τον οποίο η Python επικοινωνεί με τον proxy, όχι με τον ιστότοπο. Η urllib3 συνδέεται στον proxy μέσω απλού HTTP, στέλνει την εντολή CONNECT και στη συνέχεια εκτελεί TLS με τον ιστότοπο https:// μέσω αυτού του τούνελ, οπότε η κίνηση παραμένει πλήρως κρυπτογραφημένη.
Πώς κατανέμω τα αιτήματα σε 25 στατικούς proxies;
Τοποθετήστε τα 25 URL σε μια λίστα, δημιουργήστε το pool = itertools.cycle(PROXIES) και για κάθε αίτημα πάρτε το p = next(pool) περνώντας proxies={'http': p, 'https': p}. Διατηρήστε μια λογική καθυστέρηση ανά IP ώστε να μην επιβαρύνεται υπερβολικά καμία μεμονωμένη διεύθυνση.
Καταμετράται η κίνηση δεδομένων από scripts Python;
Όχι. Τα πλάνα dedicated IPv4 και static ISP της ProxyV4 παρέχουν απεριόριστο bandwidth, επομένως τα scripts μακράς διάρκειας δεν αντιμετωπίζουν όρια δεδομένων.
Πηγές
Ένα pool στατικών IP για scripts Python
Private IPv4 σε 7 χώρες και static ISP σε ΗΠΑ και Βιετνάμ. Αγοράστε μία IP ή ένα πακέτο. Η τιμή ανά IP μειώνεται ανάλογα με την ποσότητα.
Δείτε ζωντανές τιμές ΗΠΑ