ProxyV4

Python requests μέσω authenticated proxy, βήμα προς βήμα

· Updated:

Για να χρησιμοποιήσετε proxy στο Python requests, ορίστε ένα λεξικό proxies όπου τα κλειδιά 'http' και 'https' οδηγούν και τα δύο σε http://user:pass@ip:port. Ορίστε αυτό το λεξικό σε ένα requests.Session() ώστε να επαναχρησιμοποιείται η ίδια σύνδεση proxy για κάθε κλήση, κάτι πολύ πιο γρήγορο από το άνοιγμα νέας ανά αίτημα. Παρακάτω: το λεξικό, το session, τα σφάλματα που πιθανόν να αντιμετωπίσετε και ένας έλεγχος μίας γραμμής για την IP εξόδου της ProxyV4.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Private IPv4 (datacenter)
🇺🇸 Ηνωμένες Πολιτείες
Σε απόθεμα
Από
1,10 $ / IP / μήνα
Εκπτώσεις ποσότητας
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Αγορά Ηνωμένες Πολιτείες
Private IPv4 (datacenter)
🇻🇳 Βιετνάμ
Σε απόθεμα
Από
1,10 $ / IP / μήνα
Εκπτώσεις ποσότητας
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Αγορά Βιετνάμ
Proxies ανά πλατφόρμα:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Επεξήγηση του λεξικού proxies

ΡύθμισηΤιμήΑιτιολογία
Κλειδί 'http''http://user:pass@ip:port'Χρησιμοποιείται για απλά http:// URL
Κλειδί 'https''http://user:pass@ip:port'Παραμένει http:// proxy URL: η urllib3 ζητά τούνελ CONNECT από τον proxy και εκτελεί TLS μέσα σε αυτό
timeouttimeout=(5, 15)5 δευτ. για σύνδεση, 15 δευτ. για ανάγνωση, ώστε ένας μη διαθέσιμος στόχος να μην παγώνει το thread
Εναλλαγήitertools.cycle(proxy_list)Μοιράζει τις στατικές σας IP διαδοχικά

Γιατί το Session υπερέχει του απλού requests.get()

Κάθε μεμονωμένη κλήση requests.get() δημιουργεί ένα νέο connection pool, με αποτέλεσμα η σύνδεση TCP στον proxy και το TLS handshake με τον ιστότοπο να επαναλαμβάνονται κάθε φορά. Ένα Session διατηρεί αυτές τις συνδέσεις ενεργές μεταξύ των κλήσεων. Για ένα script που αντλεί εκατοντάδες σελίδες μέσω μίας IP, αυτή η διαφορά είναι άμεσα ορατή στον συνολικό χρόνο εκτέλεσης.

Ορίστε το s.proxies.update(proxies) μία φορά και κάθε s.get() και s.post() θα διέρχεται από τον proxy. Κάτι που πρέπει να γνωρίζετε: εάν οι μεταβλητές HTTP_PROXY ή HTTPS_PROXY έχουν οριστεί στο περιβάλλον, το requests ενδέχεται να τις συνδυάσει με τις ρυθμίσεις του session. Περάστε το όρισμα proxies= απευθείας στην κλήση όταν θέλετε να είστε απόλυτα βέβαιοι για το ποιο χρησιμοποιείται.

Σφάλματα και πώς να τα ερμηνεύσετε

  • ProxyError με 407 Proxy Authentication Required: ο proxy είναι προσβάσιμος, αλλά τα στοιχεία σύνδεσης στο URL σας δεν ταιριάζουν με την παραγγελία. Δείτε τη σελίδα σφάλματος 407
  • Κωδικοί πρόσβασης που περιέχουν @, : ή / καταστρέφουν τη δομή του URL. Κωδικοποιήστε τους πρώτα με urllib.parse.quote(password, safe='')
  • Η αλλαγή του πρωτοκόλλου στο proxy URL σε https:// συνήθως διακόπτει τη σύνδεση. Διατηρήστε το http:// και για τα δύο κλειδιά, εκτός εάν η θύρα του proxy σας είναι ρητά θύρα TLS
  • Το ConnectTimeout υποδεικνύει πρόβλημα στην IP ή τη θύρα, όχι στα διαπιστευτήρια. Ελέγξτε τη δυνατότητα σύνδεσης με το εργαλείο ελέγχου θυρών

Το ίδιο μοτίβο σε httpx και aiohttp

Η μορφή του URL παραμένει ακριβώς η ίδια. Στο httpx, δημιουργήστε το httpx.Client(proxy='http://user:pass@ip:port'). Στο aiohttp, περάστε το proxy= στο session.get(url, proxy=...). Οι μεγαλύτερες διαδικασίες crawl με προγραμματισμό και επαναλήψεις είναι συνήθως ευκολότερες στο Scrapy.

Βήμα προς βήμα

  1. 1

    Δημιουργήστε το URL του proxy

    Μετατρέψτε κάθε γραμμή ip:port:user:pass της ProxyV4 σε http://user:pass@ip:port, ή μετατρέψτε ολόκληρη τη λίστα με τον μετατροπέα μορφής proxy.

  2. 2

    Δημιουργήστε το λεξικό

    Γράψτε proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Συνδέστε το σε ένα Session

    Δημιουργήστε το s = requests.Session() και εκτελέστε s.proxies.update(proxies) ώστε οι συνδέσεις να διατηρούνται ενεργές μεταξύ των αιτημάτων.

  4. 4

    Εμφανίστε την IP εξόδου

    Εκτελέστε print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()). Η IP στο αποτέλεσμα θα πρέπει να είναι αυτή του proxy.

Συχνές ερωτήσεις

Γιατί η καταχώριση 'https' έχει URL με http://;

Το σχήμα περιγράφει τον τρόπο με τον οποίο η Python επικοινωνεί με τον proxy, όχι με τον ιστότοπο. Η urllib3 συνδέεται στον proxy μέσω απλού HTTP, στέλνει την εντολή CONNECT και στη συνέχεια εκτελεί TLS με τον ιστότοπο https:// μέσω αυτού του τούνελ, οπότε η κίνηση παραμένει πλήρως κρυπτογραφημένη.

Πώς κατανέμω τα αιτήματα σε 25 στατικούς proxies;

Τοποθετήστε τα 25 URL σε μια λίστα, δημιουργήστε το pool = itertools.cycle(PROXIES) και για κάθε αίτημα πάρτε το p = next(pool) περνώντας proxies={'http': p, 'https': p}. Διατηρήστε μια λογική καθυστέρηση ανά IP ώστε να μην επιβαρύνεται υπερβολικά καμία μεμονωμένη διεύθυνση.

Καταμετράται η κίνηση δεδομένων από scripts Python;

Όχι. Τα πλάνα dedicated IPv4 και static ISP της ProxyV4 παρέχουν απεριόριστο bandwidth, επομένως τα scripts μακράς διάρκειας δεν αντιμετωπίζουν όρια δεδομένων.

Πηγές

Ένα pool στατικών IP για scripts Python

Private IPv4 σε 7 χώρες και static ISP σε ΗΠΑ και Βιετνάμ. Αγοράστε μία IP ή ένα πακέτο. Η τιμή ανά IP μειώνεται ανάλογα με την ποσότητα.

Δείτε ζωντανές τιμές ΗΠΑ

Related articles

Proxies ανά πλατφόρμα
Proxies για web scraping: σταθερό pool από IP με απεριόριστη κίνηση
Web scraping proxies για Python, Scrapy, Playwright και Selenium: pool private IPv4 και static ISP, απεριόριστο bandwidth, σταθερή χρέωση ανά IP.
Ρύθμιση proxy
Ταυτοποίηση proxy στο Playwright: μία στατική IP ανά context
Ορίστε ξεχωριστό HTTP(S) proxy με ταυτοποίηση ανά context στο Playwright (Node.js/Python), ρυθμίστε timezone και locale και επιβεβαιώστε την IP εξόδου.
Ρύθμιση proxy
Scrapy proxies: meta['proxy'], σειρά middleware και rotation
HTTP(S) proxies με auth στο Scrapy: ορίστε request.meta['proxy'], βάλτε το middleware πριν το HttpProxyMiddleware (750), αλλάξτε IPs και ρυθμίστε το crawl.
Δωρεάν εργαλεία
Μετατρέψτε μια λίστα proxy στη μορφή που απαιτεί το εργαλείο σας
Μαζική μετατροπή λιστών proxy στο πρόγραμμα περιήγησης μεταξύ ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, πινάκων JSON και FoxyProxy.
Proxies ανά πλατφόρμα
Proxies για SEO rank tracking: δείτε τη σελίδα αποτελεσμάτων που βλέπει ένας τοπικός χρήστης
SEO rank tracking proxies με private IPv4 σε ΗΠΑ, ΗΒ, Βιετνάμ, Ιαπωνία και 4 ακόμη αγορές: κατατάξεις, local packs και διαφημίσεις όπως τις βλέπουν οι ντόπιοι.
Proxies ανά πλατφόρμα
Amazon seller proxies που δίνουν σε κάθε λογαριασμό μια μόνιμη διεύθυνση
Amazon seller proxies για Seller Central, KDP και Merch: στατική ISP ΗΠΑ ή private IPv4 UK/Ιαπωνίας ανά λογαριασμό, μόνο για εσάς, σταθερή σε κάθε ανανέωση.
IPV4 · united states
Δεξαμενή ιδιωτικών IPv4 Proxy ΗΠΑ για εξαγωγή δεδομένων, παρακολούθηση κατάταξης και ελέγχους διαφημίσεων
Αγοράστε private IPv4 proxy ΗΠΑ: στατικές datacenter IPs, ένας χρήστης ανά IP, απεριόριστο bandwidth. Για scraping, SERP tracking και έλεγχο διαφημίσεων ΗΠΑ.
IPV4 · vietnam
Ιδιωτικό IPv4 Proxy Βιετνάμ: Μία σταθερή IP ανά λογαριασμό σε μεγάλες ποσότητες
Private IPv4 proxies Βιετνάμ: στατικές datacenter IP Βιετνάμ, ένας πελάτης ανά IP, τιμές όγκου. Για προφίλ seeding, δεύτερα καταστήματα Shopee και εργαλεία.