Proxies με ταυτοποίηση στο Node.js: Axios, native fetch και Got
Από την ομάδα μηχανικών της ProxyV4 · Updated:
Ο αξιόπιστος τρόπος χρήσης ενός Node.js proxy με το Axios είναι ένα HttpsProxyAgent που περνιέται ως httpsAgent, μαζί με το proxy: false. Η ενσωματωμένη ρύθμιση proxy: { host, port } του Axios δεν ανοίγει τούνελ HTTP CONNECT, επομένως αποτυγχάνει σε διευθύνσεις https://. Αντίθετα, το native fetch() χρειάζεται ένα ProxyAgent από το undici. Αυτή η σελίδα δείχνει κάθε client με ένα ProxyV4 http://user:pass@ip:port URL και πώς να επιβεβαιώσετε την IP εξόδου.
new HttpsProxyAgent('http://user:pass@ip:port')- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
Επιλέξτε το snippet για τον HTTP client σας
Και οι τρεις clients δέχονται το ίδιο proxy URL. Δημιουργήστε το από τη γραμμή ip:port:user:pass της παραγγελίας σας. Το scheme παραμένει http:// επειδή ο client επικοινωνεί μέσω HTTP με το proxy και δημιουργεί τούνελ TLS μέσω αυτού.
| Client | Εγκατάσταση | Σύνδεση proxy |
|---|---|---|
| Axios | npm i https-proxy-agent | axios.get(url, { httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port'), proxy: false }) |
Native fetch (Node 18+) | npm i undici | fetch(url, { dispatcher: new ProxyAgent('http://user:pass@ip:port') }) |
| Got | npm i hpagent | got(url, { agent: { https: new HttpsProxyAgent({ proxy: 'http://user:pass@ip:port' }) } }) |
Γιατί έχει σημασία το `proxy: false` στο Axios
Το Axios ελέγχει αυτόνομα τις μεταβλητές περιβάλλοντος HTTP_PROXY και HTTPS_PROXY. Εάν μία από αυτές έχει οριστεί στο μηχάνημα (σύνηθες σε CI runners και containers) και παράλληλα περάσετε έναν agent, οι δύο ρυθμίσεις συγκρούονται. Το proxy: false καθοδηγεί το Axios να αγνοήσει το περιβάλλον και την ενσωματωμένη λογική proxy, ώστε ο agent να είναι ο μοναδικός που καθορίζει πού κατευθύνεται το αίτημα.
Επαναχρησιμοποίηση agents σε πολλαπλά αιτήματα
- Δημιουργήστε έναν agent ανά proxy IP έξω από το request loop. Ο agent διατηρεί keep-alive sockets, ενώ ένας νέος agent ανά κλήση τα απορρίπτει
- Όταν χρησιμοποιείτε πολλαπλά proxies, διατηρήστε ένα
Mapαπό IP σε agent και επιλέξτε από αυτό, αντί να δημιουργείτε agents δυναμικά - Ορίστε ένα
timeoutσε κάθε κλήση (για παράδειγμαtimeout: 10000στο Axios), ώστε ένας μη ανταποκρινόμενος στόχος να μην μπλοκάρει έναν worker επ' αόριστον - Χρειάζεστε τη λίστα proxies ως δεδομένα; Ο μετατροπέας μορφής proxy μετατρέπει γραμμές
ip:port:user:passσε έναν πίνακα JSON που μπορείτε να κάνετεrequireήimport
Τι προσφέρει μια σταθερή IP σε μια εργασία Node.js
Μια αποκλειστική IPv4 της ProxyV4 ανήκει σε έναν μόνο πελάτη για ολόκληρη τη διάρκεια της ενοικίασης και διατηρεί την ίδια διεύθυνση κατά την ανανέωση, ώστε ένα allow-listed API, μια συνδεδεμένη συνεδρία ή ένα όριο rate-limit συνδεδεμένο με αυτήν την IP να παραμένει έγκυρο μεταξύ των deploys. Το bandwidth δεν καταμετράται, διατηρώντας τη λειτουργία των μακροχρόνιων workers προβλέψιμη. Για μοτίβα crawling και ρυθμό αιτημάτων, δείτε την περίπτωση χρήσης web scraping.
Βήμα προς βήμα
- 1
Εγκαταστήστε τον client και τον agent
Εκτελέστε
npm install axios https-proxy-agentστο project (ήnpm install undiciαν χρησιμοποιείτε nativefetch). - 2
Δημιουργήστε τον agent μία φορά
Ορίστε
const agent = new HttpsProxyAgent('http://user:pass@ip:port');με τις τιμές από την παραγγελία σας στη ProxyV4. - 3
Στείλτε ένα αίτημα μέσω αυτού
Καλέστε
const res = await axios.get('https://proxyv4.com/api/my-ip', { httpsAgent: agent, proxy: false, timeout: 10000 });. - 4
Συγκρίνετε την IP
Το
console.log(res.data)θα πρέπει να εκτυπώσει την IP του proxy. Αν εκτυπώσει τη διεύθυνση του ίδιου του διακομιστή σας, ο agent δεν εφαρμόστηκε.
Συχνές ερωτήσεις
Γιατί η επιλογή proxy: { host, port, auth } του Axios αποτυγχάνει σε ιστότοπους HTTPS;
Αυτή η επιλογή στέλνει ένα συνηθισμένο αίτημα HTTP στο proxy αντί να ζητήσει πρώτα ένα τούνελ HTTP CONNECT, με αποτέλεσμα το TLS προς τον στόχο να μην ρυθμίζεται ποτέ σωστά. Χρησιμοποιήστε httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port') και ορίστε proxy: false.
Πώς προσθέτω ένα proxy στο native fetch() στο Node 18, 20 ή 22;
Το fetch του Node βασίζεται στο undici, επομένως κάντε import το ProxyAgent από το undici και περάστε το { dispatcher: new ProxyAgent('http://user:pass@ip:port') } ως μέρος των επιλογών του fetch().
Ο κωδικός πρόσβασής μου περιέχει @ ή :. Θα υπάρξει πρόβλημα με το URL;
Είναι πιθανό, καθώς αυτοί οι χαρακτήρες έχουν ειδική σημασία μέσα σε ένα URL. Κωδικοποιήστε με percent-encoding τον κωδικό χρησιμοποιώντας encodeURIComponent(password) πριν δημιουργήσετε το http://user:pass@ip:port.
Το αίτημα επιστρέφει 407. Τι συμβαίνει;
Το proxy απάντησε αλλά απέρριψε τα στοιχεία σύνδεσης. Ελέγξτε ξανά το όνομα χρήστη και τον κωδικό πρόσβασης από την παραγγελία σας. Η σελίδα αντιμετώπισης προβλημάτων 407 παραθέτει τις συνήθεις αιτίες.
Πηγές
Στατικές διευθύνσεις IPv4 για τους Node.js workers σας
Private IPv4 σε 7 χώρες καθώς και στατικές ISP σε ΗΠΑ και Βιετνάμ, απεριόριστο bandwidth, ένας πελάτης ανά IP. Αγοράστε μία ή πολλές.
Δείτε ζωντανά τις τιμές για ΗΠΑ