Puppeteer με authenticated proxy: flag εκκίνησης και σύνδεση
Από την ομάδα μηχανικών της ProxyV4 · Updated:
Η ταυτοποίηση proxy στο Puppeteer γίνεται σε δύο σημεία: η διεύθυνση του proxy ορίζεται στο flag εκκίνησης --proxy-server=http://ip:port, ενώ το όνομα χρήστη και ο κωδικός πρόσβασης εισάγονται στο await page.authenticate({ username, password }). Ο Chrome απαντά στην απαίτηση 407 του proxy με αυτά τα διαπιστευτήρια μέσω του DevTools Protocol, ώστε το Node.js script σας να χρησιμοποιεί μια IP από την ProxyV4 χωρίς κάποια επέκταση περιηγητή.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
Ταυτοποίηση proxy στο Puppeteer: ένα πλήρες παράδειγμα
Περάστε τη διεύθυνση του proxy στο --proxy-server και τα στοιχεία σύνδεσης μέσω του page.authenticate() πριν από την πρώτη πλοήγηση. Αυτό το script κάνει ακριβώς αυτό και εκτυπώνει την IP εξόδου, ώστε να μπορείτε να επιβεβαιώσετε τον proxy με μία εκτέλεση:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();Το αποτέλεσμα θα πρέπει να εμφανίζει κατάσταση 200 και την IP του proxy. Ένα 407, ERR_TUNNEL_CONNECTION_FAILED ή η δική σας IP σημαίνει ότι λείπει ένα από τα δύο μέρη· το proxy not working παραθέτει τις συνήθεις αιτίες ανά εργαλείο.
Γιατί τα στοιχεία σύνδεσης δεν αποτελούν μέρος του flag
Το Chrome δεν δέχεται διαπιστευτήρια μέσα στο --proxy-server. Εάν γράψετε --proxy-server=http://user:pass@ip:port, το πρόγραμμα περιήγησης δεν μπορεί να χρησιμοποιήσει την τιμή και τα αιτήματα αποτυγχάνουν, συνήθως με ERR_NO_SUPPORTED_PROXIES. Περιορίστε το flag στη διεύθυνση και τη θύρα και δώστε τα στοιχεία σύνδεσης στη σελίδα.
| Σειρά | Κλήση | Τι κάνει |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | Ενημερώνει το Chrome ποιον proxy πρέπει να χρησιμοποιεί κάθε αίτημα |
| 2 | await page.authenticate({ username, password }) | Παρέχει τα διαπιστευτήρια όταν ο proxy απαντά με 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | Φορτώνει τον προορισμό μέσω του ταυτοποιημένου proxy |
Καρτέλες, contexts και περισσότερες από μία IP
- Το
page.authenticate()ορίζεται ανά σελίδα: κάθε καρτέλα από τοbrowser.newPage()χρειάζεται τη δική της κλήση πριν από το πρώτοgoto() - Το flag εκκίνησης ορίζει έναν proxy για ολόκληρο το πρόγραμμα περιήγησης. Για διαφορετική IP ανά context σε μία διεργασία του Chrome, περάστε κάθε
http://user:pass@ip:portαπό τοanonymizeProxy()του πακέτουproxy-chainκαι δώστε το αποτέλεσμα ωςproxyServerστοbrowser.createBrowserContext({ proxyServer }) - Η ρύθμιση λειτουργεί με τον ίδιο τρόπο με τα
puppeteer-extraκαιpuppeteer-extra-plugin-stealth - Ολοκληρώνετε πάντα με το
browser.close(), συμπεριλαμβανομένων των περιπτώσεων σφάλματος, διαφορετικά οι headless διεργασίες του Chrome θα συσσωρευτούν στον διακομιστή
Puppeteer με SOCKS5 proxy
Το Chrome μπορεί να χρησιμοποιήσει έναν SOCKS5 proxy (--proxy-server=socks5://IP:PORT) αλλά δεν μπορεί να συνδεθεί σε αυτόν, και το page.authenticate() δεν ισχύει για SOCKS. Με έναν proxy ProxyV4 (το SOCKS5 προσφέρεται εκτός Βιετνάμ· οι IP του Βιετνάμ είναι μόνο HTTP) έχετε δύο καθαρές επιλογές: αλλάξτε την παραγγελία σε λειτουργία HTTP ή dual και χρησιμοποιήστε το παραπάνω παράδειγμα, ή αφήστε το proxy-chain να ανοίξει έναν τοπικό προωθητή χωρίς κωδικό πρόσβασης που συνδέεται για εσάς:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);Η σύνδεση μέσω IP whitelist είναι ένας τρίτος τρόπος: προσθέστε τη δημόσια IP του μηχανήματος στην παραγγελία και το Chrome συνδέεται χωρίς διαπιστευτήρια.
Επιλογή IP για έναν στόλο Puppeteer
Το headless Chrome κάνει λήψη ολόκληρων σελίδων, scripts και εικόνων, επομένως η ογκοχρεούμενη κίνηση συσσωρεύεται γρήγορα. Οι private IPv4 και στατικοί ISP proxies της ProxyV4 δεν έχουν μέτρηση εύρους ζώνης, κάθε IP εξυπηρετεί έναν μόνο πελάτη και η ανανέωση διατηρεί την ίδια διεύθυνση, κάτι που έχει σημασία όταν ένα session ή μια allow-list συνδέεται με αυτήν. Συγκρίνετε το προϊόν private IPv4 με το προϊόν static ISP εάν ο ιστότοπος προορισμού αντιμετωπίζει διαφορετικά τα εύρη datacenter.
Βήμα προς βήμα
- 1
Εκκινήστε τον Chrome με τη διεύθυνση του proxy
Ξεκινήστε το πρόγραμμα περιήγησης με
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, χρησιμοποιώντας την IP και τη θύρα από την παραγγελία σας στην ProxyV4. - 2
Ταυτοποιήστε την καρτέλα
Ανοίξτε μια σελίδα με
const page = await browser.newPage();και καλέστε τοawait page.authenticate({ username: 'USER', password: 'PASS' });πριν από οποιαδήποτε πλοήγηση. - 3
Ελέγξτε την IP εξόδου
Πλοηγηθείτε με
await page.goto('https://proxyv4.com/api/my-ip');και βεβαιωθείτε ότι η απάντηση εμφανίζει τη διεύθυνση του proxy. - 4
Κλείστε το πρόγραμμα περιήγησης
Ολοκληρώστε με
await browser.close();ώστε να μην παραμείνει καμία διεργασία του Chrome σε εκτέλεση.
Συχνές ερωτήσεις
Τι προκαλεί το ERR_NO_SUPPORTED_PROXIES στο Puppeteer;
Τα στοιχεία σύνδεσης μέσα στο flag, όπως στο --proxy-server=http://user:pass@ip:port. Χρησιμοποιήστε το --proxy-server=http://ip:port και περάστε το όνομα χρήστη και τον κωδικό πρόσβασης μέσω του page.authenticate().
Η πρώτη καρτέλα λειτουργεί, αλλά μια νέα καρτέλα λαμβάνει HTTP 407. Γιατί;
Η ταυτοποίηση αποθηκεύεται ανά σελίδα. Καλέστε το await newTab.authenticate({ username, password }) σε κάθε σελίδα που ανοίγετε πριν από την πλοήγηση.
Μπορεί ένα πρόγραμμα περιήγησης Puppeteer να χρησιμοποιεί πολλούς proxy ταυτόχρονα;
Όχι μόνο μέσω του flag εκκίνησης. Χρησιμοποιήστε το proxy-chain για να μετατρέψετε κάθε proxy με ταυτοποίηση σε τοπική διεύθυνση και δώστε σε κάθε browser context το δικό του proxyServer, ή εκκινήστε ένα πρόγραμμα περιήγησης ανά proxy.
Πώς μπορώ να ελέγξω πολλούς proxy πριν τους δώσω στο Puppeteer;
Επικολλήστε τους στο proxy checker· διαχειρίζεται έως και 100 κάθε φορά και δεν αποθηκεύει κωδικούς πρόσβασης.
Γιατί το page.authenticate() δεν λειτουργεί με το SOCKS5 proxy μου;
Το Chrome δεν υποστηρίζει σύνδεση με όνομα χρήστη και κωδικό πρόσβασης για SOCKS5, επομένως το Puppeteer δεν μπορεί να απαντήσει σε κάτι. Χρησιμοποιήστε τη λειτουργία HTTP της παραγγελίας, έναν τοπικό προωθητή από το proxy-chain ή σύνδεση μέσω IP whitelist.
Πηγές
Απεριόριστες IP για headless Chrome
Private IPv4 σε 7 χώρες και static ISP σε ΗΠΑ και Βιετνάμ, με αυτόματη έκδοση μετά την πληρωμή, ένας πελάτης ανά IP.
Δείτε τις τρέχουσες τιμές για ΗΠΑ