Puppeteer עם פרוקסי מאומת: דגל הפעלה לצד התחברות
מאת צוות ההנדסה של ProxyV4 · Updated:
אימות פרוקסי ב-Puppeteer מתבצע בשני שלבים: כתובת הפרוקסי מוגדרת בדגל ההפעלה --proxy-server=http://ip:port, ושם המשתמש והסיסמה מועברים אל await page.authenticate({ username, password }). דפדפן Chrome משיב לאתגר 407 של הפרוקסי עם פרטי הגישה הללו באמצעות DevTools Protocol, כך שסקריפט ה-Node.js שלכם יכול להשתמש ב-IP של ProxyV4 ללא תוסף דפדפן.
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IP1.85 $
- 3+ כתובות IP1.70 $
- 10+ כתובות IP1.60 $
- 25+ כתובות IP1.50 $
- 50+ כתובות IP1.40 $
- 100+ כתובות IP1.30 $
- 200+ כתובות IP1.20 $
- 500+ כתובות IP1.10 $
- 1 IP1.85 $
- 3+ כתובות IP1.70 $
- 10+ כתובות IP1.60 $
- 25+ כתובות IP1.50 $
- 50+ כתובות IP1.40 $
- 100+ כתובות IP1.30 $
- 200+ כתובות IP1.20 $
- 500+ כתובות IP1.10 $
אימות פרוקסי ב-Puppeteer: דוגמה מלאה
העבירו את כתובת הפרוקסי ב---proxy-server ואת פרטי ההתחברות דרך page.authenticate() לפני הניווט הראשון. הסקריפט הזה עושה בדיוק את זה ומדפיס את כתובת ה-IP היוצאת, כך שתוכלו לאמת את הפרוקסי בהרצה אחת:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();הפלט אמור להציג סטטוס 200 ואת ה-IP של הפרוקסי. סטטוס 407, שגיאת ERR_TUNNEL_CONNECTION_FAILED או קבלת כתובת ה-IP שלכם מעידים שאחד משני החלקים חסר; הדף פרוקסי לא עובד מפרט את הסיבות הנפוצות לפי כלי.
מדוע פרטי ההתחברות אינם חלק מהדגל
Chrome אינו מקבל פרטי התחברות בתוך --proxy-server. אם תכתבו --proxy-server=http://user:pass@ip:port, הדפדפן לא יוכל להשתמש בערך והבקשות ייכשלו, לרוב עם ERR_NO_SUPPORTED_PROXIES. השאירו את הדגל עבור כתובת ופורט בלבד, והעבירו את פרטי ההתחברות לעמוד.
| סדר | קריאה | מה זה עושה |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | מגדיר ל-Chrome באיזה פרוקסי להשתמש בכל בקשה |
| 2 | await page.authenticate({ username, password }) | מספק את פרטי ההתחברות כאשר הפרוקסי משיב ב-407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | טוען את היעד דרך הפרוקסי המאומת |
לשוניות, קונטקסטים ויותר מכתובת IP אחת
page.authenticate()מוגדר לפי עמוד: כל לשונית שנוצרת באמצעותbrowser.newPage()זקוקה לקריאה משלה לפני ה-goto()הראשון- דגל ההפעלה קובע פרוקסי יחיד לכל הדפדפן. כדי להשתמש ב-IP שונה לכל קונטקסט בתהליך Chrome יחיד, העבירו כל
http://user:pass@ip:portדרךanonymizeProxy()מחבילתproxy-chainוהעבירו את התוצאה כ-proxyServerאלbrowser.createBrowserContext({ proxyServer }) - ההגדרה פועלת באופן זהה גם עם
puppeteer-extraו-puppeteer-extra-plugin-stealth - סיימו תמיד עם
browser.close(), כולל בנתיבי שגיאה, אחרת תהליכי headless Chrome ייערמו על השרת
Puppeteer עם פרוקסי SOCKS5
Chrome יכול להשתמש בפרוקסי SOCKS5 (--proxy-server=socks5://IP:PORT), אך אינו יכול להתחבר אליו עם פרטי גישה, ו-page.authenticate() אינו חל על SOCKS. עם פרוקסי של ProxyV4 (שירות SOCKS5 מוצע מחוץ לווייטנאם; כתובות IP של וייטנאם הן ב-HTTP בלבד) יש לכם שתי אפשרויות נקיות: להעביר את ההזמנה למצב HTTP או מצב כפול ולהשתמש בדוגמה שלמעלה, או לתת ל-proxy-chain לפתוח מעביר מקומי ללא סיסמה שמתחבר עבורכם:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);התחברות באמצעות IP whitelist היא דרך שלישית: הוסיפו את כתובת ה-IP הציבורית של המכונה להזמנה, ו-Chrome יתחבר ללא פרטי גישה כלל.
בחירת כתובות IP עבור מערך Puppeteer
דפדפן headless Chrome מוריד עמודים שלמים, סקריפטים ותמונות, כך שתעבורה מוגבלת מצטברת במהירות. בפרוקסי IPv4 פרטי ו-ISP סטטי של ProxyV4 אין הגבלת תעבורה, כל IP משרת לקוח אחד בלבד, וחידוש שומר על אותה כתובת — דבר משמעותי כאשר סשן או רשימת מורשים קשורים אליה. השוו בין מוצר IPv4 פרטי לבין מוצר ISP סטטי אם אתר היעד מתייחס לטווחי datacenter בצורה שונה.
צעד אחר צעד
- 1
הפעלת Chrome עם כתובת הפרוקסי
הפעילו את הדפדפן באמצעות
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });, תוך שימוש ב-IP ובפורט מההזמנה שלכם ב-ProxyV4. - 2
אימות הכרטיסייה
פתחו דף באמצעות
const page = await browser.newPage();וקראו ל-await page.authenticate({ username: 'USER', password: 'PASS' });לפני כל ניווט. - 3
קריאת כתובת ה-IP היוצאת
נווטו באמצעות
await page.goto('https://proxyv4.com/api/my-ip');ובדקו שהתשובה מציגה את כתובת הפרוקסי. - 4
סגירת הדפדפן
סיימו עם
await browser.close();כדי שלא יישארו תהליכי Chrome פועלים ברקע.
שאלות נפוצות
מה גורם לשגיאה ERR_NO_SUPPORTED_PROXIES ב-Puppeteer?
פרטי התחברות בתוך הדגל, כמו ב---proxy-server=http://user:pass@ip:port. השתמשו ב---proxy-server=http://ip:port והעבירו את שם המשתמש והסיסמה דרך page.authenticate().
הלשונית הראשונה שלי עובדת, אך לשונית חדשה מקבלת שגיאת HTTP 407. למה?
האימות נשמר לפי עמוד. קראו ל-await newTab.authenticate({ username, password }) בכל עמוד שאתם פותחים לפני שהוא מנווט.
האם דפדפן Puppeteer יחיד יכול להשתמש בכמה פרוקסים במקביל?
לא באמצעות דגל ההפעלה לבדו. השתמשו ב-proxy-chain כדי להפוך כל פרוקסי עם אימות לכתובת מקומית והגדירו לכל קונטקסט בדפדפן proxyServer משלו, או הפעילו דפדפן נפרד עבור כל פרוקסי.
איך בודקים פרוקסים רבים לפני שמעבירים אותם ל-Puppeteer?
הדביקו אותם ב-בודק הפרוקסי; הוא מטפל בעד 100 בכל פעם ואינו שומר סיסמאות.
מדוע page.authenticate() לא עובד עם פרוקסי ה-SOCKS5 שלי?
Chrome אינו תומך בהתחברות עם שם משתמש וסיסמה עבור SOCKS5, כך שאין ל-Puppeteer במה להשיב. השתמשו במצב ה-HTTP של ההזמנה, במעביר מקומי מ-proxy-chain, או בהתחברות באמצעות IP whitelist.
מקורות
כתובות IP ללא הגבלת תעבורה עבור headless Chrome
כתובות IPv4 פרטיות ב-7 מדינות לצד ISP סטטי בארה"ב ובווייטנאם, מונפקות אוטומטית לאחר התשלום, לקוח יחיד לכל IP.
בדיקת מחירים עדכניים בארה"ב