Puppeteer กับพร็อกซีแบบยืนยันตัวตน: ใช้ launch flag พร้อมล็อกอิน
โดยทีมวิศวกร ProxyV4 · Updated:
การยืนยันตัวตนพร็อกซีใน Puppeteer ทำได้ 2 จุดหลัก: ระบุที่อยู่พร็อกซีใน launch flag --proxy-server=http://ip:port และระบุ username กับ password ใน await page.authenticate({ username, password }) โดย Chrome จะตอบกลับคำขอ 407 ของพร็อกซีด้วยข้อมูลยืนยันตัวตนเหล่านี้ผ่าน DevTools Protocol สคริปต์ Node.js ของคุณจึงใช้งาน IP ของ ProxyV4 ได้ทันทีโดยไม่ต้องใช้ส่วนขยายเบราว์เซอร์
--proxy-server=http://ip:port + page.authenticate({ username, password })- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
การยืนยันตัวตนพร็อกซีใน Puppeteer: ตัวอย่างโค้ดที่สมบูรณ์
ส่งแอดเดรสของพร็อกซีใน --proxy-server และส่งข้อมูลล็อกอินผ่าน page.authenticate() ก่อนการนำทางครั้งแรก สคริปต์นี้ทำงานตามขั้นตอนดังกล่าวและพิมพ์ IP ขาออก เพื่อให้คุณยืนยันการทำงานของพร็อกซีได้ในการรันครั้งเดียว:
// npm i puppeteer
const puppeteer = require('puppeteer');
const PROXY = { host: 'IP', port: 'PORT', username: 'USER', password: 'PASS' };
(async () => {
const browser = await puppeteer.launch({
args: [`--proxy-server=http://${PROXY.host}:${PROXY.port}`],
});
try {
const page = await browser.newPage();
await page.authenticate({ username: PROXY.username, password: PROXY.password });
const res = await page.goto('https://proxyv4.com/api/my-ip', { waitUntil: 'domcontentloaded' });
console.log(res.status(), await page.evaluate(() => document.body.innerText));
} finally {
await browser.close();
}
})();ผลลัพธ์ควรแสดงสถานะ 200 และ IP ของพร็อกซี หากขึ้น 407, ERR_TUNNEL_CONNECTION_FAILED หรือแสดง IP ของคุณเอง แสดงว่าขาดส่วนใดส่วนหนึ่งไป หน้า proxy not working ได้รวบรวมสาเหตุทั่วไปของแต่ละเครื่องมือไว้แล้ว
ทำไมข้อมูลล็อกอินจึงไม่อยู่ในแฟล็ก
Chrome ไม่รับข้อมูลล็อกอินภายใน --proxy-server หากคุณระบุ --proxy-server=http://user:pass@ip:port เบราว์เซอร์จะไม่สามารถใช้ค่านั้นได้และคำขอจะล้มเหลว โดยทั่วไปจะเกิดข้อผิดพลาด ERR_NO_SUPPORTED_PROXIES ให้ระบุในแฟล็กเฉพาะแอดเดรสและพอร์ต แล้วส่งข้อมูลล็อกอินให้กับหน้าเว็บแทน
| ลำดับ | คำสั่งที่เรียกใช้ | การทำงาน |
|---|---|---|
| 1 | puppeteer.launch({ args: ['--proxy-server=http://ip:port'] }) | กำหนดให้ Chrome ทราบว่าทุกคำขอต้องใช้พร็อกซีใด |
| 2 | await page.authenticate({ username, password }) | ส่งข้อมูลล็อกอินเมื่อพร็อกซีตอบกลับ 407 |
| 3 | await page.goto(url, { waitUntil: 'domcontentloaded' }) | โหลดหน้าปลายทางผ่านพร็อกซีที่ยืนยันตัวตนแล้ว |
แท็บ คอนเท็กซ์ และการใช้มากกว่าหนึ่ง IP
page.authenticate()จะถูกตั้งค่าแยกตามแต่ละหน้า: ทุกแท็บที่สร้างจากbrowser.newPage()ต้องเรียกใช้คำสั่งนี้แยกต่างหากก่อนเรียกgoto()ครั้งแรก- แฟล็กตอนเริ่มจะกำหนดพร็อกซีเพียงตัวเดียวสำหรับทั้งเบราว์เซอร์ หากต้องการใช้ IP ที่แตกต่างกันในแต่ละคอนเท็กซ์ภายในโพรเซส Chrome เดียวกัน ให้ส่ง
http://user:pass@ip:portแต่ละตัวผ่านanonymizeProxy()จากแพ็กเกจproxy-chainแล้วนำผลลัพธ์ไปส่งต่อเป็นproxyServerให้กับbrowser.createBrowserContext({ proxyServer }) - การตั้งค่านี้ใช้งานได้เหมือนกันกับ
puppeteer-extraและpuppeteer-extra-plugin-stealth - ปิดท้ายด้วย
browser.close()เสมอ รวมถึงในกระบวนการที่เกิดข้อผิดพลาด มิฉะนั้นโพรเซสของ headless Chrome จะสะสมค้างอยู่บนเซิร์ฟเวอร์
การใช้งาน Puppeteer ร่วมกับพร็อกซี SOCKS5
Chrome สามารถใช้พร็อกซี SOCKS5 (--proxy-server=socks5://IP:PORT) ได้ แต่ไม่สามารถล็อกอินได้ และ page.authenticate() ไม่รองรับกับ SOCKS สำหรับพร็อกซีของ ProxyV4 (มีบริการ SOCKS5 นอกเวียดนาม ส่วน IP เวียดนามรองรับเฉพาะ HTTP เท่านั้น) คุณมีสองทางเลือกที่เรียบร้อย: เปลี่ยนคำสั่งซื้อเป็นโหมด HTTP หรือโหมดคู่ แล้วใช้ตัวอย่างด้านบน หรือให้ proxy-chain เปิดตัวส่งต่อภายในเครื่องที่ไม่ต้องใช้รหัสผ่านซึ่งจะล็อกอินให้คุณแทน:
const proxyChain = require('proxy-chain');
const local = await proxyChain.anonymizeProxy('socks5://USER:PASS@IP:PORT');
const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
// ... when done:
await browser.close();
await proxyChain.closeAnonymizedProxy(local, true);การล็อกอินผ่าน IP whitelist เป็นอีกทางเลือกที่สาม: เพิ่ม IP สาธารณะของเครื่องลงในคำสั่งซื้อ แล้ว Chrome จะเชื่อมต่อได้โดยไม่ต้องใช้ข้อมูลล็อกอินใดๆ
การเลือก IP สำหรับชุดเครื่อง Puppeteer
Headless Chrome ดาวน์โหลดหน้าเว็บ สคริปต์ และรูปภาพทั้งหมด ปริมาณการใช้งานแบบคิดตามทราฟฟิกจึงเพิ่มขึ้นอย่างรวดเร็ว พร็อกซีส่วนตัวแบบ IPv4 และ static ISP ของ ProxyV4 ไม่มีการจำกัดแบนด์วิดท์ แต่ละ IP ให้บริการแก่ลูกค้าเพียงรายเดียว และการต่ออายุจะคงแอดเดรสเดิมไว้เสมอ ซึ่งสำคัญมากเมื่อเซสชันหรือ allow-list ผูกไว้กับ IP นั้น ให้เปรียบเทียบ private IPv4 product กับ static ISP product หากเว็บไซต์ปลายทางมีการจัดการกับช่วง IP ของดาต้าเซ็นเตอร์ที่แตกต่างกัน
ขั้นตอน
- 1
เปิดใช้งาน Chrome พร้อมที่อยู่พร็อกซี
เริ่มต้นเบราว์เซอร์ด้วย
const browser = await puppeteer.launch({ args: ['--proxy-server=http://ip:port'] });โดยใช้ IP และพอร์ตจากคำสั่งซื้อ ProxyV4 ของคุณ - 2
ยืนยันตัวตนในแท็บ
เปิดหน้าเว็บด้วย
const page = await browser.newPage();และเรียกใช้await page.authenticate({ username: 'USER', password: 'PASS' });ก่อนที่จะเปิดไปยังหน้าใดๆ - 3
ตรวจสอบ IP ขาออก
เปิดหน้าเว็บด้วย
await page.goto('https://proxyv4.com/api/my-ip');และตรวจสอบว่าการตอบกลับแสดงที่อยู่ของพร็อกซี - 4
ปิดการทำงานของเบราว์เซอร์
ปิดท้ายด้วย
await browser.close();เพื่อไม่ให้มีโพรเซส Chrome ค้างอยู่ในระบบ
คำถามที่พบบ่อย
อะไรเป็นสาเหตุของ ERR_NO_SUPPORTED_PROXIES ใน Puppeteer?
เกิดจากการใส่ข้อมูลล็อกอินไว้ในแฟล็ก เช่น --proxy-server=http://user:pass@ip:port ให้เปลี่ยนไปใช้ --proxy-server=http://ip:port แล้วส่ง username และ password ผ่าน page.authenticate() แทน
แท็บแรกใช้งานได้ แต่แท็บใหม่พบข้อผิดพลาด HTTP 407 เกิดจากอะไร?
การยืนยันตัวตนจะถูกบันทึกแยกตามแต่ละหน้า ให้เรียกใช้ await newTab.authenticate({ username, password }) ในทุกหน้าที่คุณเปิดก่อนที่หน้าเว็บจะนำทาง
เบราว์เซอร์ Puppeteer ตัวเดียวสามารถใช้พร็อกซีหลายตัวพร้อมกันได้หรือไม่?
ไม่สามารถทำได้ผ่านแฟล็กตอนเริ่มเพียงอย่างเดียว ให้ใช้ proxy-chain แปลงพร็อกซีแต่ละตัวที่มีการยืนยันตัวตนเป็นแอดเดรสภายในเครื่อง แล้วกำหนด proxyServer ให้แต่ละเบราว์เซอร์คอนเท็กซ์แยกกัน หรือเปิดเบราว์เซอร์หนึ่งตัวต่อพร็อกซีหนึ่งตัว
จะทดสอบพร็อกซีหลายตัวก่อนนำไปใช้กับ Puppeteer ได้อย่างไร?
วางพร็อกซีลงใน proxy checker โดยระบบรองรับได้สูงสุดครั้งละ 100 รายการและไม่มีการจัดเก็บรหัสผ่าน
ทำไม page.authenticate() ถึงใช้กับพร็อกซี SOCKS5 ไม่ได้?
Chrome ไม่รองรับการล็อกอินด้วยชื่อผู้ใช้และรหัสผ่านสำหรับ SOCKS5 จึงไม่มีการตอบกลับใดที่ Puppeteer จัดการได้ ให้เปลี่ยนไปใช้โหมด HTTP ของคำสั่งซื้อ, ตัวส่งต่อภายในเครื่องจาก proxy-chain หรือการล็อกอินผ่าน IP whitelist แทน
แหล่งข้อมูล
IP ไม่จำกัดปริมาณข้อมูลสำหรับ headless Chrome
Private IPv4 ใน 7 ประเทศ พร้อม static ISP ใน US และ Vietnam ส่งมอบทันทีโดยอัตโนมัติหลังชำระเงิน รองรับลูกค้าหนึ่งรายต่อหนึ่ง IP
ตรวจสอบราคาปัจจุบันใน US