พร็อกซีแบบยืนยันตัวตนใน Node.js: Axios, native fetch และ Got
โดยทีมวิศวกร ProxyV4 · Updated:
วิธีใช้พร็อกซี Node.js กับ Axios ที่เชื่อถือได้คือส่ง HttpsProxyAgent เป็น httpsAgent ร่วมกับ proxy: false ทั้งนี้การตั้งค่า proxy: { host, port } ในตัวของ Axios จะไม่เปิดทันเนล HTTP CONNECT จึงใช้งานกับ URL ที่เป็น https:// ไม่ได้ ส่วน native fetch() ต้องใช้ ProxyAgent ของ undici แทน หน้านี้แสดงวิธีตั้งค่าแต่ละไคลเอนต์ด้วย URL http://user:pass@ip:port ของ ProxyV4 พร้อมวิธีตรวจสอบ exit IP ขาออก
new HttpsProxyAgent('http://user:pass@ip:port')- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
เลือกโค้ดตัวอย่างสำหรับ HTTP client ของคุณ
ไคลเอนต์ทั้งสามตัวใช้ URL พร็อกซีรูปแบบเดียวกัน โดยสร้างจากบรรทัด ip:port:user:pass ในคำสั่งซื้อของคุณ และสคีมาจะยังคงเป็น http:// เนื่องจากไคลเอนต์สื่อสารกับพร็อกซีด้วย HTTP แล้วสร้างทันเนลส่ง TLS ผ่านไป
| ไคลเอนต์ | การติดตั้ง | การเชื่อมต่อพร็อกซี |
|---|---|---|
| Axios | npm i https-proxy-agent | axios.get(url, { httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port'), proxy: false }) |
Native fetch (Node 18+) | npm i undici | fetch(url, { dispatcher: new ProxyAgent('http://user:pass@ip:port') }) |
| Got | npm i hpagent | got(url, { agent: { https: new HttpsProxyAgent({ proxy: 'http://user:pass@ip:port' }) } }) |
ทำไม `proxy: false` จึงสำคัญใน Axios
Axios จะตรวจสอบตัวแปรสภาพแวดล้อม HTTP_PROXY และ HTTPS_PROXY โดยอัตโนมัติ หากมีการตั้งค่าตัวแปรเหล่านี้ไว้ในเครื่อง (พบบ่อยใน CI runner และคอนเทนเนอร์) และคุณยังส่ง agent เข้าไปด้วย การกำหนดค่าทั้งสองส่วนจะขัดแย้งกัน การระบุ proxy: false จะบอกให้ Axios ละเว้นค่าตัวแปรสภาพแวดล้อมและลอจิกพร็อกซีในตัว เพื่อให้ agent เป็นเพียงสิ่งเดียวที่กำหนดเส้นทางของคำขอ
การนำ agent กลับมาใช้ซ้ำกับหลายคำขอ
- สร้าง agent 1 ตัวต่อ 1 proxy IP ไว้นอกลูปส่งคำขอของคุณ เนื่องจาก agent จะเก็บซ็อกเก็ต keep-alive เอาไว้ หากสร้าง agent ใหม่ทุกครั้งที่เรียกใช้งาน ซ็อกเก็ตเหล่านั้นจะถูกทิ้งไป
- หากมีพร็อกซีหลายตัว ให้เก็บคู่ IP กับ agent ไว้ใน
Mapแล้วดึงมาใช้งาน แทนที่จะสร้าง agent ขึ้นมาใหม่ทุกครั้งแบบทันทีทันใด - กำหนด
timeoutให้กับการเรียกใช้งานทุกครั้ง (เช่นtimeout: 10000ใน Axios) เพื่อไม่ให้ปลายทางที่ค้างอยู่ดึง worker ไว้ตลอดไป - ต้องการรายการพร็อกซีในรูปแบบข้อมูลหรือไม่? เครื่องมือ proxy format converter สามารถแปลงบรรทัด
ip:port:user:passเป็นอาร์เรย์ JSON ที่คุณนำไปrequireหรือimportได้
ประโยชน์ที่ IP คงที่มอบให้กับงาน Node.js
IPv4 ส่วนตัวของ ProxyV4 จะเป็นของผู้ใช้รายเดียวตลอดระยะเวลาการเช่า และยังคงใช้ที่อยู่เดิมเมื่อคุณต่ออายุ ดังนั้น API ที่ทำ allowlist ไว้ เซสชันที่ล็อกอินค้างไว้ หรือโควตา rate-limit ที่ผูกกับ IP นั้นจะยังคงใช้งานได้ต่อเนื่องระหว่างการดีพลอย นอกจากนี้ยังไม่จำกัดปริมาณข้อมูล ช่วยให้ worker ที่รันต่อเนื่องยาวนานทำงานได้อย่างราบรื่น สำหรับรูปแบบการ crawl และการควบคุมจังหวะความเร็ว ดูได้ที่หน้า กรณีการใช้งาน web scraping
ขั้นตอน
- 1
ติดตั้งไคลเอนต์และ agent
รัน
npm install axios https-proxy-agentในโปรเจกต์ (หรือnpm install undiciหากคุณใช้ nativefetch) - 2
สร้าง agent ไว้ใช้งาน
สร้าง
const agent = new HttpsProxyAgent('http://user:pass@ip:port');ด้วยค่าจากคำสั่งซื้อ ProxyV4 ของคุณ - 3
ส่งคำขอผ่านพร็อกซี
เรียกใช้งาน
const res = await axios.get('https://proxyv4.com/api/my-ip', { httpsAgent: agent, proxy: false, timeout: 10000 }); - 4
ตรวจสอบและเปรียบเทียบ IP
console.log(res.data)ควรแสดงผลเป็น IP ของพร็อกซี หากแสดงเป็น IP ของเซิร์ฟเวอร์คุณเอง แสดงว่าไม่ได้นำ agent ไปใช้งาน
คำถามที่พบบ่อย
ทำไมการตั้งค่า proxy: { host, port, auth } ใน Axios จึงใช้กับเว็บไซต์ HTTPS ไม่ได้?
ตัวเลือกดังกล่าวจะส่งคำขอ HTTP แบบธรรมดาไปยังพร็อกซีแทนที่จะขอเปิดทันเนล HTTP CONNECT ก่อน ทำให้ไม่สามารถสร้างการเชื่อมต่อ TLS ไปยังปลายทางได้อย่างถูกต้อง แนะนำให้ใช้ httpsAgent: new HttpsProxyAgent('http://user:pass@ip:port') และกำหนดค่า proxy: false
จะเพิ่มพร็อกซีให้กับ native fetch() ใน Node 18, 20 หรือ 22 ได้อย่างไร?
fetch ของ Node ทำงานบน undici ดังนั้นให้นำเข้า ProxyAgent จาก undici แล้วส่ง { dispatcher: new ProxyAgent('http://user:pass@ip:port') } ไปเป็นส่วนหนึ่งของตัวเลือกใน fetch()
รหัสผ่านมีเครื่องหมาย @ หรือ : จะทำให้ URL เสียหรือไม่?
อาจทำให้เกิดปัญหาได้ เนื่องจากอักขระเหล่านั้นมีความหมายเฉพาะใน URL ให้ทำ percent-encode รหัสผ่านด้วย encodeURIComponent(password) ก่อนนำไปสร้าง http://user:pass@ip:port
คำขอส่งคืนรหัส 407 เกิดจากสาเหตุใด?
พร็อกซีตอบสนองแต่ปฏิเสธการเข้าสู่ระบบ ให้ตรวจสอบชื่อผู้ใช้และรหัสผ่านจากคำสั่งซื้อของคุณอีกครั้ง โดยหน้า คำแนะนำการแก้ปัญหา 407 ได้รวบรวมสาเหตุที่พบบ่อยไว้แล้ว
แหล่งข้อมูล
Static IPv4 สำหรับงาน Node.js worker ของคุณ
IPv4 ส่วนตัวใน 7 ประเทศ พร้อม static ISP ในสหรัฐฯ และเวียดนาม ไม่จำกัดแบนด์วิดท์ ผู้ใช้ 1 รายต่อ 1 IP เลือกซื้อได้ทั้งแบบเดี่ยวและจำนวนมาก
ตรวจสอบราคาล่าสุดในสหรัฐฯ