Selenium WebDriver กับ Proxy แบบยืนยันตัวตน: วิธีไหนใช้งานได้จริง
โดยทีมวิศวกร ProxyV4 · Updated:
การยืนยันตัวตนบน Selenium proxy จำเป็นต้องมีวิธีแก้ปัญหา เนื่องจากแฟล็ก --proxy-server=http://ip:port ของ ChromeDriver ไม่สามารถส่ง username และ password ได้ โดย Chrome จะตัด user:pass ที่แทรกมาออกและแสดงหน้าต่างล็อกอินที่ WebDriver กรอกข้อมูลไม่ได้ สำหรับ 2 วิธีแก้ปัญหาที่เชื่อถือได้คือ selenium-wire ซึ่งจัดการล็อกอิน ProxyV4 ใน Python และส่วนขยาย Chrome ขนาดเล็กที่ตอบกลับ onAuthRequired รองรับได้ทุกภาษาของ Selenium
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
- 1 IPUS$2.25
- 3+ IPUS$2.10
- 10+ IPUS$2.00
- 25+ IPUS$1.90
- 50+ IPUS$1.80
- 100+ IPUS$1.70
- 200+ IPUS$1.60
- 500+ IPUS$1.50
เปรียบเทียบตัวเลือกต่างๆ
| วิธี | วิธีการกำหนดค่า | เหมาะสำหรับ |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | วิธีที่เร็วที่สุดใน Python และสามารถเปลี่ยนพร็อกซีได้ในขณะที่เบราว์เซอร์เปิดอยู่ |
| Auth extension | ส่วนขยายแบบ zip ที่มี background script คอยจัดการ chrome.webRequest.onAuthRequired | ใช้งานได้ทั้ง Java, C#, Python และ undetected-chromedriver |
| เปลี่ยนไปใช้ Playwright | browser.newContext({ proxy: { server, username, password } }) | โปรเจกต์ใหม่ มีระบบล็อกอินพร็อกซีในตัวโดยไม่ต้องใช้ส่วนขยาย |
เกิดอะไรขึ้นเมื่อใช้ --proxy-server แบบปกติ
Chrome จะรับที่อยู่พร็อกซีจากคอมมานด์ไลน์ แต่จะไม่สนใจข้อมูลประจำตัวที่ระบุไว้ เมื่อพร็อกซีตอบกลับ 407 ทาง Chrome จะเปิดหน้าต่างล็อกอินของระบบขึ้นมา ซึ่งหน้าต่างนี้อยู่นอก DOM ของหน้าเว็บ ทำให้ find_element มองไม่เห็น และสคริปต์จะรอจนหมดเวลา (time out) ดังนั้นทุกวิธีที่ใช้งานได้จริงจึงต้องส่งข้อมูลประจำตัวผ่านช่องทางอื่นนอกเหนือจากแฟล็กนี้
โปรดทราบว่า selenium-wire ไม่ได้รับการดูแลรักษาอย่างต่อเนื่องแล้ว แม้จะยังใช้งานได้ดีกับการตั้งค่าหลายแบบ แต่สำหรับโปรเจกต์ระยะยาว การใช้วิธีส่วนขยายหรือ Playwright ถือเป็นตัวเลือกที่ปลอดภัยกว่า
การรัน Selenium ผ่านพร็อกซีให้มีประสิทธิภาพ
- ตั้งค่า
options.page_load_strategy = 'eager'เพื่อให้สคริปต์ทำงานต่อได้ทันทีที่ DOM พร้อม แทนที่จะต้องรอสคริปต์ภายนอกที่โหลดช้า - สำหรับการรันแบบ headless บน Chrome 109 ขึ้นไป ให้ใช้
--headless=newเพื่อให้ส่วนขยายต่างๆ รวมถึง auth extension ทำงานได้เหมือนในหน้าต่างปกติ - ปิดการโหลดรูปภาพในการตั้งค่า Chrome เมื่อต้องการดึงเฉพาะข้อความ เช่น ราคา หรือชื่อเรื่อง
- ใส่
driver.quit()ไว้ในบล็อกtry / finallyเพื่อไม่ให้มีโปรเซสของ Chrome ค้างอยู่หากเกิดการแครช
ก่อนที่คุณจะขยายขนาดการใช้งาน
แต่ละเซสชันของ WebDriver คือเบราว์เซอร์เต็มรูปแบบ ดังนั้นควรกำหนด IP แยกให้กับแต่ละเซสชันหากเว็บไซต์เชื่อมโยงบัญชีด้วยที่อยู่ IP ไพรเวต IPv4 ของ ProxyV4 มีไว้ให้เช่าสำหรับลูกค้าคนเดียวและจะยังคงเป็นที่อยู่เดิมเมื่อคุณต่ออายุ ซึ่งช่วยให้บัญชีทดสอบที่ใช้งานต่อเนื่องยาวนานใช้ IP เดิมได้เสมอ ควรนำพร็อกซีใหม่ไปทดสอบผ่าน ตัวตรวจสอบพร็อกซี ก่อน เพื่อไม่ให้สายที่ใช้งานไม่ได้แสดงเป็นข้อผิดพลาด Selenium timeout ที่น่าสับสน
หากการรันยังคงเปิดหน้าเว็บจาก IP ของเซิร์ฟเวอร์เอง หรือหยุดทำงานเนื่องจากข้อผิดพลาด tunnel ส่วน Selenium ใน พร็อกซีใช้งานไม่ได้ ได้รวบรวมสาเหตุที่พบบ่อยไว้ตามลำดับ
ขั้นตอน
- 1
ติดตั้ง selenium-wire
ในสภาพแวดล้อมเสมือน (virtual environment) ของคุณ ให้รัน
pip install selenium-wire - 2
ระบุรายละเอียดพร็อกซี
สร้าง
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}จากคำสั่งซื้อ ProxyV4 ของคุณ - 3
เริ่มใช้งาน Chrome พร้อมตัวเลือกดังกล่าว
สร้างไดรเวอร์ด้วย
driver = webdriver.Chrome(seleniumwire_options=sw_options)โดยอิมพอร์ตwebdriverจากseleniumwire - 4
ตรวจสอบ IP ขาออก
เรียกใช้
driver.get('https://proxyv4.com/api/my-ip')แล้วตรวจสอบว่าหน้าเว็บแสดงที่อยู่ของพร็อกซี
คำถามที่พบบ่อย
ทำไม --proxy-server=http://user:pass@ip:port จึงถูกละเลยใน ChromeOptions?
Chrome ถูกออกแบบมาให้ตัดข้อมูลประจำตัวออกจากค่า --proxy-server คุณสามารถส่งข้อมูลผ่าน selenium-wire, ส่วนขยาย onAuthRequired หรือเปลี่ยนไปใช้ Playwright ซึ่งรองรับ username และ password ได้โดยตรง
selenium-wire สามารถเปลี่ยนพร็อกซีโดยไม่ต้องรีสตาร์ทเบราว์เซอร์ได้หรือไม่?
ได้ เพียงกำหนดค่า dict ใหม่ เช่น driver.proxy = {'http': 'http://...', 'https': 'http://...'} คำขอถัดไปก็จะใช้งานพร็อกซีต้นทางตัวใหม่ทันที
auth extension ใช้งานได้ในโหมด headless ของ Chrome หรือไม่?
ใช้งานได้ เมื่อใช้ --headless=new เนื่องจากโหมด --headless แบบเดิมไม่ได้โหลดส่วนขยายในลักษณะเดียวกัน
Selenium เกิด timeout ทุกหน้าเมื่อใช้งานผ่านพร็อกซี ควรทำอย่างไรต่อ?
เรียกดู endpoint ของ IP ด้วย curl โดยใช้ข้อมูลประจำตัวเดียวกัน หาก curl ล้มเหลวเช่นกัน แสดงว่าปัญหาอยู่ที่คู่สายหรือพอร์ต โดย proxy timeout guide ได้ระบุสิ่งที่คุณควรตรวจสอบไว้แล้ว
แหล่งข้อมูล
IP คุณภาพ เสถียรสำหรับเซสชัน Selenium
IPv4 ส่วนตัวใน 7 ประเทศ และ static ISP ใน US และเวียดนาม พร้อม user และ password ใช้งานได้ไม่จำกัดปริมาณ และจำกัด 1 ลูกค้าต่อ 1 IP
ตรวจสอบราคา US ล่าสุด