ProxyV4

Selenium WebDriver กับ Proxy แบบยืนยันตัวตน: วิธีไหนใช้งานได้จริง

· Updated:

การยืนยันตัวตนบน Selenium proxy จำเป็นต้องมีวิธีแก้ปัญหา เนื่องจากแฟล็ก --proxy-server=http://ip:port ของ ChromeDriver ไม่สามารถส่ง username และ password ได้ โดย Chrome จะตัด user:pass ที่แทรกมาออกและแสดงหน้าต่างล็อกอินที่ WebDriver กรอกข้อมูลไม่ได้ สำหรับ 2 วิธีแก้ปัญหาที่เชื่อถือได้คือ selenium-wire ซึ่งจัดการล็อกอิน ProxyV4 ใน Python และส่วนขยาย Chrome ขนาดเล็กที่ตอบกลับ onAuthRequired รองรับได้ทุกภาษาของ Selenium

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Private IPv4 (datacenter)
🇺🇸 สหรัฐอเมริกา
มีสินค้า
เริ่มต้น
US$1.10 / IP / เดือน
ส่วนลดตามจำนวนการสั่งซื้อ
  • 1 IPUS$1.85
  • 3+ IPUS$1.70
  • 10+ IPUS$1.60
  • 25+ IPUS$1.50
  • 50+ IPUS$1.40
  • 100+ IPUS$1.30
  • 200+ IPUS$1.20
  • 500+ IPUS$1.10
ซื้อ สหรัฐอเมริกา
Static residential ISP
🇺🇸 สหรัฐอเมริกา
มีสินค้า
เริ่มต้น
US$1.50 / IP / เดือน
ส่วนลดตามจำนวนการสั่งซื้อ
  • 1 IPUS$2.25
  • 3+ IPUS$2.10
  • 10+ IPUS$2.00
  • 25+ IPUS$1.90
  • 50+ IPUS$1.80
  • 100+ IPUS$1.70
  • 200+ IPUS$1.60
  • 500+ IPUS$1.50
ซื้อ สหรัฐอเมริกา
พร็อกซีตามแพลตฟอร์ม:Web Scraping & CrawlingSEO & SERP TrackingAmazon

เปรียบเทียบตัวเลือกต่างๆ

วิธีวิธีการกำหนดค่าเหมาะสำหรับ
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}วิธีที่เร็วที่สุดใน Python และสามารถเปลี่ยนพร็อกซีได้ในขณะที่เบราว์เซอร์เปิดอยู่
Auth extensionส่วนขยายแบบ zip ที่มี background script คอยจัดการ chrome.webRequest.onAuthRequiredใช้งานได้ทั้ง Java, C#, Python และ undetected-chromedriver
เปลี่ยนไปใช้ Playwrightbrowser.newContext({ proxy: { server, username, password } })โปรเจกต์ใหม่ มีระบบล็อกอินพร็อกซีในตัวโดยไม่ต้องใช้ส่วนขยาย

เกิดอะไรขึ้นเมื่อใช้ --proxy-server แบบปกติ

Chrome จะรับที่อยู่พร็อกซีจากคอมมานด์ไลน์ แต่จะไม่สนใจข้อมูลประจำตัวที่ระบุไว้ เมื่อพร็อกซีตอบกลับ 407 ทาง Chrome จะเปิดหน้าต่างล็อกอินของระบบขึ้นมา ซึ่งหน้าต่างนี้อยู่นอก DOM ของหน้าเว็บ ทำให้ find_element มองไม่เห็น และสคริปต์จะรอจนหมดเวลา (time out) ดังนั้นทุกวิธีที่ใช้งานได้จริงจึงต้องส่งข้อมูลประจำตัวผ่านช่องทางอื่นนอกเหนือจากแฟล็กนี้

โปรดทราบว่า selenium-wire ไม่ได้รับการดูแลรักษาอย่างต่อเนื่องแล้ว แม้จะยังใช้งานได้ดีกับการตั้งค่าหลายแบบ แต่สำหรับโปรเจกต์ระยะยาว การใช้วิธีส่วนขยายหรือ Playwright ถือเป็นตัวเลือกที่ปลอดภัยกว่า

การรัน Selenium ผ่านพร็อกซีให้มีประสิทธิภาพ

  • ตั้งค่า options.page_load_strategy = 'eager' เพื่อให้สคริปต์ทำงานต่อได้ทันทีที่ DOM พร้อม แทนที่จะต้องรอสคริปต์ภายนอกที่โหลดช้า
  • สำหรับการรันแบบ headless บน Chrome 109 ขึ้นไป ให้ใช้ --headless=new เพื่อให้ส่วนขยายต่างๆ รวมถึง auth extension ทำงานได้เหมือนในหน้าต่างปกติ
  • ปิดการโหลดรูปภาพในการตั้งค่า Chrome เมื่อต้องการดึงเฉพาะข้อความ เช่น ราคา หรือชื่อเรื่อง
  • ใส่ driver.quit() ไว้ในบล็อก try / finally เพื่อไม่ให้มีโปรเซสของ Chrome ค้างอยู่หากเกิดการแครช

ก่อนที่คุณจะขยายขนาดการใช้งาน

แต่ละเซสชันของ WebDriver คือเบราว์เซอร์เต็มรูปแบบ ดังนั้นควรกำหนด IP แยกให้กับแต่ละเซสชันหากเว็บไซต์เชื่อมโยงบัญชีด้วยที่อยู่ IP ไพรเวต IPv4 ของ ProxyV4 มีไว้ให้เช่าสำหรับลูกค้าคนเดียวและจะยังคงเป็นที่อยู่เดิมเมื่อคุณต่ออายุ ซึ่งช่วยให้บัญชีทดสอบที่ใช้งานต่อเนื่องยาวนานใช้ IP เดิมได้เสมอ ควรนำพร็อกซีใหม่ไปทดสอบผ่าน ตัวตรวจสอบพร็อกซี ก่อน เพื่อไม่ให้สายที่ใช้งานไม่ได้แสดงเป็นข้อผิดพลาด Selenium timeout ที่น่าสับสน

หากการรันยังคงเปิดหน้าเว็บจาก IP ของเซิร์ฟเวอร์เอง หรือหยุดทำงานเนื่องจากข้อผิดพลาด tunnel ส่วน Selenium ใน พร็อกซีใช้งานไม่ได้ ได้รวบรวมสาเหตุที่พบบ่อยไว้ตามลำดับ

ขั้นตอน

  1. 1

    ติดตั้ง selenium-wire

    ในสภาพแวดล้อมเสมือน (virtual environment) ของคุณ ให้รัน pip install selenium-wire

  2. 2

    ระบุรายละเอียดพร็อกซี

    สร้าง sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} จากคำสั่งซื้อ ProxyV4 ของคุณ

  3. 3

    เริ่มใช้งาน Chrome พร้อมตัวเลือกดังกล่าว

    สร้างไดรเวอร์ด้วย driver = webdriver.Chrome(seleniumwire_options=sw_options) โดยอิมพอร์ต webdriver จาก seleniumwire

  4. 4

    ตรวจสอบ IP ขาออก

    เรียกใช้ driver.get('https://proxyv4.com/api/my-ip') แล้วตรวจสอบว่าหน้าเว็บแสดงที่อยู่ของพร็อกซี

คำถามที่พบบ่อย

ทำไม --proxy-server=http://user:pass@ip:port จึงถูกละเลยใน ChromeOptions?

Chrome ถูกออกแบบมาให้ตัดข้อมูลประจำตัวออกจากค่า --proxy-server คุณสามารถส่งข้อมูลผ่าน selenium-wire, ส่วนขยาย onAuthRequired หรือเปลี่ยนไปใช้ Playwright ซึ่งรองรับ username และ password ได้โดยตรง

selenium-wire สามารถเปลี่ยนพร็อกซีโดยไม่ต้องรีสตาร์ทเบราว์เซอร์ได้หรือไม่?

ได้ เพียงกำหนดค่า dict ใหม่ เช่น driver.proxy = {'http': 'http://...', 'https': 'http://...'} คำขอถัดไปก็จะใช้งานพร็อกซีต้นทางตัวใหม่ทันที

auth extension ใช้งานได้ในโหมด headless ของ Chrome หรือไม่?

ใช้งานได้ เมื่อใช้ --headless=new เนื่องจากโหมด --headless แบบเดิมไม่ได้โหลดส่วนขยายในลักษณะเดียวกัน

Selenium เกิด timeout ทุกหน้าเมื่อใช้งานผ่านพร็อกซี ควรทำอย่างไรต่อ?

เรียกดู endpoint ของ IP ด้วย curl โดยใช้ข้อมูลประจำตัวเดียวกัน หาก curl ล้มเหลวเช่นกัน แสดงว่าปัญหาอยู่ที่คู่สายหรือพอร์ต โดย proxy timeout guide ได้ระบุสิ่งที่คุณควรตรวจสอบไว้แล้ว

แหล่งข้อมูล

IP คุณภาพ เสถียรสำหรับเซสชัน Selenium

IPv4 ส่วนตัวใน 7 ประเทศ และ static ISP ใน US และเวียดนาม พร้อม user และ password ใช้งานได้ไม่จำกัดปริมาณ และจำกัด 1 ลูกค้าต่อ 1 IP

ตรวจสอบราคา US ล่าสุด

Related articles

พร็อกซีตามแพลตฟอร์ม
พร็อกซีสำหรับ Web Scraping: พูล IP แบบคงที่ พร้อมทราฟฟิกไม่จำกัด
พร็อกซี Web Scraping สำหรับ Python, Scrapy, Playwright และ Selenium ด้วยพูล Private IPv4 และ Static ISP ไม่จำกัดแบนด์วิดท์ คิดราคาเหมาจ่ายต่อ IP คงที่
การตั้งค่าพร็อกซี
การยืนยันตัวตนพร็อกซี Playwright แยกหนึ่ง static IP ต่อ Context
ตั้งค่าพร็อกซี HTTP(S) แบบยืนยันตัวตนแยกตาม Browser Context ของ Playwright ใน Node.js หรือ Python พร้อมปรับเขตเวลาและภาษาให้ตรงกับ IP เพื่อยืนยัน IP ขาออก
การตั้งค่าพร็อกซี
ส่งคำขอ Python requests ผ่านพร็อกซีที่ต้องยืนยันตัวตนทีละขั้นตอน
ส่งคำขอ Python requests ผ่านพร็อกซี HTTP(S) ที่ต้องยืนยันตัวตน: สร้างดิกต์ proxies, เชื่อมต่อกับ Session, เข้ารหัสรหัสผ่านพิเศษ, วนใช้รายการ และตรวจสอบ IP
การตั้งค่าพร็อกซี
Puppeteer กับพร็อกซีแบบยืนยันตัวตน: ใช้ launch flag พร้อมล็อกอิน
วิธียืนยันตัวตนพร็อกซีใน Puppeteer เริ่มจากตัวอย่างโค้ด: --proxy-server ใส่แอดเดรส, page.authenticate() เพื่อล็อกอิน ตามด้วย SOCKS5 คอนเท็กซ์ และวิธีแก้ปัญหา
พร็อกซีตามแพลตฟอร์ม
พร็อกซีสำหรับเช็กอันดับ SEO: ดูหน้าผลการค้นหาแบบเดียวกับที่ผู้ใช้ในพื้นที่เห็น
พร็อกซีเช็กอันดับ SEO ด้วย private IPv4 ในสหรัฐฯ สหราชอาณาจักร เวียดนาม ญี่ปุ่น และอีก 4 ประเทศ เพื่อให้อันดับ local pack และโฆษณาตรงกับที่คนในพื้นที่เห็นจริง
พร็อกซีตามแพลตฟอร์ม
พร็อกซีสำหรับผู้ขาย Amazon ที่มอบที่อยู่ IP ถาวรให้แก่แต่ละบัญชี
พร็อกซี Amazon Seller สำหรับ Seller Central, KDP และ Merch: ใช้ US Static ISP หรือ UK/Japan Private IPv4 ต่อบัญชี เช่าคนเดียว คง IP เดิมเมื่อต่ออายุ
IPV4 · united states
พูลพร็อกซีส่วนตัว IPv4 สหรัฐฯ สำหรับการดึงข้อมูล ติดตามอันดับ และตรวจสอบโฆษณา
ซื้อพร็อกซี US private IPv4: IP datacenter สหรัฐฯ แบบคงที่ ใช้งานคนเดียวต่อ IP แบนด์วิดท์ไม่จำกัด เหมาะสำหรับ scraping, ติดตาม SERP และตรวจสอบโฆษณาในสหรัฐฯ
ISP · united states
พร็อกซี Static ISP สหรัฐฯ: IP เครือข่ายบ้านที่ไม่มีวันเปลี่ยน
บริการ US static ISP proxy บน IP จดทะเบียนเครือข่ายเน็ตบ้าน IP อเมริกันแบบคงที่ 1 IP ต่อหนึ่งบัญชี สำหรับผู้ขาย Amazon บัญชีโฆษณา และ Instagram