ProxyV4

Selenium WebDriver ແລະ proxy ທີ່ມີການຢືນຢັນຕົວຕົນ: ວິທີໃດໃຊ້ໄດ້ຜົນ

· Updated:

ການຢືນຢັນຕົວຕົນ proxy ໃນ Selenium ຈຳເປັນຕ້ອງມີວິທີແກ້ໄຂ, ເນື່ອງຈາກ flag --proxy-server=http://ip:port ຂອງ ChromeDriver ບໍ່ສາມາດໃສ່ຊື່ຜູ້ໃຊ້ ແລະ ລະຫັດຜ່ານໄດ້; Chrome ຈະຕັດ user:pass ໃນລິ້ງອອກ ແລະ ສະແດງໜ້າຕ່າງເຂົ້າສູ່ລະບົບທີ່ WebDriver ບໍ່ສາມາດປ້ອນຂໍ້ມູນໄດ້. ສອງວິທີແກ້ໄຂທີ່ເຊື່ອຖືໄດ້ຄື selenium-wire, ເຊິ່ງຈັດການການເຂົ້າສູ່ລະບົບ ProxyV4 ໃນ Python, ແລະ ສ່ວນຂະຫຍາຍ Chrome ຂະໜາດນ້ອຍທີ່ຕອບສະໜອງຕໍ່ onAuthRequired ໃນທຸກພາສາຂອງ Selenium.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Private IPv4 (datacenter)
🇺🇸 ສະຫະລັດອາເມຣິກາ
ມີໃນສະຕັອກ
ເລີ່ມຕົ້ນ
US$1,10 / IP / ເດືອນ
ສ່ວນຫຼຸດຕາມຈຳນວນ
  • 1 IPUS$1,85
  • 3+ IPUS$1,70
  • 10+ IPUS$1,60
  • 25+ IPUS$1,50
  • 50+ IPUS$1,40
  • 100+ IPUS$1,30
  • 200+ IPUS$1,20
  • 500+ IPUS$1,10
ຊື້ ສະຫະລັດອາເມຣິກາ
Static residential ISP
🇺🇸 ສະຫະລັດອາເມຣິກາ
ມີໃນສະຕັອກ
ເລີ່ມຕົ້ນ
US$1,50 / IP / ເດືອນ
ສ່ວນຫຼຸດຕາມຈຳນວນ
  • 1 IPUS$2,25
  • 3+ IPUS$2,10
  • 10+ IPUS$2,00
  • 25+ IPUS$1,90
  • 50+ IPUS$1,80
  • 100+ IPUS$1,70
  • 200+ IPUS$1,60
  • 500+ IPUS$1,50
ຊື້ ສະຫະລັດອາເມຣິກາ
ພຣັອກຊີຕາມແພລດຟອມ:Web Scraping & CrawlingSEO & SERP TrackingAmazon

ປຽບທຽບແຕ່ລະທາງເລືອກ

ວິທີການວິທີຕັ້ງຄ່າເໝາະສຳລັບ
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}ວິທີທີ່ໄວທີ່ສຸດໃນ Python; ສາມາດປ່ຽນ proxy ໄດ້ໃນຂະນະທີ່ເປີດບຣາວເຊີຢູ່
ສ່ວນຂະຫຍາຍ Authສ່ວນຂະຫຍາຍແບບ zip ທີ່ມີ background script ຈັດການ chrome.webRequest.onAuthRequiredໃຊ້ໄດ້ດີທັງ Java, C#, Python ແລະ undetected-chromedriver
ປ່ຽນໄປໃຊ້ Playwrightbrowser.newContext({ proxy: { server, username, password } })ໂຄງການໃໝ່; ມີລະບົບເຂົ້າສູ່ລະບົບ proxy ໃນຕົວ, ບໍ່ຕ້ອງໃຊ້ສ່ວນຂະຫຍາຍ

ຈະເກີດຫຍັງຂຶ້ນເມື່ອໃຊ້ --proxy-server ທຳມະດາ

Chrome ຈະດຶງທີ່ຢູ່ proxy ຈາກ command line ແຕ່ຈະລະເລີຍຂໍ້ມູນການຢືນຢັນຕົວຕົນທີ່ລະບຸໄວ້. ເມື່ອ proxy ຕອບກັບດ້ວຍ 407, Chrome ຈະເປີດໜ້າຕ່າງເຂົ້າສູ່ລະບົບຂອງລະບົບຂຶ້ນມາ. ໜ້າຕ່າງດັ່ງກ່າວຢູ່ນອກ DOM ຂອງໜ້າເວັບ, ດັ່ງນັ້ນ find_element ຈຶ່ງມອງບໍ່ເຫັນ ແລະ script ຈະລໍຖ້າຈົນກວ່າຈະໝົດເວລາ. ດັ່ງນັ້ນ, ທຸກວິທີທີ່ໃຊ້ງານໄດ້ຈຶ່ງຕ້ອງສົ່ງຂໍ້ມູນການຢືນຢັນຕົວຕົນຜ່ານຊ່ອງທາງອື່ນທີ່ບໍ່ແມ່ນ flag.

ໂປຣດຮັບຊາບວ່າ selenium-wire ບໍ່ໄດ້ຮັບການພັດທະນາຕໍ່ເນື່ອງແລ້ວ. ມັນຍັງໃຊ້ງານໄດ້ສຳລັບຫຼາຍໆ ການຕັ້ງຄ່າ, ແຕ່ສຳລັບໂຄງການໄລຍະຍາວ, ການໃຊ້ສ່ວນຂະຫຍາຍ ຫຼື Playwright ຈະເປັນທາງເລືອກທີ່ປອດໄພກວ່າ.

ການເພີ່ມປະສິດທິພາບໃຫ້ Selenium ທີ່ໃຊ້ proxy

  • ຕັ້ງຄ່າ options.page_load_strategy = 'eager' ເພື່ອໃຫ້ script ເຮັດວຽກຕໍ່ທັນທີທີ່ DOM ພ້ອມ ໂດຍບໍ່ຕ້ອງລໍຖ້າ script ພາຍນອກທີ່ຊັກຊ້າ
  • ສຳລັບການຮັນແບບ headless ໃນ Chrome 109 ຫຼື ໃໝ່ກວ່າ ໃຫ້ໃຊ້ --headless=new; ສ່ວນຂະຫຍາຍຕ່າງໆ ລວມທັງສ່ວນຂະຫຍາຍ auth ຈະເຮັດວຽກຄືກັນກັບໜ້າຕ່າງປົກກະຕິ
  • ປິດການໂຫຼດຮູບພາບໃນ Chrome preferences ເມື່ອທ່ານຕ້ອງການພຽງແຕ່ຂໍ້ຄວາມ ເຊັ່ນ: ລາຄາ ຫຼື ຫົວຂໍ້
  • ໃສ່ driver.quit() ໄວ້ໃນບລັອກ try / finally ເພື່ອບໍ່ໃຫ້ process ຂອງ Chrome ຄ້າງໄວ້ເມື່ອເກີດຂໍ້ຜິດພາດ

ກ່ອນທີ່ທ່ານຈະຂະຫຍາຍລະບົບ

ແຕ່ລະເຊດຊັນ WebDriver ແມ່ນບຣາວເຊີເຕັມຮູບແບບ, ດັ່ງນັ້ນຄວນກຳນົດ IP ສະເພາະໃຫ້ແຕ່ລະເຊດຊັນ ຖ້າຫາກເວັບໄຊເຊື່ອມໂຍງບັນຊີຕາມທີ່ຢູ່ IP. IPv4 ສ່ວນຕົວຂອງ ProxyV4 ແມ່ນໃຫ້ເຊົ່າແກ່ລູກຄ້າພຽງຄົນດຽວ ແລະ ຍັງຄົງຮັກສາທີ່ຢູ່ເດີມໄວ້ເມື່ອທ່ານຕໍ່ອາຍຸ, ເຊິ່ງຊ່ວຍໃຫ້ບັນຊີທົດສອບທີ່ໃຊ້ງານຍາວນານຢູ່ໃນ IP ດຽວກັນ. ກວດສອບພຣັອກຊີໃໝ່ຜ່ານ ເຄື່ອງມືກວດສອບພຣັອກຊີ ກ່ອນ ເພື່ອບໍ່ໃຫ້ສາຍເຊື່ອມຕໍ່ທີ່ບໍ່ດີສະແດງອອກມາເປັນ Selenium timeout ທີ່ສັບສົນ.

ຖ້າການທົດສອບຍັງຄົງເປີດໜ້າເວັບຈາກ IP ຂອງເຊີບເວີເອງ ຫຼື ຢຸດເຮັດວຽກຍ້ອນ tunnel error, ພາກສ່ວນ Selenium ຂອງ ພຣັອກຊີບໍ່ເຮັດວຽກ ໄດ້ລະບຸສາເຫດທົ່ວໄປຕາມລຳດັບ.

ຂັ້ນຕອນແຕ່ລະບາດກ້າວ

  1. 1

    ຕິດຕັ້ງ selenium-wire

    ໃນ virtual environment ຂອງທ່ານ, ໃຫ້ຮັນ pip install selenium-wire.

  2. 2

    ກຳນົດຄ່າ proxy

    ສ້າງ sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} ຈາກຄຳສັ່ງຊື້ ProxyV4 ຂອງທ່ານ.

  3. 3

    ເລີ່ມຕົ້ນ Chrome ພ້ອມດ້ວຍຕົວເລືອກເຫຼົ່ານັ້ນ

    ສ້າງ driver ດ້ວຍ driver = webdriver.Chrome(seleniumwire_options=sw_options), ໂດຍ import webdriver ຈາກ seleniumwire.

  4. 4

    ກວດສອບ IP ປາຍທາງ

    ເອີ້ນໃຊ້ driver.get('https://proxyv4.com/api/my-ip') ແລະ ຢືນຢັນວ່າໜ້າເວັບສະແດງທີ່ຢູ່ proxy.

ຄຳຖາມທີ່ຖາມເລື້ອຍໆ

ເປັນຫຍັງ --proxy-server=http://user:pass@ip:port ຈຶ່ງຖືກລະເລີຍໃນ ChromeOptions?

Chrome ຖືກອອກແບບມາໃຫ້ຕັດຂໍ້ມູນການຢືນຢັນຕົວຕົນອອກຈາກຄ່າ --proxy-server. ໃຫ້ສົ່ງຂໍ້ມູນດັ່ງກ່າວຜ່ານ selenium-wire, ສ່ວນຂະຫຍາຍ onAuthRequired, ຫຼື ປ່ຽນໄປໃຊ້ Playwright, ເຊິ່ງຮອງຮັບຊື່ຜູ້ໃຊ້ ແລະ ລະຫັດຜ່ານໂດຍກົງ.

selenium-wire ສາມາດປ່ຽນ proxy ໂດຍບໍ່ຕ້ອງ restart ບຣາວເຊີໄດ້ຫຼືບໍ່?

ໄດ້. ພຽງແຕ່ກຳນົດ dict ໃໝ່, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, ແລ້ວຄຳຂໍຕໍ່ໆ ໄປກໍຈະໃຊ້ upstream proxy ໃໝ່ທັນທີ.

ສ່ວນຂະຫຍາຍ auth ເຮັດວຽກໃນ headless Chrome ໄດ້ຫຼືບໍ່?

ໄດ້, ໂດຍໃຊ້ --headless=new. ໂໝດ --headless ແບບເກົ່າຈະບໍ່ໂຫຼດສ່ວນຂະຫຍາຍໃນລັກສະນະດຽວກັນ.

Selenium ໝົດເວລາ (times out) ໃນທຸກໆ ໜ້າເມື່ອຜ່ານ proxy. ຄວນເຮັດແນວໃດຕໍ່?

ໂຫຼດ IP endpoint ດ້ວຍ cURL ໂດຍໃຊ້ຂໍ້ມູນຢືນຢັນຕົວຕົນດຽວກັນ. ຖ້າ cURL ລົ້ມເຫຼວຄືກັນ, ສະແດງວ່າບັນຫາເກີດຈາກສັນຍານ ຫຼື port; ຄູ່ມື proxy timeout guide ໄດ້ລະບຸສິ່ງທີ່ຄວນກວດສອບໄວ້ແລ້ວ.

ແຫຼ່ງຂໍ້ມູນ

IP ທີ່ໝັ້ນຄົງສຳລັບ session ຂອງ Selenium

IPv4 ສ່ວນຕົວໃນ 7 ປະເທດ ແລະ static ISP ໃນ US ແລະ Vietnam, ພ້ອມ user ແລະ password, ບໍ່ຈຳກັດ bandwidth ແລະ ລູກຄ້າໜຶ່ງຄົນຕໍ່ໜຶ່ງ IP.

ເບິ່ງລາຄາ US ຫຼ້າສຸດ

Related articles

ພຣັອກຊີຕາມແພລດຟອມ
Proxy ສຳລັບ web scraping: ກຸ່ມ IP ແບບຄົງທີ່ ພ້ອມ bandwidth ບໍ່ຈຳກັດ
Proxy ສຳລັບ web scraping ໃນ Python, Scrapy, Playwright ແລະ Selenium: ກຸ່ມ IPv4 ສ່ວນຕົວ ແລະ ISP ແບບ static, ບໍ່ຈຳກັດ bandwidth, ຄິດລາຄາຄົງທີ່ຕໍ່ IP ດຽວ.
ການຕິດຕັ້ງພຣັອກຊີ
ການຢືນຢັນຕົວຕົນ Playwright proxy, ໜຶ່ງ static IP ຕໍ່ context
ກຳນົດ HTTP(S) proxy ທີ່ຢືນຢັນຕົວຕົນໃຫ້ແຕ່ລະ Playwright browser context ໃນ Node.js ຫຼື Python, ປັບເຂດເວລາ ແລະ locale ໃຫ້ກົງກັບ IP ແລະ ກວດສອບທີ່ຢູ່ IP ຂາອອກ.
ການຕິດຕັ້ງພຣັອກຊີ
Python requests ຜ່ານພຣັອກຊີທີ່ມີການຢືນຢັນຕົວຕົນ ແບບເທື່ອລະຂັ້ນຕອນ
ສົ່ງຄຳຮ້ອງຂໍ Python ຜ່ານພຣັອກຊີ HTTP(S) ທີ່ມີການຢືນຢັນຕົວຕົນ: ສ້າງດິກ proxies, ຕິດໃສ່ Session, ເຂົ້າລະຫັດລະຫັດຜ່ານພິເສດ, ໝູນວຽນລາຍການ ແລະ ກວດສອບ IP.
ການຕິດຕັ້ງພຣັອກຊີ
Puppeteer ກັບພຣັອກຊີທີ່ຕ້ອງຢືນຢັນຕົວຕົນ: launch flag ບວກກັບການເຂົ້າສູ່ລະບົບ
ການຢືນຢັນຕົວຕົນພຣັອກຊີ Puppeteer ພ້ອມຕົວຢ່າງ: ໃຊ້ --proxy-server ສຳລັບທີ່ຢູ່, page.authenticate() ສຳລັບເຂົ້າສູ່ລະບົບ, ຕາມດ້ວຍ SOCKS5, contexts ແລະ ວິທີແກ້ໄຂ.
ພຣັອກຊີຕາມແພລດຟອມ
Proxy ສຳລັບການຕິດຕາມອັນດັບ SEO: ເບິ່ງໜ້າຜົນການຄົ້ນຫາແບບທີ່ຜູ້ຄົ້ນຫາທ້ອງຖິ່ນເຫັນ
Proxy ຕິດຕາມອັນດັບ SEO ດ້ວຍ IPv4 ສ່ວນຕົວໃນ US, UK, ຫວຽດນາມ, ຍີ່ປຸ່ນ ແລະ ອີກ 4 ຕະຫຼາດ ເພື່ອໃຫ້ອັນດັບ, local pack ແລະ ໂຄສະນາຕົງກັບສິ່ງທີ່ຄົນທ້ອງຖິ່ນເຫັນຕົວຈິງ.
ພຣັອກຊີຕາມແພລດຟອມ
Proxy ຜູ້ຂາຍ Amazon ທີ່ມອບທີ່ຢູ່ຖາວອນໃຫ້ກັບແຕ່ລະບັນຊີ
Proxy ຜູ້ຂາຍ Amazon ສຳລັບ Seller Central, KDP ແລະ Merch: US static ISP ຫຼື Private IPv4 ອັງກິດ/ຍີ່ປຸ່ນຕໍ່ບັນຊີ, ເຊົ່າສະເພາະທ່ານ ແລະ ໃຊ້ IP ເດີມເມື່ອຕໍ່ອາຍຸ.
IPV4 · united states
ຄັງ Proxy IPv4 ສ່ວນຕົວ ສະຫະລັດ ສຳລັບການດຶງຂໍ້ມູນ, ຕິດຕາມອັນດັບ ແລະ ກວດສອບໂຄສະນາ
ຊື້ proxy IPv4 ສ່ວນຕົວສະຫະລັດ: IP datacenter ສະຫະລັດແບບ static, ລູກຄ້າ 1 ຄົນຕໍ່ IP, bandwidth ບໍ່ຈຳກັດ. ສ້າງມາສຳລັບດຶງຂໍ້ມູນ, ຕິດຕາມ SERP ແລະ ກວດໂຄສະນາສະຫະລັດ.
ISP · united states
Proxy ISP ຄົງທີ່ ສະຫະລັດ: IP ທີ່ລົງທະບຽນແບບທີ່ຢູ່ອາໄສ ທີ່ບໍ່ມີວັນປ່ຽນແປງ
US static ISP proxy ທີ່ໃຊ້ IP ຈົດທະບຽນກັບຜູ້ໃຫ້ບໍລິການເນັດບ້ານ. IP ອາເມລິກາຄົງທີ່ 1 ຕົວຕໍ່ບັນຊີ ສຳລັບຜູ້ຂາຍ Amazon, ບັນຊີໂຄສະນາ ແລະ Instagram ຢ່າງປອດໄພ.