Selenium WebDriver ແລະ proxy ທີ່ມີການຢືນຢັນຕົວຕົນ: ວິທີໃດໃຊ້ໄດ້ຜົນ
ໂດຍ ທີມງານວິສະວະກຳ ProxyV4 · Updated:
ການຢືນຢັນຕົວຕົນ proxy ໃນ Selenium ຈຳເປັນຕ້ອງມີວິທີແກ້ໄຂ, ເນື່ອງຈາກ flag --proxy-server=http://ip:port ຂອງ ChromeDriver ບໍ່ສາມາດໃສ່ຊື່ຜູ້ໃຊ້ ແລະ ລະຫັດຜ່ານໄດ້; Chrome ຈະຕັດ user:pass ໃນລິ້ງອອກ ແລະ ສະແດງໜ້າຕ່າງເຂົ້າສູ່ລະບົບທີ່ WebDriver ບໍ່ສາມາດປ້ອນຂໍ້ມູນໄດ້. ສອງວິທີແກ້ໄຂທີ່ເຊື່ອຖືໄດ້ຄື selenium-wire, ເຊິ່ງຈັດການການເຂົ້າສູ່ລະບົບ ProxyV4 ໃນ Python, ແລະ ສ່ວນຂະຫຍາຍ Chrome ຂະໜາດນ້ອຍທີ່ຕອບສະໜອງຕໍ່ onAuthRequired ໃນທຸກພາສາຂອງ Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IPUS$1,85
- 3+ IPUS$1,70
- 10+ IPUS$1,60
- 25+ IPUS$1,50
- 50+ IPUS$1,40
- 100+ IPUS$1,30
- 200+ IPUS$1,20
- 500+ IPUS$1,10
- 1 IPUS$2,25
- 3+ IPUS$2,10
- 10+ IPUS$2,00
- 25+ IPUS$1,90
- 50+ IPUS$1,80
- 100+ IPUS$1,70
- 200+ IPUS$1,60
- 500+ IPUS$1,50
ປຽບທຽບແຕ່ລະທາງເລືອກ
| ວິທີການ | ວິທີຕັ້ງຄ່າ | ເໝາະສຳລັບ |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | ວິທີທີ່ໄວທີ່ສຸດໃນ Python; ສາມາດປ່ຽນ proxy ໄດ້ໃນຂະນະທີ່ເປີດບຣາວເຊີຢູ່ |
| ສ່ວນຂະຫຍາຍ Auth | ສ່ວນຂະຫຍາຍແບບ zip ທີ່ມີ background script ຈັດການ chrome.webRequest.onAuthRequired | ໃຊ້ໄດ້ດີທັງ Java, C#, Python ແລະ undetected-chromedriver |
| ປ່ຽນໄປໃຊ້ Playwright | browser.newContext({ proxy: { server, username, password } }) | ໂຄງການໃໝ່; ມີລະບົບເຂົ້າສູ່ລະບົບ proxy ໃນຕົວ, ບໍ່ຕ້ອງໃຊ້ສ່ວນຂະຫຍາຍ |
ຈະເກີດຫຍັງຂຶ້ນເມື່ອໃຊ້ --proxy-server ທຳມະດາ
Chrome ຈະດຶງທີ່ຢູ່ proxy ຈາກ command line ແຕ່ຈະລະເລີຍຂໍ້ມູນການຢືນຢັນຕົວຕົນທີ່ລະບຸໄວ້. ເມື່ອ proxy ຕອບກັບດ້ວຍ 407, Chrome ຈະເປີດໜ້າຕ່າງເຂົ້າສູ່ລະບົບຂອງລະບົບຂຶ້ນມາ. ໜ້າຕ່າງດັ່ງກ່າວຢູ່ນອກ DOM ຂອງໜ້າເວັບ, ດັ່ງນັ້ນ find_element ຈຶ່ງມອງບໍ່ເຫັນ ແລະ script ຈະລໍຖ້າຈົນກວ່າຈະໝົດເວລາ. ດັ່ງນັ້ນ, ທຸກວິທີທີ່ໃຊ້ງານໄດ້ຈຶ່ງຕ້ອງສົ່ງຂໍ້ມູນການຢືນຢັນຕົວຕົນຜ່ານຊ່ອງທາງອື່ນທີ່ບໍ່ແມ່ນ flag.
ໂປຣດຮັບຊາບວ່າ selenium-wire ບໍ່ໄດ້ຮັບການພັດທະນາຕໍ່ເນື່ອງແລ້ວ. ມັນຍັງໃຊ້ງານໄດ້ສຳລັບຫຼາຍໆ ການຕັ້ງຄ່າ, ແຕ່ສຳລັບໂຄງການໄລຍະຍາວ, ການໃຊ້ສ່ວນຂະຫຍາຍ ຫຼື Playwright ຈະເປັນທາງເລືອກທີ່ປອດໄພກວ່າ.
ການເພີ່ມປະສິດທິພາບໃຫ້ Selenium ທີ່ໃຊ້ proxy
- ຕັ້ງຄ່າ
options.page_load_strategy = 'eager'ເພື່ອໃຫ້ script ເຮັດວຽກຕໍ່ທັນທີທີ່ DOM ພ້ອມ ໂດຍບໍ່ຕ້ອງລໍຖ້າ script ພາຍນອກທີ່ຊັກຊ້າ - ສຳລັບການຮັນແບບ headless ໃນ Chrome 109 ຫຼື ໃໝ່ກວ່າ ໃຫ້ໃຊ້
--headless=new; ສ່ວນຂະຫຍາຍຕ່າງໆ ລວມທັງສ່ວນຂະຫຍາຍ auth ຈະເຮັດວຽກຄືກັນກັບໜ້າຕ່າງປົກກະຕິ - ປິດການໂຫຼດຮູບພາບໃນ Chrome preferences ເມື່ອທ່ານຕ້ອງການພຽງແຕ່ຂໍ້ຄວາມ ເຊັ່ນ: ລາຄາ ຫຼື ຫົວຂໍ້
- ໃສ່
driver.quit()ໄວ້ໃນບລັອກtry / finallyເພື່ອບໍ່ໃຫ້ process ຂອງ Chrome ຄ້າງໄວ້ເມື່ອເກີດຂໍ້ຜິດພາດ
ກ່ອນທີ່ທ່ານຈະຂະຫຍາຍລະບົບ
ແຕ່ລະເຊດຊັນ WebDriver ແມ່ນບຣາວເຊີເຕັມຮູບແບບ, ດັ່ງນັ້ນຄວນກຳນົດ IP ສະເພາະໃຫ້ແຕ່ລະເຊດຊັນ ຖ້າຫາກເວັບໄຊເຊື່ອມໂຍງບັນຊີຕາມທີ່ຢູ່ IP. IPv4 ສ່ວນຕົວຂອງ ProxyV4 ແມ່ນໃຫ້ເຊົ່າແກ່ລູກຄ້າພຽງຄົນດຽວ ແລະ ຍັງຄົງຮັກສາທີ່ຢູ່ເດີມໄວ້ເມື່ອທ່ານຕໍ່ອາຍຸ, ເຊິ່ງຊ່ວຍໃຫ້ບັນຊີທົດສອບທີ່ໃຊ້ງານຍາວນານຢູ່ໃນ IP ດຽວກັນ. ກວດສອບພຣັອກຊີໃໝ່ຜ່ານ ເຄື່ອງມືກວດສອບພຣັອກຊີ ກ່ອນ ເພື່ອບໍ່ໃຫ້ສາຍເຊື່ອມຕໍ່ທີ່ບໍ່ດີສະແດງອອກມາເປັນ Selenium timeout ທີ່ສັບສົນ.
ຖ້າການທົດສອບຍັງຄົງເປີດໜ້າເວັບຈາກ IP ຂອງເຊີບເວີເອງ ຫຼື ຢຸດເຮັດວຽກຍ້ອນ tunnel error, ພາກສ່ວນ Selenium ຂອງ ພຣັອກຊີບໍ່ເຮັດວຽກ ໄດ້ລະບຸສາເຫດທົ່ວໄປຕາມລຳດັບ.
ຂັ້ນຕອນແຕ່ລະບາດກ້າວ
- 1
ຕິດຕັ້ງ selenium-wire
ໃນ virtual environment ຂອງທ່ານ, ໃຫ້ຮັນ
pip install selenium-wire. - 2
ກຳນົດຄ່າ proxy
ສ້າງ
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}ຈາກຄຳສັ່ງຊື້ ProxyV4 ຂອງທ່ານ. - 3
ເລີ່ມຕົ້ນ Chrome ພ້ອມດ້ວຍຕົວເລືອກເຫຼົ່ານັ້ນ
ສ້າງ driver ດ້ວຍ
driver = webdriver.Chrome(seleniumwire_options=sw_options), ໂດຍ importwebdriverຈາກseleniumwire. - 4
ກວດສອບ IP ປາຍທາງ
ເອີ້ນໃຊ້
driver.get('https://proxyv4.com/api/my-ip')ແລະ ຢືນຢັນວ່າໜ້າເວັບສະແດງທີ່ຢູ່ proxy.
ຄຳຖາມທີ່ຖາມເລື້ອຍໆ
ເປັນຫຍັງ --proxy-server=http://user:pass@ip:port ຈຶ່ງຖືກລະເລີຍໃນ ChromeOptions?
Chrome ຖືກອອກແບບມາໃຫ້ຕັດຂໍ້ມູນການຢືນຢັນຕົວຕົນອອກຈາກຄ່າ --proxy-server. ໃຫ້ສົ່ງຂໍ້ມູນດັ່ງກ່າວຜ່ານ selenium-wire, ສ່ວນຂະຫຍາຍ onAuthRequired, ຫຼື ປ່ຽນໄປໃຊ້ Playwright, ເຊິ່ງຮອງຮັບຊື່ຜູ້ໃຊ້ ແລະ ລະຫັດຜ່ານໂດຍກົງ.
selenium-wire ສາມາດປ່ຽນ proxy ໂດຍບໍ່ຕ້ອງ restart ບຣາວເຊີໄດ້ຫຼືບໍ່?
ໄດ້. ພຽງແຕ່ກຳນົດ dict ໃໝ່, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, ແລ້ວຄຳຂໍຕໍ່ໆ ໄປກໍຈະໃຊ້ upstream proxy ໃໝ່ທັນທີ.
ສ່ວນຂະຫຍາຍ auth ເຮັດວຽກໃນ headless Chrome ໄດ້ຫຼືບໍ່?
ໄດ້, ໂດຍໃຊ້ --headless=new. ໂໝດ --headless ແບບເກົ່າຈະບໍ່ໂຫຼດສ່ວນຂະຫຍາຍໃນລັກສະນະດຽວກັນ.
Selenium ໝົດເວລາ (times out) ໃນທຸກໆ ໜ້າເມື່ອຜ່ານ proxy. ຄວນເຮັດແນວໃດຕໍ່?
ໂຫຼດ IP endpoint ດ້ວຍ cURL ໂດຍໃຊ້ຂໍ້ມູນຢືນຢັນຕົວຕົນດຽວກັນ. ຖ້າ cURL ລົ້ມເຫຼວຄືກັນ, ສະແດງວ່າບັນຫາເກີດຈາກສັນຍານ ຫຼື port; ຄູ່ມື proxy timeout guide ໄດ້ລະບຸສິ່ງທີ່ຄວນກວດສອບໄວ້ແລ້ວ.
ແຫຼ່ງຂໍ້ມູນ
IP ທີ່ໝັ້ນຄົງສຳລັບ session ຂອງ Selenium
IPv4 ສ່ວນຕົວໃນ 7 ປະເທດ ແລະ static ISP ໃນ US ແລະ Vietnam, ພ້ອມ user ແລະ password, ບໍ່ຈຳກັດ bandwidth ແລະ ລູກຄ້າໜຶ່ງຄົນຕໍ່ໜຶ່ງ IP.
ເບິ່ງລາຄາ US ຫຼ້າສຸດ