Selenium WebDriver និង authenticated proxy៖ ដំណោះស្រាយដែលមានប្រសិទ្ធភាព
ដោយក្រុមវិស្វកម្ម ProxyV4 · Updated:
ការផ្ទៀងផ្ទាត់ Selenium proxy ទាមទារដំណោះស្រាយជំនួស ពីព្រោះ flag --proxy-server=http://ip:port របស់ ChromeDriver មិនអាចភ្ជាប់ username និង password បានឡើយ។ Chrome នឹងលុបចោល user:pass ក្នុងតំណ ហើយបង្ហាញប្រអប់ផ្ទាំងចូលគណនីដែល WebDriver មិនអាចបំពេញបាន។ ដំណោះស្រាយដែលអាចទុកចិត្តបានទាំងពីរគឺ selenium-wire ដែលគ្រប់គ្រងការចូលប្រើ ProxyV4 ក្នុង Python និង Chrome extension តូចមួយដែលឆ្លើយតបទៅនឹង onAuthRequired សម្រាប់គ្រប់ភាសា Selenium។
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1.85$
- 3+ IP1.70$
- 10+ IP1.60$
- 25+ IP1.50$
- 50+ IP1.40$
- 100+ IP1.30$
- 200+ IP1.20$
- 500+ IP1.10$
- 1 IP2.25$
- 3+ IP2.10$
- 10+ IP2.00$
- 25+ IP1.90$
- 50+ IP1.80$
- 100+ IP1.70$
- 200+ IP1.60$
- 500+ IP1.50$
ការប្រៀបធៀបជម្រើសនានា
| វិធីសាស្ត្រ | របៀបកំណត់រចនាសម្ព័ន្ធ | ភាពស័ក្តិសម |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | វិធីលឿនបំផុតក្នុង Python ហើយអាចផ្លាស់ប្តូរ proxy បានខណៈពេលកម្មវិធីរុករកកំពុងបើក |
| Auth extension | Extension ជាឯកសារ zip ដែលមាន background script គ្រប់គ្រងលើ chrome.webRequest.onAuthRequired | ស័ក្តិសមសម្រាប់ទាំង Java, C#, Python និង undetected-chromedriver |
| ប្តូរទៅប្រើ Playwright | browser.newContext({ proxy: { server, username, password } }) | គម្រោងថ្មីៗ ដោយមានមុខងារចូលប្រើ proxy ស្រាប់ មិនបាច់ប្រើ extension |
អ្វីដែលកើតឡើងជាមួយ --proxy-server ធម្មតា
Chrome ទទួលយកអាសយដ្ឋាន proxy ពី command line ប៉ុន្តែមិនអើពើចំពោះព័ត៌មានសម្ងាត់ (credentials) ទាំងឡាយដែលបានសរសេរនៅក្នុងនោះឡើយ។ នៅពេល proxy ឆ្លើយតប 407 នោះ Chrome នឹងបើកប្រអប់ផ្ទាំងចូលគណនីដើមរបស់វា។ ផ្ទាំងនោះនៅក្រៅ DOM នៃទំព័រ ដូច្នេះ find_element មិនអាចមើលឃើញវាបានទេ ហើយ script នឹងរង់ចាំរហូតដល់អស់ពេល (times out)។ ហេតុដូច្នេះហើយ គ្រប់វិធីសាស្ត្រដែលមានប្រសិទ្ធភាព សុទ្ធតែបញ្ជូនព័ត៌មានសម្ងាត់តាមមធ្យោបាយផ្សេងក្រៅពី flag នេះ។
សូមកត់សម្គាល់ថា selenium-wire មិនត្រូវបានគេបន្តអភិវឌ្ឍទៀតនោះទេ។ វានៅតែដំណើរការសម្រាប់រចនាសម្ព័ន្ធជាច្រើន ប៉ុន្តែសម្រាប់គម្រោងរយៈពេលវែង ការប្រើវិធី extension ឬ Playwright គឺជាជម្រើសដែលមានសុវត្ថិភាពជាង។
ការរក្សាប្រសិទ្ធភាពពេលដំណើរការ Selenium ជាមួយ proxy
- កំណត់
options.page_load_strategy = 'eager'ដើម្បីឱ្យ script បន្តដំណើរការភ្លាមៗនៅពេល DOM រួចរាល់ ជាជាងរង់ចាំ script ភាគីទីបីដែលដំណើរការយឺត - សម្រាប់ការដំណើរការ headless នៅលើ Chrome 109 ឬថ្មីជាងនេះ សូមប្រើ
--headless=newនោះ extension នានា រួមទាំង auth extension នឹងដំណើរការដូចនៅក្នុងផ្ទាំងធម្មតាដែរ - បិទការទាញយករូបភាពនៅក្នុងការកំណត់របស់ Chrome នៅពេលអ្នកត្រូវការតែទិន្នន័យអត្ថបទ ដូចជាតម្លៃ ឬចំណងជើង
- ដាក់
driver.quit()នៅក្នុងប្លុកtry / finallyដើម្បីកុំឱ្យដំណើរការ (processes) របស់ Chrome នៅសេសសល់ពេលមានការគាំង
មុនពេលអ្នកពង្រីកទំហំការងារ
វគ្គ WebDriver នីមួយៗគឺជា browser ពេញលេញមួយ ដូច្នេះសូមផ្តល់ IP ផ្ទាល់ខ្លួនដល់គ្រប់វគ្គ ប្រសិនបើគេហទំព័រភ្ជាប់គណនីតាមរយៈអាសយដ្ឋាន។ IPv4 ឯកជនរបស់ ProxyV4 ត្រូវបានជួលឱ្យអតិថិជនតែម្នាក់ និងរក្សាអាសយដ្ឋានដដែលនៅពេលអ្នកបន្តសុពលភាព ដែលជួយរក្សាគណនីតេស្តដែលដំណើរការយូរនៅលើ IP តែមួយ។ សូមដំណើរការ proxy ថ្មីតាមរយៈ ឧបករណ៍ពិនិត្យ proxy ជាមុនសិន ដើម្បីកុំឱ្យខ្សែតភ្ជាប់មិនល្អបង្ហាញឡើងជា Selenium timeout ដ៏គួរឱ្យភ័ន្តច្រឡំ។
ប្រសិនបើការដំណើរការនៅតែបើកទំព័រចេញពី IP ផ្ទាល់របស់ server ឬឈប់ត្រឹម tunnel error ផ្នែក Selenium នៃ proxy មិនដំណើរការ បានរាយបញ្ជីមូលហេតុទូទៅតាមលំដាប់លំដោយ។
មួយជំហានម្តងៗ
- 1
ដំឡើង selenium-wire
នៅក្នុង virtual environment របស់អ្នក សូមដំណើរការ
pip install selenium-wire។ - 2
កំណត់ព័ត៌មាន proxy
បង្កើត
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}ពីការបញ្ជាទិញ ProxyV4 របស់អ្នក។ - 3
ចាប់ផ្តើម Chrome ជាមួយជម្រើសទាំងនោះ
បង្កើត driver ដោយប្រើ
driver = webdriver.Chrome(seleniumwire_options=sw_options)ដោយ importwebdriverពីseleniumwire។ - 4
ពិនិត្យមើល IP ចេញក្រៅ
ហៅ
driver.get('https://proxyv4.com/api/my-ip')ហើយផ្ទៀងផ្ទាត់ថាទំព័រនោះបង្ហាញអាសយដ្ឋាន proxy។
សំណួរដែលសួរញឹកញាប់
ហេតុអ្វីបានជា --proxy-server=http://user:pass@ip:port ត្រូវបានមើលរំលងក្នុង ChromeOptions?
Chrome លុបព័ត៌មានសម្ងាត់ចេញពីតម្លៃ --proxy-server ដោយចេតនាតាមការរចនារបស់វា។ អ្នកអាចបញ្ជូនវាបានតាមរយៈ selenium-wire, extension onAuthRequired ឬប្តូរទៅប្រើ Playwright ដែលទទួលយក username និង password ដោយផ្ទាល់។
តើ selenium-wire អាចផ្លាស់ប្តូរ proxy ដោយមិនបាច់បិទបើកកម្មវិធីរុករកឡើងវិញបានទេ?
បាន។ គ្រាន់តែកំណត់ dict ថ្មីមួយគឺ driver.proxy = {'http': 'http://...', 'https': 'http://...'} នោះរាល់ request បន្ទាប់នឹងប្រើប្រាស់ upstream proxy ថ្មី។
តើ auth extension ដំណើរការក្នុង headless Chrome ដែរឬទេ?
ដំណើរការ ដោយប្រើ --headless=new។ ចំណែកឯមុខងារ --headless ចាស់ មិនបានដំណើរការ extension តាមរបៀបដូចគ្នានេះទេ។
Selenium ជួបបញ្ហា timeout លើគ្រប់ទំព័រពេលប្រើ proxy។ តើត្រូវធ្វើដូចម្តេចបន្ត?
ផ្ទុក endpoint ពិនិត្យ IP ជាមួយ cURL ដោយប្រើព័ត៌មានសម្ងាត់ដដែល។ ប្រសិនបើ cURL បរាជ័យដែរ បញ្ហាគឺមកពីខ្សែបណ្តាញ ឬ port ហើយ proxy timeout guide មានរាយបញ្ជីចំណុចដែលត្រូវពិនិត្យ។
ប្រភព
IP ថេរនិងមានស្ថិរភាពសម្រាប់ Selenium session
IPv4 ឯកជនក្នុង 7 ប្រទេស និង static ISP នៅសហរដ្ឋអាមេរិក និងវៀតណាម ជាមួយ user និង password ប្រើប្រាស់មិនកំណត់ទំហំទិន្នន័យ និងអតិថិជនម្នាក់ចំពោះ IP មួយ។
ពិនិត្យតម្លៃផ្ទាល់នៅសហរដ្ឋអាមេរិក