Selenium WebDriver සහ authenticated proxies: සාර්ථක වන ක්රම
ProxyV4 ඉංජිනේරු කණ්ඩායම විසිනි · Updated:
ChromeDriver හි --proxy-server=http://ip:port flag එකට username සහ password රැගෙන යා නොහැකි බැවින් Selenium proxy authentication සඳහා විකල්ප ක්රමයක් අවශ්ය වේ; Chrome මඟින් inline user:pass ඉවත් කර WebDriver හට පිරවිය නොහැකි login dialog එකක් පෙන්වයි. මේ සඳහා වන විශ්වාසදායක විසඳුම් දෙක වන්නේ Python තුළ ProxyV4 login හසුරුවන selenium-wire සහ ඕනෑම Selenium භාෂාවක onAuthRequired සඳහා ප්රතිචාර දක්වන කුඩා Chrome extension එකකි.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
- 1 IPUS$2.25
- 3+ IPUS$2.10
- 10+ IPUS$2.00
- 25+ IPUS$1.90
- 50+ IPUS$1.80
- 100+ IPUS$1.70
- 200+ IPUS$1.60
- 500+ IPUS$1.50
විකල්පයන් සැසඳීම
| ක්රමය | වින්යාස කරන ආකාරය | වඩාත් ගැළපෙන්නේ |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Python හි වේගවත්ම ක්රමයයි; බ්රවුසරය විවෘතව පවතින අතරතුරද proxy එක වෙනස් කළ හැක |
| Auth extension | background script එක මඟින් chrome.webRequest.onAuthRequired හසුරුවන zipped extension එකක් | Java, C#, Python සහ undetected-chromedriver සඳහා එකසේ ගැළපේ |
| Playwright වෙත මාරු වීම | browser.newContext({ proxy: { server, username, password } }) | නව ව්යාපෘති සඳහා; proxy login සවි කර ඇති අතර, extension අවශ්ය නොවේ |
සාමාන්ය --proxy-server භාවිතයේදී සිදුවන දේ
Chrome command line එකෙන් proxy ලිපිනය ලබා ගත්තද, එහි ලියා ඇති credentials නොසලකා හරියි. Proxy එක 407 ප්රතිචාරයක් ලබා දෙන විට, Chrome ස්වදේශීය sign-in prompt එකක් විවෘත කරයි. එම prompt එක පිටුවේ DOM එකෙන් පිටත පිහිටන බැවින්, find_element මඟින් එය හඳුනාගත නොහැකි වන අතර script එක time out වන තෙක් රැඳී සිටියි. එබැවින් සාර්ථක වන සෑම ක්රමයකදීම credentials ලබා දෙන්නේ flag එකෙන් බැහැරව වෙනත් ක්රමයකිනි.
selenium-wire තවදුරටත් සක්රියව නඩත්තු නොවන බව සලකන්න. එය තවමත් බොහෝ සැකසුම් සඳහා ක්රියාත්මක වන නමුත්, දිගුකාලීන ව්යාපෘති සඳහා extension ක්රමය හෝ Playwright වඩාත් ආරක්ෂිත තේරීම වේ.
Proxy සහිත Selenium ධාවනයන් කාර්යක්ෂමව පවත්වා ගැනීම
- මන්දගාමී තෙවන පාර්ශවීය scripts සඳහා රැඳී නොසිට, DOM එක සූදානම් වූ වහාම script එක ඉදිරියට ගෙන යාමට
options.page_load_strategy = 'eager'සකසන්න - Chrome 109 හෝ ඊට පසු සංස්කරණවල headless ධාවනයන් සඳහා
--headless=newභාවිතා කරන්න; එහිදී auth extension එක ඇතුළු extensions සාමාන්ය window එකක මෙන් ක්රියා කරයි - මිල ගණන් හෝ මාතෘකා වැනි පෙළ පමණක් අවශ්ය වන විට Chrome preferences තුළ රූප පූරණය වීම අක්රිය කරන්න
- බිඳවැටීමකදී Chrome processes ඉතිරි නොවන පරිදි
driver.quit()කේතයtry / finallyකොටසක ඇතුළත් කරන්න
ඔබ පරිමාණය පුළුල් කිරීමට පෙර
සෑම WebDriver session එකක්ම සම්පූර්ණ බ්රවුසරයක් වන බැවින්, වෙබ් අඩවිය ලිපිනය අනුව ගිණුම් සම්බන්ධ කරන්නේ නම් සෑම session එකකටම වෙනම IP එකක් ලබා දෙන්න. ProxyV4 පුද්ගලික IPv4 එකක් එක් පාරිභෝගිකයෙකුට පමණක් කුලියට දෙන අතර, ඔබ එය අලුත් කරන විටත් එහි ලිපිනය නොවෙනස්ව තබා ගනී. එමගින් දීර්ඝ කාලයක් ධාවනය වන test ගිණුම් එකම IP එකක පවත්වා ගත හැකිය. දෝෂ සහිත සබඳතාවක් ව්යාකූල Selenium timeout එකක් ලෙස නොපෙන්වීම සඳහා, පළමුව නව ප්රොක්සි ප්රොක්සි පරීක්ෂකය හරහා ධාවනය කර බලන්න.
ධාවනය කිරීමකදී තවමත් පිටු විවෘත වන්නේ server එකේම IP එකෙන් නම් හෝ tunnel error එකක් නිසා නතර වේ නම්, ප්රොක්සි ක්රියා නොකිරීම හි Selenium කොටස සාමාන්ය හේතු පිළිවෙළින් දක්වයි.
පියවරෙන් පියවර
- 1
selenium-wire ස්ථාපනය කරන්න
ඔබගේ virtual environment එක තුළ,
pip install selenium-wireධාවනය කරන්න. - 2
Proxy එක විස්තර කරන්න
ඔබගේ ProxyV4 ඇණවුමෙන්
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}සාදන්න. - 3
එම විකල්ප සමඟ Chrome ආරම්භ කරන්න
seleniumwireවෙතින්webdriverimport කරමින්,driver = webdriver.Chrome(seleniumwire_options=sw_options)සමඟ driver එක සාදන්න. - 4
Exit IP එක පරීක්ෂා කරන්න
driver.get('https://proxyv4.com/api/my-ip')කැඳවා පිටුවේ proxy ලිපිනය පෙන්වන බව තහවුරු කරන්න.
නිතර අසන ප්රශ්න
ChromeOptions තුළ --proxy-server=http://user:pass@ip:port නොසලකා හරින්නේ ඇයි?
Chrome සැලසුම් කර ඇත්තේම --proxy-server අගයෙන් credentials ඉවත් කිරීමටයි. ඒවා selenium-wire හෝ onAuthRequired extension එකක් හරහා ලබා දෙන්න, නැතහොත් username සහ password සෘජුවම පිළිගන්නා Playwright වෙත මාරු වන්න.
බ්රවුසරය restart නොකර selenium-wire මඟින් proxy එක වෙනස් කළ හැකිද?
ඔව්. driver.proxy = {'http': 'http://...', 'https': 'http://...'} ලෙස නව dict එකක් ලබා දෙන්න, එවිට ඉදිරි requests නව upstream proxy එක භාවිතා කරනු ඇත.
Headless Chrome තුළ auth extension එක ක්රියා කරයිද?
ඔව්, --headless=new සමඟ ක්රියා කරයි. පැරණි --headless ආකාරය extensions පූරණය කළේ එම ආකාරයෙන් නොවේ.
Proxy හරහා සෑම පිටුවකදීම Selenium time out වේ. ඊළඟට කුමක් කළ යුතුද?
එම credentials භාවිතයෙන් cURL මඟින් IP endpoint එක load කරන්න. cURL ද අසාර්ථක වුවහොත්, ගැටලුව ඇත්තේ සම්බන්ධතාවයේ හෝ port එකේ ය; පරීක්ෂා කළ යුතු දෑ proxy timeout guide හි දක්වා ඇත.
මූලාශ්ර
Selenium sessions සඳහා ස්ථාවර IP
රටවල් 7 ක private IPv4 සහ US සහ Vietnam හි static ISP, user සහ password සහිතව, unmetered සහ එක් IP එකකට එක් පාරිභෝගිකයෙකු පමණි.
සජීවී US මිල ගණන් පරීක්ෂා කරන්න