Selenium WebDriver နှင့် Proxy အထောက်အထားစိစစ်ခြင်း- အလုပ်ဖြစ်သောနည်းလမ်းများ
ProxyV4 အင်ဂျင်နီယာအဖွဲ့မှ · Updated:
ChromeDriver ၏ --proxy-server=http://ip:port flag သည် အသုံးပြုသူအမည်နှင့် စကားဝှက်ကို မထည့်သွင်းနိုင်သောကြောင့် Selenium proxy အထောက်အထားစိစစ်ခြင်းအတွက် တခြားနည်းလမ်း သုံးရပါမည်။ Chrome သည် တိုက်ရိုက်ထည့်ထားသော user:pass ကို ပယ်ဖျက်ပြီး WebDriver မှ ဖြည့်မပေးနိုင်သော login dialog ကို ပြသပါသည်။ စိတ်ချရသော ဖြေရှင်းနည်း ၂ ခုမှာ Python တွင် ProxyV4 အကောင့်ဝင်ရောက်မှုကို ကိုင်တွယ်ပေးသည့် selenium-wire နှင့် မည်သည့် Selenium ဘာသာစကားတွင်မဆို onAuthRequired ကို တုံ့ပြန်ပေးသည့် Chrome extension ငယ်တစ်ခု ဖြစ်သည်။
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP၁.၈၅ US$
- 3+ IP များ၁.၇၀ US$
- 10+ IP များ၁.၆၀ US$
- 25+ IP များ၁.၅၀ US$
- 50+ IP များ၁.၄၀ US$
- 100+ IP များ၁.၃၀ US$
- 200+ IP များ၁.၂၀ US$
- 500+ IP များ၁.၁၀ US$
- 1 IP၂.၂၅ US$
- 3+ IP များ၂.၁၀ US$
- 10+ IP များ၂.၀၀ US$
- 25+ IP များ၁.၉၀ US$
- 50+ IP များ၁.၈၀ US$
- 100+ IP များ၁.၇၀ US$
- 200+ IP များ၁.၆၀ US$
- 500+ IP များ၁.၅၀ US$
ရွေးချယ်စရာများကို နှိုင်းယှဉ်ချက်
| နည်းလမ်း | ပြင်ဆင်သတ်မှတ်ပုံ | သင့်လျော်မှု |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Python အတွက် အမြန်ဆုံးနည်းလမ်း၊ ဘရောက်ဆာဖွင့်ထားစဉ် proxy ကို ပြောင်းလဲနိုင်သည် |
| Auth extension | background script မှ chrome.webRequest.onAuthRequired ကို ကိုင်တွယ်ပေးသည့် zip ပြုလုပ်ထားသော extension | Java, C#, Python နှင့် undetected-chromedriver အားလုံးအတွက် သင့်လျော်သည် |
| Playwright သို့ ပြောင်းလဲခြင်း | browser.newContext({ proxy: { server, username, password } }) | ပရောဂျက်အသစ်များအတွက်၊ proxy login တပါတည်းပါဝင်ပြီး extension မလိုပါ |
ရိုးရိုး --proxy-server ကို သုံးသောအခါ ဘာဖြစ်သနည်း
Chrome သည် command line မှ proxy လိပ်စာကို ရယူသော်လည်း ထည့်သွင်းထားသော အထောက်အထားများကို လျစ်လျူရှုပါသည်။ Proxy မှ 407 ပြန်ပို့သောအခါ Chrome သည် native sign-in prompt ကို ဖွင့်ပေးသည်။ ထို prompt သည် စာမျက်နှာ DOM ၏ အပြင်ဘက်တွင် ရှိနေသောကြောင့် find_element မှ မမြင်နိုင်ဘဲ script သည် အချိန်ကုန်ဆုံးသည်အထိ စောင့်ဆိုင်းနေမည်ဖြစ်သည်။ ထို့ကြောင့် အလုပ်ဖြစ်သောနည်းလမ်းတိုင်းသည် flag ၏ အပြင်ဘက်မှသာ အထောက်အထားများကို ထည့်သွင်းပေးကြသည်။
selenium-wire ကို ဆက်လက်ထိန်းသိမ်းမှု မပြုလုပ်တော့ကြောင်း သတိပြုပါ။ ၎င်းသည် setup အများအပြားအတွက် အလုပ်လုပ်နေဆဲဖြစ်သော်လည်း ရေရှည်ပရောဂျက်များအတွက် extension နည်းလမ်း သို့မဟုတ် Playwright ကို အသုံးပြုခြင်းက ပိုမိုစိတ်ချရပါသည်။
Proxy သုံးထားသော Selenium လုပ်ဆောင်ချက်များ ပိုမိုထိရောက်စေရန်
- နှေးကွေးသော ပြင်ပ script များကို စောင့်ဆိုင်းမနေဘဲ DOM အဆင်သင့်ဖြစ်သည်နှင့် script ဆက်လက်အလုပ်လုပ်စေရန်
options.page_load_strategy = 'eager'ကို သတ်မှတ်ပါ - Chrome 109 သို့မဟုတ် နောက်ပိုင်းဗားရှင်းများတွင် headless လုပ်ဆောင်ချက်များအတွက်
--headless=newကို အသုံးပြုပါ၊ auth extension အပါအဝင် extension များသည် သာမန် window ကဲ့သို့ အလုပ်လုပ်ပါသည် - စျေးနှုန်းများ သို့မဟုတ် ခေါင်းစဉ်များကဲ့သို့ စာသားများကိုသာ လိုအပ်ပါက Chrome preferences တွင် ပုံများဖော်ပြခြင်းကို ပိတ်ထားပါ
- ပြဿနာတစ်ခုခုကြောင့် ရပ်တန့်သွားပါက Chrome process များ ကျန်မနေခဲ့စေရန်
driver.quit()ကိုtry / finallyblock ထဲတွင် ထည့်သွင်းပါ
လုပ်ငန်းပမာဏ မချဲ့ထွင်မီ သိကောင်းစရာများ
WebDriver session တစ်ခုစီသည် browser အပြည့်အစုံ ဖြစ်သောကြောင့် ဝက်ဘ်ဆိုက်က အကောင့်များကို လိပ်စာဖြင့် ချိတ်ဆက်သတ်မှတ်ပါက session တိုင်းအတွက် သီးခြား IP တစ်ခုစီ ပေးထားပါ။ ProxyV4 သီးသန့် IPv4 ကို သုံးစွဲသူတစ်ဦးတည်းအတွက်သာ ငှားရမ်းပေးထားပြီး သက်တမ်းတိုးသည့်အခါ ၎င်း၏ လိပ်စာကို မပြောင်းလဲဘဲ ထိန်းသိမ်းထားနိုင်သောကြောင့် ရေရှည်စမ်းသပ်သည့် အကောင့်များကို IP တစ်ခုတည်းတွင် ဆက်လက်ထားရှိစေပါသည်။ လိုင်းမကောင်းမှုကြောင့် ရှုပ်ထွေးဖွယ် Selenium timeout မဖြစ်ပေါ်စေရန် proxy အသစ်များကို proxy စစ်ဆေးကိရိယာ ဖြင့် ဦးစွာ စစ်ဆေးပါ။
run သည့်အခါ စာမျက်နှာများကို server ၏ ကိုယ်ပိုင် IP ဖြင့် ဖွင့်နေဆဲဖြစ်လျှင် သို့မဟုတ် tunnel error ဖြင့် ရပ်တန့်သွားပါက proxy အလုပ်မလုပ်ခြင်း ၏ Selenium ကဏ္ဍတွင် အများအားဖြင့် ဖြစ်တတ်သော အကြောင်းရင်းများကို အစီအစဉ်အတိုင်း စာရင်းပြုစုထားပါသည်။
တစ်ဆင့်ချင်းစီ လုပ်ဆောင်ရန်
- 1
selenium-wire ကို ထည့်သွင်းပါ
သင့် virtual environment တွင်
pip install selenium-wireကို run ပါ။ - 2
Proxy အချက်အလက်ကို သတ်မှတ်ပါ
သင့် ProxyV4 မှာယူမှုမှ
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}ကို ပြင်ဆင်ပါ။ - 3
၎င်းရွေးချယ်မှုများဖြင့် Chrome ကို စတင်ပါ
seleniumwireမှwebdriverကို import လုပ်ပြီးdriver = webdriver.Chrome(seleniumwire_options=sw_options)ဖြင့် driver ကို ဖန်တီးပါ။ - 4
အထွက် IP ကို စစ်ဆေးပါ
driver.get('https://proxyv4.com/api/my-ip')ကို ခေါ်ယူပြီး စာမျက်နှာတွင် proxy လိပ်စာ ပြသနေကြောင်း အတည်ပြုပါ။
မကြာခဏမေးလေ့ရှိသော မေးခွန်းများ
ChromeOptions တွင် --proxy-server=http://user:pass@ip:port ကို အဘယ်ကြောင့် လျစ်လျူရှုသနည်း။
Chrome ၏ ဒီဇိုင်းအရ --proxy-server တန်ဖိုးမှ အထောက်အထားများကို ဖယ်ရှားပစ်သောကြောင့် ဖြစ်သည်။ ၎င်းတို့ကို selenium-wire၊ onAuthRequired extension တို့မှတစ်ဆင့် ထည့်သွင်းပါ၊ သို့မဟုတ် အသုံးပြုသူအမည်နှင့် စကားဝှက်ကို တိုက်ရိုက်လက်ခံသည့် Playwright သို့ ပြောင်းလဲအသုံးပြုပါ။
selenium-wire သည် ဘရောက်ဆာကို restart မလုပ်ဘဲ proxy ပြောင်းနိုင်ပါသလား။
ပြောင်းနိုင်ပါသည်။ dict အသစ်ဖြစ်သော driver.proxy = {'http': 'http://...', 'https': 'http://...'} ကို သတ်မှတ်ပေးပါက နောက်ဆက်တွဲ request များသည် upstream proxy အသစ်ကို အသုံးပြုသွားပါမည်။
Auth extension သည် headless Chrome တွင် အလုပ်လုပ်ပါသလား။
အလုပ်လုပ်ပါသည်။ --headless=new ဖြင့် အသုံးပြုနိုင်သည်။ --headless မုဒ်အဟောင်းတွင် extension များကို ဤကဲ့သို့ ဖွင့်လှစ်နိုင်ခြင်း မရှိခဲ့ပါ။
Selenium သည် proxy မှတစ်ဆင့် စာမျက်နှာတိုင်းတွင် အချိန်ကုန်ဆုံးနေပါသည် (timeout ဖြစ်နေသည်)။ မည်သို့ ဆက်လက်လုပ်ဆောင်ရမည်နည်း။
တူညီသော အထောက်အထားများကို အသုံးပြု၍ cURL ဖြင့် IP endpoint ကို ခေါ်ယူကြည့်ပါ။ cURL ပါ မအောင်မြင်ပါက လိုင်း သို့မဟုတ် port တွင် ပြဿနာရှိနေခြင်းဖြစ်သည်၊ စစ်ဆေးရမည့်အချက်များကို proxy timeout လမ်းညွှန် တွင် ဖော်ပြထားပါသည်။
ရင်းမြစ်များ
Selenium session များအတွက် တည်ငြိမ်သော IP များ
နိုင်ငံပေါင်း 7 နိုင်ငံရှိ သီးသန့် IPv4 နှင့် အမေရိကန်၊ ဗီယက်နမ်ရှိ static ISP၊ အသုံးပြုသူအမည်နှင့် စကားဝှက်ပါဝင်ပြီး အကန့်အသတ်မရှိ ဒေတာနှင့် IP တစ်ခုလျှင် သုံးစွဲသူတစ်ဦးသာ ဖြစ်သည်။
လက်ရှိ US ဈေးနှုန်းများကို ကြည့်ရှုပါ