Selenium WebDriver እና የማረጋገጫ ፕሮክሲዎች፦ ውጤታማ አማራጮች
በProxyV4 የምህንድስና ቡድን · Updated:
የChromeDriver --proxy-server=http://ip:port ፍላግ የተጠቃሚ ስም እና የይለፍ ቃል መያዝ ስለማይችል የSelenium ፕሮክሲ ማረጋገጫ አማራጭ መፍትሔ ይፈልጋል፤ Chrome ውስጣዊ user:passን ችላ በማለት WebDriver ሊሞላው የማይችለውን የመግቢያ መስኮት ያሳያል። ሁለቱ አስተማማኝ መፍትሔዎች የProxyV4 መግቢያን በPython የሚያስተናግደው selenium-wire እና በማንኛውም የSelenium ቋንቋ onAuthRequiredን የሚመልስ አነስተኛ የChrome ኤክስቴንሽን ናቸው።
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IPUS$1.85
- 3+ IPዎችUS$1.70
- 10+ IPዎችUS$1.60
- 25+ IPዎችUS$1.50
- 50+ IPዎችUS$1.40
- 100+ IPዎችUS$1.30
- 200+ IPዎችUS$1.20
- 500+ IPዎችUS$1.10
- 1 IPUS$2.25
- 3+ IPዎችUS$2.10
- 10+ IPዎችUS$2.00
- 25+ IPዎችUS$1.90
- 50+ IPዎችUS$1.80
- 100+ IPዎችUS$1.70
- 200+ IPዎችUS$1.60
- 500+ IPዎችUS$1.50
የአማራጮች ንጽጽር
| ዘዴ | እንዴት እንደሚዋቀር | ተስማሚ አጠቃቀም |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | በPython ውስጥ ፈጣኑ መንገድ፤ ብሮውዘሩ ክፍት እያለ ፕሮክሲውን መቀየር ይቻላል |
| የማረጋገጫ ኤክስቴንሽን | የጀርባ ስክሪፕቱ chrome.webRequest.onAuthRequiredን የሚያስተናግድ ዚፕ የተደረገ ኤክስቴንሽን | ለJava፣ C#፣ Python እና undetected-chromedriver በተመሳሳይ መልኩ |
| ወደ Playwright መቀየር | browser.newContext({ proxy: { server, username, password } }) | ለአዳዲስ ፕሮጀክቶች፤ የፕሮክሲ መግቢያ አብሮ የተሰራ ነው፣ ኤክስቴንሽን አያስፈልግም |
በቀጥተኛ --proxy-server ምን ይከሰታል
Chrome የፕሮክሲውን አድራሻ ከትዕዛዝ መስመሩ ይወስዳል ነገር ግን በውስጡ የተጻፈ ማንኛውንም የመግቢያ መረጃ ችላ ይላል። ፕሮክሲው 407 ምላሽ ሲሰጥ፣ Chrome ቤተኛ የመግቢያ መጠየቂያ መስኮት ይከፍታል። ያ መስኮት ከገጹ DOM ውጭ ስለሆነ find_element ሊያየው አይችልም፤ ስክሪፕቱም ጊዜው እስኪያበቃ ድረስ ይጠብቃል። ስለዚህ እያንዳንዱ የሚሰራ ዘዴ መረጃዎችን ከፍላጉ ውጭ በሌላ መንገድ ያቀርባል።
ልብ ይበሉ፣ selenium-wire አሁን ላይ በንቃት እየተሻሻለ አይደለም። አሁንም ለብዙ ማዋቀሪያዎች ይሰራል፤ ነገር ግን ለረጅም ጊዜ ለሚቆዩ ፕሮጀክቶች የኤክስቴንሽን ዘዴ ወይም Playwright ይበልጥ አስተማማኝ ምርጫ ነው።
በፕሮክሲ የሚሰሩ የSelenium ሂደቶችን ቀልጣፋ ማድረግ
- ስክሪፕቱ ዘገምተኛ የሆኑ የሶስተኛ ወገን ስክሪፕቶችን ከመጠበቅ ይልቅ DOM ዝግጁ እንደሆነ ወዲያውኑ እንዲቀጥል
options.page_load_strategy = 'eager'ያዘጋጁ - በChrome 109 ወይም ከዚያ በኋላ ባሉ ስሪቶች ላይ ለheadless አሰራሮች
--headless=newይጠቀሙ፤ የማረጋገጫ ኤክስቴንሽኑን ጨምሮ ሁሉም ኤክስቴንሽኖች እንደ መደበኛ መስኮት ይሰራሉ - እንደ ዋጋዎች ወይም ርዕሶች ያሉ ጽሑፎች ብቻ በሚያስፈልጉዎት ጊዜ በChrome ምርጫዎች ውስጥ የምስል መጫንን ያጥፉ
- ብልሽት ቢከሰት የChrome ሂደቶች ሳይዘጉ እንዳይቀሩ
driver.quit()ን በtry / finallyብሎክ ውስጥ ያስቀምጡ
ስራዎን ከማስፋፋትዎ በፊት
እያንዳንዱ የ WebDriver session ሙሉ ብሮውዘር ነው፤ ስለዚህ ድረ-ገጹ አካውንቶችን በአድራሻ የሚያስተሳስር ከሆነ ለእያንዳንዱ session የራሱን IP ይስጡ። የ ProxyV4 የግል IPv4 ለአንድ ደንበኛ ብቻ የሚከራይ ሲሆን ሲያድሱትም አድራሻውን ጠብቆ ያቆያል፤ ይህም ለረጅም ጊዜ የሚሰሩ የሙከራ አካውንቶች በተመሳሳይ IP ላይ እንዲቆዩ ያደርጋል። የተበላሸ መስመር አደናጋሪ የ Selenium timeout ሆኖ እንዳይታይ፣ አዳዲስ ፕሮክሲዎችን መጀመሪያ በ ፕሮክሲ መፈተሻ ይፈትሹ።
አንድ ሂደት አሁንም ገጾችን ከራሱ ከሰርቨሩ IP የሚከፍት ከሆነ ወይም በ tunnel error የሚቆም ከሆነ፣ የ ፕሮክሲ አለመስራት የ Selenium ክፍል የተለመዱትን ምክንያቶች በቅደም ተከተል ዘርዝሯል።
ደረጃ በደረጃ
- 1
selenium-wireን ይጫኑ
በቨርቹዋል አካባቢዎ ውስጥ
pip install selenium-wireን ያሂዱ። - 2
ፕሮክሲውን ይግለጹ
ከእርስዎ የProxyV4 ትዕዛዝ
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}ን ያዘጋጁ። - 3
Chromeን በእነዚህ አማራጮች ያስጀምሩ
webdriverን ከseleniumwireበማስመጣት ድራይቨሩን በdriver = webdriver.Chrome(seleniumwire_options=sw_options)ይፍጠሩ። - 4
የመውጫውን IP ያረጋግጡ
driver.get('https://proxyv4.com/api/my-ip')ን በመጥራት ገጹ የፕሮክሲውን አድራሻ ማሳየቱን ያረጋግጡ።
ተደጋግመው የሚጠየቁ ጥያቄዎች
--proxy-server=http://user:pass@ip:port በChromeOptions ውስጥ ለምን ችላ ይባላል?
Chrome ሆን ተብሎ በተዘጋጀበት መንገድ የመግቢያ መረጃዎችን ከ--proxy-server እሴት ያስወግዳል። መረጃዎችን በselenium-wire ወይም በonAuthRequired ኤክስቴንሽን በኩል ያቅርቡ፤ ወይም የተጠቃሚ ስም እና የይለፍ ቃል በቀጥታ ወደሚቀበለው Playwright ይቀይሩ።
selenium-wire ብሮውዘሩን እንደገና ሳያስጀምሩ ፕሮክሲን መቀየር ይችላል?
አዎ። አዲስ ዲክሽነሪ driver.proxy = {'http': 'http://...', 'https': 'http://...'} ይመድቡ፤ ተከታዮቹ ጥያቄዎች አዲሱን የላይኛው ፕሮክሲ ይጠቀማሉ።
የማረጋገጫ ኤክስቴንሽኑ በheadless Chrome ይሰራል?
አዎ፣ በ--headless=new ይሰራል፤ የድሮው --headless ሁነታ ኤክስቴንሽኖችን በዚህ መንገድ አይጭንም ነበር።
Selenium በፕሮክሲው በኩል በእያንዳንዱ ገጽ ላይ ጊዜው ያበቃል። ቀጥሎ ምን ይደረጋል?
ተመሳሳይ የመግቢያ መረጃዎችን በመጠቀም የIP endpointን በcurl ይጫኑ። curl ካልሰራም ችግሩ የመስመሩ ወይም የፖርቱ ነው፤ የproxy timeout guide ምን መፈተሽ እንዳለበት ይዘረዝራል።
ምንጮች
ለSelenium ክፍለ-ጊዜዎች አስተማማኝ IPዎች
የግል IPv4 በ7 አገሮች እና የማይቀያየር ISP በUS እና Vietnam፣ በተጠቃሚ ስም እና የይለፍ ቃል፣ ያልተገደበ እና ለአንድ IP አንድ ደንበኛ ብቻ።
የወቅቱን የUS ዋጋዎች ይመልከቱ