Selenium WebDriver மற்றும் அங்கீகரிக்கப்பட்ட proxy-கள்: எது சிறப்பாகச் செயல்படும்
ProxyV4 பொறியியல் குழுவால் · Updated:
Selenium proxy அங்கீகாரத்திற்கு ஒரு மாற்றுத்தீர்வு தேவைப்படுகிறது, ஏனெனில் ChromeDriver-ன் --proxy-server=http://ip:port flag-ஆல் பயனர் பெயர் மற்றும் கடவுச்சொல்லை ஏற்க முடியாது; Chrome இன்லைன் user:pass-ஐ நீக்கிவிட்டு, WebDriver-ஆல் நிரப்ப முடியாத உள்நுழைவு உரையாடல் பெட்டியைக் காட்டுகிறது. Python-ல் ProxyV4 உள்நுழைவைக் கையாளும் selenium-wire, மற்றும் எந்தவொரு Selenium மொழியிலும் onAuthRequired-க்கு பதிலளிக்கும் சிறிய Chrome extension ஆகிய இரண்டும் நம்பகமான தீர்வுகளாகும்.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP$1.85
- 3+ IP-கள்$1.70
- 10+ IP-கள்$1.60
- 25+ IP-கள்$1.50
- 50+ IP-கள்$1.40
- 100+ IP-கள்$1.30
- 200+ IP-கள்$1.20
- 500+ IP-கள்$1.10
- 1 IP$2.25
- 3+ IP-கள்$2.10
- 10+ IP-கள்$2.00
- 25+ IP-கள்$1.90
- 50+ IP-கள்$1.80
- 100+ IP-கள்$1.70
- 200+ IP-கள்$1.60
- 500+ IP-கள்$1.50
விருப்பங்களின் ஒப்பீடு
| முறை | அமைக்கும் முறை | பொருத்தமானது |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Python-ல் மிக விரைவான வழி; உலாவி திறந்திருக்கும் போதே proxy-ஐ மாற்றலாம் |
| Auth extension | chrome.webRequest.onAuthRequired-ஐ இயக்கும் background script கொண்ட ஒரு zipped extension | Java, C#, Python மற்றும் undetected-chromedriver ஆகிய அனைத்திற்கும் பொருந்தும் |
| Playwright-க்கு மாறுதல் | browser.newContext({ proxy: { server, username, password } }) | புதிய திட்டங்கள்; proxy உள்நுழைவு உள்ளமைக்கப்பட்டுள்ளது, extension தேவையில்லை |
வெறும் --proxy-server பயன்படுத்தினால் என்ன நடக்கும்
Chrome கட்டளை வரியிலிருந்து proxy முகவரியை எடுத்துக்கொள்கிறது, ஆனால் அதில் குறிப்பிடப்படும் நற்சான்றிதழ்களைப் புறக்கணிக்கிறது. Proxy 407 எனப் பதிலளிக்கும் போது, Chrome ஒரு இயல்பான உள்நுழைவு வினவலைத் திறக்கிறது. அந்த வினவல் பக்கத்தின் DOM-க்கு வெளியே இருப்பதால், find_element-ஆல் அதைக் காண முடியாது, மேலும் ஸ்கிரிப்ட் காலாவதியாகும் (times out) வரை காத்திருக்கும். எனவே செயல்படும் ஒவ்வொரு முறையும் நற்சான்றிதழ்களை flag-க்கு வெளியே வேறு வழியில் வழங்குகிறது.
selenium-wire இப்போது தீவிரமாகப் பராமரிக்கப்படுவதில்லை என்பதைக் கவனத்தில் கொள்க. இது இன்னும் பல அமைப்புகளில் செயல்படுகிறது, ஆனால் நீண்ட கால திட்டங்களுக்கு extension அணுகுமுறை அல்லது Playwright பாதுகாப்பான தேர்வாகும்.
Proxy உடனான Selenium இயக்கங்களைத் திறம்பட வைத்திருத்தல்
- மெதுவான மூன்றாம் தரப்பு ஸ்கிரிப்ட்களுக்காகக் காத்திருக்காமல், DOM தயாரானதும் ஸ்கிரிப்ட் தொடர்வதற்கு
options.page_load_strategy = 'eager'என அமைக்கவும் - Chrome 109 அல்லது அதற்குப் பிந்தைய பதிப்புகளில் headless இயக்கங்களுக்கு
--headless=new-ஐப் பயன்படுத்தவும்; auth extension உட்பட அனைத்து extension-களும் சாதாரண விண்டோவில் செயல்படுவது போலவே செயல்படும் - விலைகள் அல்லது தலைப்புகள் போன்ற உரைகள் மட்டுமே தேவைப்படும்போது, Chrome விருப்பங்களில் படங்கள் ஏற்றுவதை முடக்கவும்
- செயலிழப்பு ஏற்பட்டாலும் பின்னணியில் Chrome செயல்முறைகள் தேங்கிவிடாமல் இருக்க
driver.quit()-ஐtry / finallyபிளாக்கில் வைக்கவும்
அளவை அதிகரிக்கும் முன்
ஒவ்வொரு WebDriver அமர்வும் ஒரு முழுமையான உலாவி என்பதால், தளம் முகவரி அடிப்படையில் கணக்குகளை இணைத்தால் ஒவ்வொரு அமர்வுக்கும் தனித்தனி IP-யை வழங்கவும். ஒரு ProxyV4 பிரைவேட் IPv4 ஒரு வாடிக்கையாளருக்கு மட்டுமே வாடகைக்கு வழங்கப்படுகிறது, மேலும் நீங்கள் புதுப்பிக்கும்போது அதன் முகவரியைத் தக்க வைத்துக் கொள்கிறது; இது நீண்ட காலம் இயங்கும் சோதனைக் கணக்குகளை ஒரே IP-யில் வைத்திருக்க உதவுகிறது. தவறான இணைப்பு ஒரு குழப்பமான Selenium timeout-ஆகத் தெரியாமல் இருக்க, புதிய ப்ராக்ஸிகளை முதலில் ப்ராக்ஸி செக்கர் மூலம் இயக்கவும்.
ஒரு இயக்கம் இன்னும் சர்வரின் சொந்த IP-யிலிருந்தே பக்கங்களைத் திறந்தால் அல்லது tunnel பிழையில் நின்றால், ப்ராக்ஸி வேலை செய்யவில்லை பக்கத்தின் Selenium பிரிவு வழக்கமான காரணங்களை வரிசையாகப் பட்டியலிடுகிறது.
படிப்படியாக
- 1
selenium-wire-ஐ நிறுவவும்
உங்கள் virtual environment-ல்,
pip install selenium-wireகட்டளையை இயக்கவும். - 2
Proxy விவரங்களை வரையறுக்கவும்
உங்கள் ProxyV4 ஆர்டரிலிருந்து
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}என்பதை உருவாக்கவும். - 3
அந்த விருப்பங்களுடன் Chrome-ஐத் தொடங்கவும்
seleniumwire-லிருந்துwebdriver-ஐ இறக்குமதி செய்து,driver = webdriver.Chrome(seleniumwire_options=sw_options)மூலம் driver-ஐ உருவாக்கவும். - 4
வெளியேறும் IP-ஐச் சரிபார்க்கவும்
driver.get('https://proxyv4.com/api/my-ip')-ஐ அழைத்து, அப்பக்கம் proxy முகவரியைக் காட்டுகிறதா என்பதை உறுதிப்படுத்தவும்.
அடிக்கடி கேட்கப்படும் கேள்விகள்
ChromeOptions-ல் --proxy-server=http://user:pass@ip:port ஏன் புறக்கணிக்கப்படுகிறது?
Chrome அதன் இயல்பான வடிவமைப்பின்படி --proxy-server மதிப்பிலிருந்து நற்சான்றிதழ்களை நீக்குகிறது. அவற்றை selenium-wire, ஒரு onAuthRequired extension வழியாக வழங்கவும், அல்லது பயனர் பெயர் மற்றும் கடவுச்சொல்லை நேரடியாக ஏற்கும் Playwright-க்கு மாறவும்.
உலாவியை மறுதொடக்கம் செய்யாமல் selenium-wire மூலம் proxy-ஐ மாற்ற முடியுமா?
ஆம். driver.proxy = {'http': 'http://...', 'https': 'http://...'} என புதிய dict-ஐ ஒதுக்குங்கள், அடுத்தடுத்த கோரிக்கைகள் புதிய upstream proxy-ஐப் பயன்படுத்தும்.
headless Chrome-ல் auth extension செயல்படுமா?
ஆம், --headless=new மூலம் செயல்படும். பழைய --headless பயன்முறை extension-களை இதே முறையில் ஏற்றவில்லை.
Proxy வழியாகச் செல்லும் போது ஒவ்வொரு பக்கத்திலும் Selenium timeout ஆகிறது. அடுத்து என்ன செய்வது?
அதே நற்சான்றிதழ்களைப் பயன்படுத்தி cURL மூலம் IP endpoint-ஐ ஏற்றவும். cURL-லும் தோல்வியுற்றால், இணைப்பு அல்லது port-ல் சிக்கல் உள்ளது; எவற்றைச் சரிபார்க்க வேண்டும் என்பதை proxy timeout guide பட்டியலிடுகிறது.
மூலங்கள்
Selenium அமர்வுகளுக்கான நிலையான IP-கள்
7 நாடுகளில் பிரைவேட் IPv4 மற்றும் அமெரிக்கா, வியட்நாமில் static ISP, பயனர் மற்றும் கடவுச்சொல்லுடன், வரம்பற்ற பயன்பாடு மற்றும் ஒரு IP-க்கு ஒரு வாடிக்கையாளர்.
நேரலை அமெரிக்க விலைகளைச் சரிபார்க்கவும்