Selenium WebDriver र प्रमाणीकृत प्रोक्सीहरू: के प्रभावकारी हुन्छ
ProxyV4 इन्जिनियरिङ टोलीद्वारा · Updated:
Selenium प्रोक्सी प्रमाणीकरणका लागि वैकल्पिक उपाय चाहिन्छ, किनकि ChromeDriver को --proxy-server=http://ip:port फ्ल्यागले प्रयोगकर्ता नाम र पासवर्ड लिन सक्दैन; Chrome ले इनलाइन user:pass हटाउँछ र यस्तो लगइन संवाद देखाउँछ जसलाई WebDriver ले भर्न सक्दैन। यसका दुई भरपर्दा समाधानहरू selenium-wire, जसले Python मा ProxyV4 लगइन व्यवस्थापन गर्छ, र एउटा सानो Chrome एक्स्टेन्सन हुन् जसले कुनै पनि Selenium भाषामा onAuthRequired को प्रतिक्रिया दिन्छ।
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IPUS$ १.८५
- 3+ IP हरूUS$ १.७०
- 10+ IP हरूUS$ १.६०
- 25+ IP हरूUS$ १.५०
- 50+ IP हरूUS$ १.४०
- 100+ IP हरूUS$ १.३०
- 200+ IP हरूUS$ १.२०
- 500+ IP हरूUS$ १.१०
- 1 IPUS$ २.२५
- 3+ IP हरूUS$ २.१०
- 10+ IP हरूUS$ २.००
- 25+ IP हरूUS$ १.९०
- 50+ IP हरूUS$ १.८०
- 100+ IP हरूUS$ १.७०
- 200+ IP हरूUS$ १.६०
- 500+ IP हरूUS$ १.५०
विकल्पहरूको तुलना
| विधि | यसलाई कसरी कन्फिगर गर्ने | उपयुक्त प्रयोग |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Python मा सबैभन्दा छिटो उपाय; ब्राउजर खुला रहेकै बेला प्रोक्सी परिवर्तन गर्न सकिन्छ |
| प्रमाणीकरण एक्स्टेन्सन | एउटा जिप गरिएको एक्स्टेन्सन जसको ब्याकग्राउन्ड स्क्रिप्टले chrome.webRequest.onAuthRequired व्यवस्थापन गर्छ | Java, C#, Python र undetected-chromedriver सबैका लागि उपयुक्त |
| Playwright मा जाने | browser.newContext({ proxy: { server, username, password } }) | नयाँ प्रोजेक्टहरू; प्रोक्सी लगइन पहिले नै समावेश छ, कुनै एक्स्टेन्सन चाहिँदैन |
साधारण --proxy-server प्रयोग गर्दा के हुन्छ
Chrome ले कमाण्ड लाइनबाट प्रोक्सी ठेगाना लिन्छ तर त्यसमा लेखिएका कुनै पनि प्रमाणहरूलाई बेवास्ता गर्छ। जब प्रोक्सीले 407 प्रतिक्रिया दिन्छ, Chrome ले नेटिभ साइन-इन प्रम्प्ट खोल्छ। त्यो प्रम्प्ट पृष्ठको DOM भन्दा बाहिर हुन्छ, त्यसैले find_element ले यसलाई देख्न सक्दैन र स्क्रिप्ट समय समाप्त (timeout) नभएसम्म पर्खिरहन्छ। त्यसैले काम गर्ने प्रत्येक विधिले फ्ल्याग बाहेक अन्य ठाउँबाट प्रमाणहरू प्रदान गर्दछ।
ख्याल गर्नुहोस् कि selenium-wire अब सक्रिय रूपमा मर्मत गरिँदैन। यो अझै पनि धेरै सेटअपहरूका लागि काम गर्दछ, तर दीर्घकालीन प्रोजेक्टहरूका लागि एक्स्टेन्सन विधि वा Playwright सुरक्षित विकल्प हो।
प्रोक्सी गरिएको Selenium रनहरूलाई प्रभावकारी बनाउने तरिका
options.page_load_strategy = 'eager'सेट गर्नुहोस् ताकि ढिलो हुने तेस्रो-पक्षका स्क्रिप्टहरू पर्खनुको सट्टा DOM तयार हुनेबित्तिकै स्क्रिप्ट अगाडि बढोस्- Chrome 109 वा पछिल्लो संस्करणमा हेडलेस रनका लागि
--headless=newप्रयोग गर्नुहोस्; प्रमाणीकरण एक्स्टेन्सनसहित सबै एक्स्टेन्सनहरूले सामान्य विन्डोमा जस्तै काम गर्छन् - यदि तपाईंलाई मूल्य वा शीर्षक जस्ता पाठ मात्र आवश्यक छ भने Chrome प्राथमिकताहरूमा छवि लोड बन्द गर्नुहोस्
driver.quit()लाईtry / finallyब्लकमा राख्नुहोस् ताकि क्र्यास हुँदा पछाडि Chrome प्रक्रियाहरू बाँकी नरहून्
स्केल बढाउनु अघि
प्रत्येक WebDriver सेसन एउटा पूर्ण ब्राउजर हो, त्यसैले यदि साइटले ठेगाना अनुसार खाताहरूलाई जोड्छ भने प्रत्येक सेसनलाई आफ्नै IP दिनुहोस्। ProxyV4 को निजी IPv4 एक ग्राहकलाई मात्र भाडामा दिइन्छ र नवीकरण गर्दा यसको ठेगाना परिवर्तन हुँदैन, जसले गर्दा लामो समयसम्म चल्ने परीक्षण खाताहरू एउटै IP मा रहन्छन्। नयाँ प्रोक्सीहरूलाई पहिले प्रोक्सी चेकर मार्फत जाँच्नुहोस् ताकि खराब लाइनका कारण अलमल्ल पार्ने Selenium timeout नदेखियोस्।
यदि कुनै रनले अझै पनि सर्भरकै आफ्नै IP बाट पृष्ठहरू खोल्छ वा tunnel error मा रोकिन्छ भने, काम नगरेको प्रोक्सी को Selenium खण्डमा सामान्य कारणहरू क्रमैसँग सूचीबद्ध छन्।
चरणबद्ध रूपमा
- 1
selenium-wire इन्स्टल गर्नुहोस्
आफ्नो भर्चुअल वातावरणमा,
pip install selenium-wireचलाउनुहोस्। - 2
प्रोक्सी विवरण सेट गर्नुहोस्
आफ्नो ProxyV4 अर्डरबाट
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}तयार गर्नुहोस्। - 3
ती विकल्पहरूसहित Chrome सुरु गर्नुहोस्
seleniumwireबाटwebdriverइम्पोर्ट गर्दैdriver = webdriver.Chrome(seleniumwire_options=sw_options)मार्फत ड्राइभर सिर्जना गर्नुहोस्। - 4
निकास IP जाँच्नुहोस्
driver.get('https://proxyv4.com/api/my-ip')कल गर्नुहोस् र पृष्ठले प्रोक्सी ठेगाना देखाएको पुष्टि गर्नुहोस्।
बारम्बार सोधिने प्रश्नहरू
ChromeOptions मा --proxy-server=http://user:pass@ip:port लाई किन बेवास्ता गरिन्छ?
Chrome ले पूर्वनिर्धारित रूपमै --proxy-server मानबाट प्रमाणहरू हटाउँछ। तिनीहरूलाई selenium-wire, onAuthRequired एक्स्टेन्सन मार्फत प्रदान गर्नुहोस्, वा Playwright मा जानुहोस्, जसले प्रयोगकर्ता नाम र पासवर्ड सिधै स्वीकार गर्छ।
के selenium-wire ले ब्राउजर पुनः सुरु नगरी प्रोक्सी परिवर्तन गर्न सक्छ?
सक्छ। एउटा नयाँ dict, driver.proxy = {'http': 'http://...', 'https': 'http://...'} असाइन गर्नुहोस्, र त्यसपछिका अनुरोधहरूले नयाँ अपस्ट्रिम प्रोक्सी प्रयोग गर्नेछन्।
के प्रमाणीकरण एक्स्टेन्सनले हेडलेस Chrome मा काम गर्छ?
गर्छ, --headless=new को साथ। पुरानो --headless मोडले एक्स्टेन्सनहरूलाई त्यसरी लोड गर्दैनथ्यो।
प्रोक्सी मार्फत प्रत्येक पृष्ठमा Selenium टाइमआउट हुन्छ। अब के गर्ने?
उही प्रमाणहरू प्रयोग गरेर curl मार्फत IP समापन विन्दु लोड गर्नुहोस्। यदि curl पनि असफल भयो भने, लाइन वा पोर्टमा समस्या छ; के जाँच्ने भन्ने सूची proxy timeout guide मा उल्लेख गरिएको छ।
स्रोतहरू
Selenium सत्रहरूका लागि स्थिर IP हरू
7 देशहरूमा निजी IPv4 र US तथा Vietnam मा स्थिर ISP, प्रयोगकर्ता र पासवर्डसहित, असीमित र प्रति IP एक ग्राहक।
प्रत्यक्ष US मूल्यहरू हेर्नुहोस्