Selenium WebDriver और ऑथेंटिकेटेड प्रॉक्सी: क्या काम करता है
ProxyV4 इंजीनियरिंग टीम द्वारा · Updated:
Selenium प्रॉक्सी ऑथेंटिकेशन के लिए एक समाधान की आवश्यकता होती है, क्योंकि ChromeDriver का --proxy-server=http://ip:port फ्लैग यूजरनेम और पासवर्ड पास नहीं कर सकता; Chrome इनलाइन user:pass को हटा देता है और एक लॉगिन डायलॉग दिखाता है जिसे WebDriver भर नहीं सकता। दो भरोसेमंद समाधान हैं selenium-wire, जो Python में ProxyV4 लॉगिन को संभालता है, और एक छोटा Chrome एक्सटेंशन जो किसी भी Selenium भाषा में onAuthRequired का जवाब देता है।
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP$1.85
- 3+ IP$1.70
- 10+ IP$1.60
- 25+ IP$1.50
- 50+ IP$1.40
- 100+ IP$1.30
- 200+ IP$1.20
- 500+ IP$1.10
- 1 IP$2.25
- 3+ IP$2.10
- 10+ IP$2.00
- 25+ IP$1.90
- 50+ IP$1.80
- 100+ IP$1.70
- 200+ IP$1.60
- 500+ IP$1.50
विकल्पों की तुलना
| तरीका | आप इसे कैसे कॉन्फ़िगर करते हैं | किसके लिए उपयुक्त |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Python में सबसे तेज़ तरीका; ब्राउज़र खुला रहने के दौरान भी प्रॉक्सी बदली जा सकती है |
| Auth एक्सटेंशन | एक ज़िप किया हुआ एक्सटेंशन जिसकी बैकग्राउंड स्क्रिप्ट chrome.webRequest.onAuthRequired को संभालती है | Java, C#, Python और undetected-chromedriver सभी के लिए समान रूप से उपयुक्त |
| Playwright पर स्विच करें | browser.newContext({ proxy: { server, username, password } }) | नए प्रोजेक्ट्स; प्रॉक्सी लॉगिन पहले से इन-बिल्ट है, किसी एक्सटेंशन की ज़रूरत नहीं |
साधारण --proxy-server के साथ क्या होता है
Chrome कमांड लाइन से प्रॉक्सी एड्रेस तो ले लेता है लेकिन उसमें लिखे किसी भी क्रेडेंशियल को नज़रअंदाज़ कर देता है। जब प्रॉक्सी 407 का जवाब देती है, तो Chrome एक नेटिव साइन-इन प्रॉम्प्ट खोलता है। वह प्रॉम्प्ट पेज DOM से बाहर होता है, इसलिए find_element उसे देख नहीं सकता और स्क्रिप्ट टाइम आउट होने तक इंतज़ार करती रहती है। इसलिए हर काम करने वाला तरीका क्रेडेंशियल्स को इस फ्लैग के अलावा किसी अन्य माध्यम से प्रदान करता है।
ध्यान दें कि selenium-wire अब सक्रिय रूप से मेंटेन नहीं किया जाता है। यह अभी भी कई सेटअप्स के लिए काम करता है, लेकिन लंबे समय तक चलने वाले प्रोजेक्ट्स के लिए एक्सटेंशन वाला तरीका या Playwright अधिक सुरक्षित विकल्प है।
प्रॉक्सी वाले Selenium रन को कुशल बनाए रखना
options.page_load_strategy = 'eager'सेट करें ताकि धीमी थर्ड-पार्टी स्क्रिप्ट्स का इंतज़ार करने के बजाय DOM तैयार होते ही स्क्रिप्ट आगे बढ़ सके- Chrome 109 या उसके बाद के वर्ज़न पर हेडलेस रन के लिए
--headless=newका उपयोग करें; ऑथ एक्सटेंशन सहित सभी एक्सटेंशन सामान्य विंडो की तरह काम करते हैं - जब आपको केवल कीमतों या शीर्षकों जैसे टेक्स्ट की आवश्यकता हो, तो Chrome प्राथमिकताओं में इमेज लोडिंग बंद कर दें
driver.quit()कोtry / finallyब्लॉक में रखें ताकि क्रैश होने पर बैकग्राउंड में Chrome प्रोसेस न छूटे
स्केल करने से पहले
प्रत्येक WebDriver सत्र एक पूर्ण ब्राउज़र होता है, इसलिए यदि साइट खातों को पते के अनुसार लिंक करती है, तो हर सत्र को उसका अपना IP दें। एक ProxyV4 प्राइवेट IPv4 केवल एक ग्राहक को किराए पर दिया जाता है और रिन्यू कराने पर भी इसका पता वही रहता है, जिससे लंबे समय तक चलने वाले टेस्ट खाते एक ही IP पर बने रहते हैं। नए प्रॉक्सी को पहले proxy checker से जांच लें ताकि कोई खराब लाइन उलझन भरे Selenium टाइमआउट के रूप में सामने न आए।
यदि कोई रन अभी भी सर्वर के अपने IP से पेज खोलता है या टनल एरर पर रुक जाता है, तो proxy not working का Selenium सेक्शन इसके सामान्य कारणों को क्रम से सूचीबद्ध करता है।
चरण दर चरण
- 1
selenium-wire इंस्टॉल करें
अपने वर्चुअल एन्वायरमेंट में,
pip install selenium-wireचलाएं। - 2
प्रॉक्सी विवरण सेट करें
अपने ProxyV4 ऑर्डर से
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}तैयार करें। - 3
इन विकल्पों के साथ Chrome शुरू करें
seleniumwireसेwebdriverइम्पोर्ट करकेdriver = webdriver.Chrome(seleniumwire_options=sw_options)के साथ ड्राइवर बनाएं। - 4
एग्जिट IP की जांच करें
driver.get('https://proxyv4.com/api/my-ip')कॉल करें और पुष्टि करें कि पेज प्रॉक्सी एड्रेस दिखा रहा है।
अक्सर पूछे जाने वाले प्रश्न
ChromeOptions में --proxy-server=http://user:pass@ip:port को क्यों नज़रअंदाज़ कर दिया जाता है?
Chrome डिज़ाइन के तहत --proxy-server वैल्यू से क्रेडेंशियल्स हटा देता है। उन्हें selenium-wire, एक onAuthRequired एक्सटेंशन के ज़रिए दें, या Playwright पर स्विच करें, जो सीधे यूजरनेम और पासवर्ड स्वीकार करता है।
क्या selenium-wire ब्राउज़र को रीस्टार्ट किए बिना प्रॉक्सी बदल सकता है?
हाँ। एक नया dict असाइन करें, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, और इसके बाद के सभी अनुरोध नई अपस्ट्रीम प्रॉक्सी का उपयोग करेंगे।
क्या ऑथ एक्सटेंशन हेडलेस Chrome में काम करता है?
हाँ, --headless=new के साथ। पुराना --headless मोड एक्सटेंशन को इस तरह लोड नहीं करता था।
प्रॉक्सी के ज़रिए हर पेज पर Selenium टाइम आउट हो जाता है। आगे क्या करें?
समान क्रेडेंशियल्स का उपयोग करके cURL से IP एंडपॉइंट लोड करें। यदि cURL भी विफल रहता है, तो लाइन या पोर्ट में समस्या है; proxy timeout guide में उन चीज़ों की सूची है जिनकी जांच करनी चाहिए।
स्रोत
Selenium सेशन्स के लिए स्थिर IPs
7 देशों में प्राइवेट IPv4 और US व Vietnam में स्टैटिक ISP, यूजर और पासवर्ड के साथ, अनमीटर्ड और प्रति IP केवल एक ग्राहक।
लाइव US कीमतें देखें