Selenium WebDriver və autentifikasiyalı proksilər: işləyən həllər
ProxyV4 Mühəndislik Komandası tərəfindən · Updated:
Selenium proksi autentifikasiyası üçün alternativ həll lazımdır, çünki ChromeDriver-in --proxy-server=http://ip:port bayrağı istifadəçi adı və şifrəni daşıya bilmir; Chrome daxili user:pass məlumatını rədd edir və WebDriver-in doldura bilmədiyi giriş pəncərəsini göstərir. İki etibarlı həll mövcuddur: Python-da ProxyV4 girişini idarə edən selenium-wire və istənilən Selenium dilində onAuthRequired sorğusuna cavab verən kiçik bir Chrome genişlənməsi.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP2,25 US$
- 3+ IP2,10 US$
- 10+ IP2,00 US$
- 25+ IP1,90 US$
- 50+ IP1,80 US$
- 100+ IP1,70 US$
- 200+ IP1,60 US$
- 500+ IP1,50 US$
Seçimlərin müqayisəsi
| Metod | Necə konfiqurasiya edilir | Kimlər üçün uyğundur |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Python-da ən sürətli yol; brauzer açıq olarkən proksini dəyişmək mümkündür |
| Autentifikasiya genişlənməsi | Arxa plan skripti chrome.webRequest.onAuthRequired hadisəsini idarə edən zip formatlı genişlənmə | Həm Java, C#, Python, həm də undetected-chromedriver üçün |
| Playwright-a keçid | browser.newContext({ proxy: { server, username, password } }) | Yeni layihələr; proksi girişi daxilidir, genişlənmə tələb olunmur |
Sadə --proxy-server ilə nə baş verir
Chrome proksi ünvanını əmr sətrindən qəbul edir, lakin ora daxil edilmiş istənilən giriş məlumatlarını saymır. Proksi 407 cavabı verdikdə, Chrome yerli daxilolma pəncərəsi açır. Bu pəncərə səhifənin DOM strukturundan kənarda olduğu üçün find_element onu görə bilmir və skript vaxt limiti bitənə qədər gözləyir. Buna görə də işləyən hər bir metod giriş məlumatlarını bayraqdan kənar bir yerdə təqdim edir.
Nəzərə alın ki, selenium-wire artıq aktiv şəkildə dəstəklənmir. Bir çox quraşdırmalar üçün hələ də işləyir, lakin uzunmüddətli layihələr üçün genişlənmə yanaşması və ya Playwright daha təhlükəsiz seçimdir.
Proksili Selenium icralarını səmərəli saxlamaq
- Yavaş üçüncü tərəf skriptlərini gözləmək əvəzinə, DOM hazır olan kimi skriptin davam etməsi üçün
options.page_load_strategy = 'eager'təyin edin - Chrome 109 və ya daha sonrakı versiyalarda headless icralar üçün
--headless=newistifadə edin; genişlənmələr, o cümlədən autentifikasiya genişlənməsi normal pəncərədəki kimi davranır - Yalnız qiymətlər və ya başlıqlar kimi mətnlərə ehtiyacınız olduqda, Chrome tənzimləmələrində şəkillərin yüklənməsini söndürün
- Qəza baş verdikdə arxada Chrome proseslərinin qalmaması üçün
driver.quit()əmrinitry / finallyblokuna daxil edin
Miqyası artırmazdan əvvəl
Hər bir WebDriver sessiyası tam bir brauzerdir, buna görə də sayt hesabları ünvana görə əlaqələndirirsə, hər sessiyaya öz IP-sini təyin edin. ProxyV4 fərdi IPv4 yalnız bir müştəriyə icarəyə verilir və müddəti uzatdıqda öz ünvanını saxlayır; bu da uzunmüddətli test hesablarının eyni IP-də qalmasını təmin edir. Yeni proksiləri əvvəlcə proksi yoxlayıcısından keçirin ki, nasaz xətt çaşdırıcı Selenium timeout xətası kimi üzə çıxmasın.
Əgər icra prosesi hələ də səhifələri serverin öz IP-sindən açırsa və ya tunel xətası ilə dayanırsa, proksi işləmir bölməsinin Selenium hissəsində əsas səbəblər ardıcıllıqla sadalanır.
Addım-addım
- 1
selenium-wire quraşdırın
Virtual mühitinizdə
pip install selenium-wireəmrini işə salın. - 2
Proksini təsvir edin
ProxyV4 sifarişiniz əsasında
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}qurun. - 3
Chrome-u bu seçimlərlə başladın
seleniumwire-dənwebdriver-i idxal edərək drayveridriver = webdriver.Chrome(seleniumwire_options=sw_options)ilə yaradın. - 4
Çıxış IP-sini yoxlayın
driver.get('https://proxyv4.com/api/my-ip')çağırışını edin və səhifədə proksi ünvanının göstərildiyini təsdiqləyin.
Tez-tez verilən suallar
ChromeOptions-da --proxy-server=http://user:pass@ip:port niyə nəzərə alınmır?
Chrome qəsdən giriş məlumatlarını --proxy-server dəyərindən silir. Onları selenium-wire və ya onAuthRequired genişlənməsi vasitəsilə təqdim edin, yaxud birbaşa istifadəçi adı və şifrə qəbul edən Playwright-a keçin.
selenium-wire brauzeri yenidən başlatmadan proksini dəyişə bilərmi?
Bəli. Yeni lüğət təyin edin: driver.proxy = {'http': 'http://...', 'https': 'http://...'} və sonrakı sorğular yeni əsas proksidən istifadə edəcək.
Autentifikasiya genişlənməsi headless Chrome-da işləyirmi?
Bəli, --headless=new ilə işləyir. Köhnə --headless rejimi genişlənmələri eyni qaydada yükləmirdi.
Selenium proksi vasitəsilə hər səhifədə taymaut xətası verir. Sonra nə etməli?
Eyni giriş məlumatlarından istifadə edərək cURL ilə IP son nöqtəsini yükləyin. Əgər cURL də uğursuz olarsa, problem xətt və ya portdadır; proksi taymaut bələdçisi nəyi yoxlamaq lazım olduğunu göstərir.
Mənbələr
Selenium sessiyaları üçün sabit IP-lər
7 ölkədə fərdi IPv4 və ABŞ ilə Vyetnamda statik ISP, istifadəçi adı və şifrə ilə, limitsiz trafik və hər IP-yə bir müştəri.
ABŞ üzrə canlı qiymətləri yoxlayın