Selenium WebDriver va autentifikatsiyali proksilar: qaysi usullar ishlaydi
ProxyV4 muhandislar jamoasi tomonidan tayyorlandi · Updated:
Selenium proksi autentifikatsiyasi alohida yechim talab qiladi, chunki ChromeDriver'ning --proxy-server=http://ip:port flagi login va parolni qabul qila olmaydi; Chrome qatordagi user:pass ma'lumotlarini tashlab yuboradi va WebDriver to'ldira olmaydigan login oynasini ko'rsatadi. Ikkita ishonchli yechim mavjud: Python'da ProxyV4 tizimiga kirishni ta'minlaydigan selenium-wire hamda istalgan Selenium tilida onAuthRequired hodisasiga javob beradigan kichik Chrome kengaytmasi.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 ta IP1,85 US$
- 3+ ta IP1,70 US$
- 10+ ta IP1,60 US$
- 25+ ta IP1,50 US$
- 50+ ta IP1,40 US$
- 100+ ta IP1,30 US$
- 200+ ta IP1,20 US$
- 500+ ta IP1,10 US$
- 1 ta IP2,25 US$
- 3+ ta IP2,10 US$
- 10+ ta IP2,00 US$
- 25+ ta IP1,90 US$
- 50+ ta IP1,80 US$
- 100+ ta IP1,70 US$
- 200+ ta IP1,60 US$
- 500+ ta IP1,50 US$
Usullar taqqoslanishi
| Usul | Qanday sozlanadi | Qaysi hollarda mos keladi |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Python uchun eng tezkor yo'l; brauzer ochiqligida ham proksini o'zgartirish mumkin |
| Autentifikatsiya kengaytmasi | Background skripti chrome.webRequest.onAuthRequired hodisasini boshqaradigan zip qilingan kengaytma | Java, C#, Python va undetected-chromedriver uchun birdek mos |
| Playwright'ga o'tish | browser.newContext({ proxy: { server, username, password } }) | Yangi loyihalar uchun; proksi avtorizatsiyasi o'rnatilgan, kengaytma shart emas |
Oddiy --proxy-server bilan nima sodir bo'ladi
Chrome buyruqlar qatoridan proksi manzilini oladi, lekin unga yozilgan login va parolni e'tiborsiz qoldiradi. Proksi 407 javobini qaytarganda, Chrome tizimning kirish oynasini ochadi. Ushbu oyna sahifa DOM'idan tashqarida bo'lgani sababli find_element uni ko'ra olmaydi va skript taym-aut bo'lguncha kutadi. Shu sababli har qanday ishlaydigan usul hisob ma'lumotlarini flagdan boshqa joy orqali uzatadi.
E'tibor bering, selenium-wire endi faol qo'llab-quvvatlanmaydi. U hali ham ko'plab loyihalarda ishlaydi, biroq uzoq muddatli loyihalar uchun kengaytma usuli yoki Playwright xavfsizroq tanlovdir.
Proksili Selenium ishini samarali saqlash
- Skript sekin yuklanadigan tashqi skriptlarni kutmasdan, DOM tayyor bo'lishi bilanoq davom etishi uchun
options.page_load_strategy = 'eager'qilib belgilang - Chrome 109 yoki undan yangi versiyalarda headless rejimida ishlash uchun
--headless=newdan foydalaning; kengaytmalar, jumladan autentifikatsiya kengaytmasi ham oddiy oynadagidek ishlaydi - Faqat narxlar yoki sarlavhalar kabi matn kerak bo'lsa, Chrome sozlamalarida rasmlar yuklanishini o'chirib qo'ying
- Dastur to'xtab qolganda ortiqcha Chrome jarayonlari qolib ketmasligi uchun
driver.quit()nitry / finallyblokiga joylashtiring
Loyihani kengaytirishdan oldin
Har bir WebDriver sessiyasi to‘liq brauzer hisoblanadi, shuning uchun sayt akkauntlarni manzil bo‘yicha bog‘lasa, har bir sessiyaga alohida IP bering. ProxyV4 shaxsiy IPv4 faqat bitta mijozga ijaraga beriladi va muddati uzaytirilganda o‘z manzilini saqlab qoladi, bu esa uzoq muddatli test akkauntlarini bitta IP da ushlab turadi. Nosoz aloqa tushunarsiz Selenium taymoutiga aylanmasligi uchun avval yangi proksilarni proksi tekshirgich orqali tekshirib oling.
Agar ishga tushirish baribir sahifalarni serverning o‘z IP manzilidan ochsa yoki tunnel xatosida to‘xtab qolsa, proksi ishlamayapti sahifasining Selenium bo‘limida odatiy sabablar ketma-ket keltirilgan.
Bosqichma-bosqich
- 1
selenium-wire o'rnatish
Virtual muhitingizda
pip install selenium-wirebuyrug'ini ishga tushiring. - 2
Proksini sozlash
ProxyV4 buyurtmangiz asosida
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}obyektini tuzing. - 3
Chrome'ni ushbu parametrlar bilan ishga tushirish
seleniumwirekutubxonasidanwebdriverni import qilib, drayvernidriver = webdriver.Chrome(seleniumwire_options=sw_options)orqali yarating. - 4
Chiqish IP-manzilini tekshirish
driver.get('https://proxyv4.com/api/my-ip')so'rovini yuboring va sahifada proksi manzili ko'rsatilganini tasdiqlang.
Ko‘p beriladigan savollar
Nima uchun ChromeOptions ichida --proxy-server=http://user:pass@ip:port e'tiborsiz qoldiriladi?
Chrome arxitekturasi bo'yicha hisob ma'lumotlarini --proxy-server qiymatidan olib tashlaydi. Ularni selenium-wire, onAuthRequired kengaytmasi orqali uzating yoki login va parolni to'g'ridan-to'g'ri qabul qiladigan Playwright'ga o'ting.
selenium-wire brauzerni qayta ishga tushirmasdan proksini o'zgartira oladimi?
Ha. Yangi lug'at belgilang: driver.proxy = {'http': 'http://...', 'https': 'http://...'}, va keyingi so'rovlar yangi proksi orqali yuboriladi.
Autentifikatsiya kengaytmasi headless Chrome rejimida ishlaydimi?
Ha, --headless=new parametri bilan ishlaydi. Eski --headless rejimi kengaytmalarni xuddi shunday yuklamas edi.
Selenium proksi orqali har bir sahifada taym-aut xatosini beryapti. Nima qilish kerak?
Ayni hisob ma'lumotlari bilan curl yordamida IP endpoint'ini yuklab ko'ring. Agar curl ham ishlamasa, muammo tarmoqda yoki portda; proxy timeout guide qo'llanmasida nimalarni tekshirish kerakligi ko'rsatilgan.
Manbalar
Selenium sessiyalari uchun barqaror IP manzillar
7 ta mamlakatda xususiy IPv4 hamda AQSH va Vyetnamda statik ISP, login va parol bilan, cheksiz trafik va har bir IP faqat bitta mijozga.
AQSH bo'yicha amaldagi narxlarni ko'rish