Selenium WebDriver болон нэвтрэлттэй прокси: юу үр дүнтэй ажилладаг вэ
ProxyV4 инженерийн баг · Updated:
ChromeDriver-ийн --proxy-server=http://ip:port туг нь хэрэглэгчийн нэр болон нууц үг дамжуулах боломжгүй байдаг тул Selenium проксийн нэвтрэлтэд тойрох арга хэрэгтэй болдог; Chrome нь бичсэн user:pass-ийг хаяж, WebDriver бөглөж чадахгүй нэвтрэх цонх гаргаж ирдэг. Найдвартай хоёр шийдэл нь Python дээр ProxyV4-ийн нэвтрэлтийг зохицуулдаг selenium-wire, мөн Selenium-ийн ямар ч хэл дээр onAuthRequired-д хариулдаг жижиг Chrome өргөтгөл юм.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP$ 1.85
- 3+ IP$ 1.70
- 10+ IP$ 1.60
- 25+ IP$ 1.50
- 50+ IP$ 1.40
- 100+ IP$ 1.30
- 200+ IP$ 1.20
- 500+ IP$ 1.10
- 1 IP$ 2.25
- 3+ IP$ 2.10
- 10+ IP$ 2.00
- 25+ IP$ 1.90
- 50+ IP$ 1.80
- 100+ IP$ 1.70
- 200+ IP$ 1.60
- 500+ IP$ 1.50
Хувилбаруудын харьцуулалт
| Арга | Хэрхэн тохируулах | Тохиромжтой хэрэглээ |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Python дээрх хамгийн хурдан арга; хөтөч нээлттэй байх үед ч проксиг солих боломжтой |
| Нэвтрэлтийн өргөтгөл | Фон скрипт нь chrome.webRequest.onAuthRequired-ийг боловсруулдаг zip өргөтгөл | Java, C#, Python болон undetected-chromedriver-т бүгдэд нь тохиромжтой |
| Playwright руу шилжих | browser.newContext({ proxy: { server, username, password } }) | Шинэ төслүүдэд; өргөтгөл ашиглахгүйгээр проксийн нэвтрэлт суурилагдсан байдаг |
Энгийн --proxy-server ашиглахад юу болдог вэ
Chrome нь командын мөрөөс прокси хаягийг авдаг боловч дотор нь бичсэн нэвтрэх мэдээллийг үл тоодог. Прокси нь 407 хариу өгөх үед Chrome өөрийн системийн нэвтрэх цонхыг нээдэг. Энэ цонх нь хуудасны DOM-оос гадуур байдаг тул find_element түүнийг харж чадахгүй бөгөөд скрипт хугацаа нь дуустал (timeout) хүлээдэг. Иймээс бодитоор ажилладаг бүх аргууд нэвтрэх мэдээллийг тугнаас өөр замаар дамжуулдаг.
selenium-wire төслийг цаашид идэвхтэй хөгжүүлж дэмжихээ больсныг анхаарна уу. Энэ нь олон тохиргоонд ажилласан хэвээр байгаа ч урт хугацааны төслүүдэд өргөтгөлийн арга эсвэл Playwright ашиглах нь илүү найдвартай сонголт юм.
Прокситой Selenium-ийн ажиллагааг үр ашигтай байлгах
- Гуравдагч талын удаан скриптүүдийг хүлээхийн оронд DOM бэлэн болмогц скриптийг үргэлжлүүлэхийн тулд
options.page_load_strategy = 'eager'гэж тохируулах - Chrome 109 буюу түүнээс хойшхи хувилбар дээр headless горимд ажиллуулахдаа
--headless=new-ийг ашиглаарай; энэ үед нэвтрэлтийн өргөтгөл зэрэг бүх өргөтгөлүүд энгийн цонх шиг ажиллана - Үнэ эсвэл гарчиг гэх мэт зөвхөн текст хэрэгтэй үед Chrome-ийн тохиргооноос зураг ачаалахыг идэвхгүй болгох
- Скрипт алдаа зааж гацах үед цаана нь Chrome-ийн процессууд үлдэхээс сэргийлж
driver.quit()-ийгtry / finallyблокт оруулах
Хэрэглээгээ өргөтгөхөөс өмнө
WebDriver сесс бүр нь бүрэн хэмжээний хөтөч тул хэрэв тухайн сайт бүртгэлүүдийг хаягаар нь холбож үздэг бол сесс бүрд өөрийн гэсэн IP олгоорой. ProxyV4 хувийн IPv4 нь зөвхөн нэг хэрэглэгчид түрээслэгддэг бөгөөд хугацааг нь сунгахад хаягаа хадгалдаг тул удаан ажиллах туршилтын бүртгэлүүдийг нэг IP дээр найдвартай байлгадаг. Гэмтэлтэй шугам нь ойлгомжгүй Selenium timeout алдаа болж харагдахаас сэргийлж, шинэ проксинуудыг эхлээд прокси шалгагч-аар шалгаарай.
Хэрэв ажиллуулах явцад хуудсыг серверийн өөрийн IP-аас нээсэн хэвээр байх эсвэл tunnel алдаа заан зогсвол прокси ажиллахгүй байх хуудасны Selenium хэсэгт нийтлэг шалтгаануудыг дарааллаар нь жагсаасан болно.
Алхам алхмаар
- 1
selenium-wire суулгах
Виртуал орчиндоо
pip install selenium-wireкомандыг ажиллуулна уу. - 2
Прокси тохиргоогоо бэлтгэх
Өөрийн ProxyV4 захиалгын мэдээллээр
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}тохиргоог үүсгэнэ үү. - 3
Тэдгээр тохиргоотойгоор Chrome-ийг эхлүүлэх
webdriver-ийгseleniumwire-ээс импортолж,driver = webdriver.Chrome(seleniumwire_options=sw_options)кодоор драйверийг үүсгэнэ үү. - 4
Гаралтын IP-г шалгах
driver.get('https://proxyv4.com/api/my-ip')-ийг дуудаж, хуудас дээр проксийн хаяг харагдаж байгааг баталгаажуулна уу.
Түгээмэл асуултууд
ChromeOptions дотор --proxy-server=http://user:pass@ip:port яагаад ажиллахгүй байна вэ?
Chrome нь цаанаасаа --proxy-server утгаас нэвтрэх мэдээллийг автоматаар хасдаг. Тэдгээрийг selenium-wire эсвэл onAuthRequired өргөтгөлөөр дамжуулах, эсвэл хэрэглэгчийн нэр, нууц үгийг шууд хүлээж авдаг Playwright руу шилжинэ үү.
selenium-wire нь хөтчийг дахин эхлүүлэхгүйгээр проксиг сольж чадах уу?
Тийм. driver.proxy = {'http': 'http://...', 'https': 'http://...'} гэж шинэ dict онооход дараагийн хүсэлтүүд шинэ проксигоор дамжих болно.
Нэвтрэлтийн өргөтгөл нь headless Chrome дээр ажиллах уу?
Тийм, --headless=new горимд ажиллана. Хуучин --headless горим нь өргөтгөлүүдийг ийм байдлаар ачаалдаггүй байсан.
Selenium нь проксигоор хуудас бүр дээр хугацаа нь дуусаж (timeout) байна. Одоо яах вэ?
Ижил нэвтрэх мэдээллээр curl ашиглан IP endpoint руу хандаж үзнэ үү. Хэрэв curl мөн адил амжилтгүй болбол шугам эсвэл порт асуудалтай байна гэсэн үг; юуг шалгах хэрэгтэйг проксийн хугацаа хэтрэх алдааны гарын авлага дотор жагсаасан байгаа.
Эх сурвалж
Selenium сессүүдэд зориулсан тогтвортой IP-ууд
7 улсын хувийн IPv4 болон АНУ, Вьетнам дахь статик ISP, хэрэглэгчийн нэр ба нууц үгтэй, хязгааргүй дататай, нэг IP-г нэг л хэрэглэгч ашиглана.
АНУ-ын одоогийн үнийг харах