Selenium WebDriver и автентицирани проксија: што навистина работи
Од инженерскиот тим на ProxyV4 · Updated:
За автентикација на Selenium прокси е потребно заобиколно решение, бидејќи параметарот --proxy-server=http://ip:port на ChromeDriver не може да пренесе корисничко име и лозинка; Chrome го испушта вградениот user:pass и прикажува дијалог за најава што WebDriver не може да го пополни. Двете сигурни решенија се selenium-wire, кој управува со најавата на ProxyV4 во Python, и мала екстензија за Chrome што одговара на onAuthRequired во кој било јазик за Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP2,25 US$
- 3+ IP2,10 US$
- 10+ IP2,00 US$
- 25+ IP1,90 US$
- 50+ IP1,80 US$
- 100+ IP1,70 US$
- 200+ IP1,60 US$
- 500+ IP1,50 US$
Споредба на опциите
| Метод | Како се конфигурира | За што е соодветно |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Најбрзиот пат во Python; проксито може да се менува додека прелистувачот е отворен |
| Екстензија за автентикација | Зипувана екстензија чија скрипта во позадина управува со chrome.webRequest.onAuthRequired | Еднакво за Java, C#, Python и undetected-chromedriver |
| Премин кон Playwright | browser.newContext({ proxy: { server, username, password } }) | Нови проекти; најавата за прокси е вградена, без екстензија |
Што се случува со обичен --proxy-server
Chrome ја презема прокси-адресата од командната линија, но ги игнорира сите акредитиви внесени во неа. Кога проксито враќа одговор 407, Chrome отвора вграден прозорец за најава. Тој прозорец е надвор од DOM на страницата, па find_element не може да го види и скриптата чека сè додека не истече времето. Затоа, секој функционален метод ги проследува акредитивите на друго место освен преку параметарот.
Имајте предвид дека selenium-wire повеќе не се одржува активно. Сè уште работи за многу конфигурации, но за долгорочни проекти пристапот со екстензија или Playwright е посигурен избор.
Одржување ефикасност при стартување на Selenium со прокси
- Поставете
options.page_load_strategy = 'eager'за скриптата да продолжи штом DOM е подготвен, наместо да чека бавни надворешни скрипти - За headless извршување на Chrome 109 или понов користете
--headless=new; екстензиите, вклучувајќи ја и онаа за автентикација, се однесуваат како во нормален прозорец - Исклучете го вчитувањето слики во поставките на Chrome кога ви е потребен само текст, како цени или наслови
- Поставете го
driver.quit()воtry / finallyблок за евентуален пад да не остави активни Chrome процеси
Пред да го зголемите обемот
Секоја WebDriver сесија е целосен прелистувач, па затоа доделете ѝ сопствена IP на секоја сесија доколку сајтот ги поврзува сметките според адреса. Приватниот IPv4 од ProxyV4 се изнајмува на еден корисник и ја задржува адресата при обновување, што ги одржува долготрајните тест-сметки на истата IP. Прво проверете ги новите проксија преку проверувачот на прокси за лоша линија да не се појави како збунувачки Selenium timeout.
Доколку извршувањето сè уште отвора страници од сопствената IP на серверот или запира поради грешка во тунелот, делот за Selenium во проксито не работи ги наведува вообичаените причини по редослед.
Чекор по чекор
- 1
Инсталирајте selenium-wire
Во вашата виртуелна околина извршете
pip install selenium-wire. - 2
Дефинирајте го проксито
Формирајте
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}од вашата ProxyV4 нарачка. - 3
Стартувајте Chrome со тие опции
Креирајте го драјверот со
driver = webdriver.Chrome(seleniumwire_options=sw_options), увезувајќиwebdriverодseleniumwire. - 4
Проверете ја излезната IP
Повикајте
driver.get('https://proxyv4.com/api/my-ip')и потврдете дека страницата ја прикажува прокси-адресата.
Често поставувани прашања
Зошто --proxy-server=http://user:pass@ip:port се игнорира во ChromeOptions?
Chrome наменски ги отстранува акредитивите од вредноста --proxy-server. Проследете ги преку selenium-wire, екстензија со onAuthRequired или префрлете се на Playwright, кој директно прифаќа корисничко име и лозинка.
Може ли selenium-wire да промени прокси без рестартирање на прелистувачот?
Да. Доделете нов dict, driver.proxy = {'http': 'http://...', 'https': 'http://...'}, и следните барања ќе го користат новото upstream прокси.
Дали екстензијата за автентикација работи во headless Chrome?
Да, со --headless=new. Стариот режим --headless не ги вчитуваше екстензиите на ист начин.
Selenium јавува timeout на секоја страница преку проксито. Што понатаму?
Вчитајте ја IP крајната точка со cURL користејќи ги истите акредитиви. Доколку и cURL падне, проблемот е во линијата или портата; водичот proxy timeout guide наведува што да проверите.
Извори
Стабилни IP-адреси за Selenium сесии
Приватни IPv4 во 7 земји и статични ISP во САД и Виетнам, со корисничко име и лозинка, неограничен сообраќај и еден корисник по IP.
Проверете ги цените за САД во живо