Selenium WebDriver i proxy z autoryzacją: sprawdzone metody
Autor: Zespół inżynierski ProxyV4 · Updated:
Uwierzytelnianie proxy w Selenium wymaga obejścia, ponieważ flaga --proxy-server=http://ip:port w ChromeDriverze nie obsługuje loginu i hasła; Chrome odrzuca dane user:pass w adresie i wyświetla okno logowania, którego WebDriver nie potrafi wypełnić. Dwa niezawodne rozwiązania to selenium-wire, które obsługuje logowanie do ProxyV4 w Pythonie, oraz małe rozszerzenie do Chrome obsługujące zdarzenie onAuthRequired w dowolnym języku Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP2,25 USD
- 3+ IP2,10 USD
- 10+ IP2,00 USD
- 25+ IP1,90 USD
- 50+ IP1,80 USD
- 100+ IP1,70 USD
- 200+ IP1,60 USD
- 500+ IP1,50 USD
Porównanie dostępnych opcji
| Metoda | Sposób konfiguracji | Kiedy wybrać |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | Najszybszy sposób w Pythonie; proxy można zmienić przy otwartej przeglądarce |
| Rozszerzenie uwierzytelniające | Rozszerzenie w pliku ZIP, którego skrypt w tle obsługuje chrome.webRequest.onAuthRequired | Zarówno Java, C#, Python, jak i undetected-chromedriver |
| Przejście na Playwright | browser.newContext({ proxy: { server, username, password } }) | Nowe projekty; logowanie do proxy jest wbudowane, bez rozszerzeń |
Co się dzieje przy zwykłej fladze --proxy-server
Chrome pobiera adres proxy z wiersza poleceń, lecz ignoruje wpisane w niego dane uwierzytelniające. Gdy proxy zwraca kod 407, Chrome otwiera natywne okno logowania. Znajduje się ono poza strukturą DOM strony, więc find_element go nie widzi, a skrypt czeka aż do przekroczenia limitu czasu. Dlatego każda działająca metoda przekazuje dane logowania w inny sposób niż przez flagę.
Pamiętaj, że projekt selenium-wire nie jest już aktywnie rozwijany. Wciąż działa w wielu konfiguracjach, ale w długofalowych projektach bezpieczniejszym wyborem jest rozszerzenie lub Playwright.
Optymalizacja wydajności Selenium z proxy
- Ustaw
options.page_load_strategy = 'eager', aby skrypt kontynuował działanie zaraz po załadowaniu drzewa DOM, zamiast czekać na powolne skrypty firm trzecich - W trybie headless w Chrome 109 lub nowszym używaj
--headless=new; rozszerzenia, w tym rozszerzenie uwierzytelniające, działają wtedy jak w normalnym oknie - Wyłącz ładowanie obrazów w preferencjach Chrome, jeśli potrzebujesz tylko tekstu, na przykład cen lub tytułów
- Umieść
driver.quit()w blokutry / finally, aby awaria nie pozostawiała działających procesów Chrome
Zanim przejdziesz do większej skali
Każda sesja WebDriver to pełna przeglądarka, dlatego przypisz każdej sesji osobny adres IP, jeśli serwis łączy konta po adresie. Prywatny IPv4 od ProxyV4 jest wynajmowany jednemu klientowi i zachowuje swój adres przy odnowieniu, co pozwala utrzymać długoterminowe konta testowe na tym samym IP. Najpierw sprawdź nowe proxy w testerze proxy, aby wadliwe łącze nie objawiało się mylącym timeoutem w Selenium.
Jeśli uruchomienie nadal otwiera strony z własnego IP serwera lub zatrzymuje się na błędzie tunelu, sekcja Selenium na stronie proxy nie działa wymienia najczęstsze przyczyny w odpowiedniej kolejności.
Krok po kroku
- 1
Zainstaluj selenium-wire
W swoim środowisku wirtualnym uruchom
pip install selenium-wire. - 2
Skonfiguruj parametry proxy
Utwórz słownik
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}na podstawie danych z zamówienia ProxyV4. - 3
Uruchom Chrome z tymi opcjami
Zainicjalizuj sterownik za pomocą
driver = webdriver.Chrome(seleniumwire_options=sw_options), importującwebdriverz pakietuseleniumwire. - 4
Sprawdź wyjściowy adres IP
Wywołaj
driver.get('https://proxyv4.com/api/my-ip')i upewnij się, że strona wyświetla adres proxy.
Często zadawane pytania
Dlaczego parametr --proxy-server=http://user:pass@ip:port jest ignorowany w ChromeOptions?
Chrome celowo usuwa dane logowania z wartości --proxy-server. Przekaż je za pośrednictwem selenium-wire, rozszerzenia onAuthRequired lub przejdź na Playwright, który natywnie obsługuje nazwę użytkownika i hasło.
Czy selenium-wire może zmienić proxy bez ponownego uruchamiania przeglądarki?
Tak. Przypisz nowy słownik: driver.proxy = {'http': 'http://...', 'https': 'http://...'}, a kolejne żądania skorzystają z nowego proxy.
Czy rozszerzenie uwierzytelniające działa w trybie headless Chrome?
Tak, z flagą --headless=new. Poprzedni tryb --headless nie ładował rozszerzeń w ten sam sposób.
Selenium przekracza limit czasu na każdej stronie przez proxy. Co zrobić?
Otwórz endpoint sprawdzający IP za pomocą curl z tymi samymi danymi logowania. Jeśli curl również zwróci błąd, problem leży po stronie łącza lub portu; przewodnik po błędach limitu czasu proxy zawiera listę kwestii do sprawdzenia.
Źródła
Stabilne adresy IP dla sesji Selenium
Prywatne adresy IPv4 w 7 krajach oraz statyczne proxy ISP w USA i Wietnamie, z loginem i hasłem, bez limitu transferu i z jednym klientem na adres IP.
Sprawdź aktualne ceny w USA