ProxyV4

Selenium WebDriver i proxy z autoryzacją: sprawdzone metody

· Updated:

Uwierzytelnianie proxy w Selenium wymaga obejścia, ponieważ flaga --proxy-server=http://ip:port w ChromeDriverze nie obsługuje loginu i hasła; Chrome odrzuca dane user:pass w adresie i wyświetla okno logowania, którego WebDriver nie potrafi wypełnić. Dwa niezawodne rozwiązania to selenium-wire, które obsługuje logowanie do ProxyV4 w Pythonie, oraz małe rozszerzenie do Chrome obsługujące zdarzenie onAuthRequired w dowolnym języku Selenium.

Selenium · HTTP
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)
Prywatne IPv4 (datacenter)
🇺🇸 Stany Zjednoczone
Dostępne
Od
1,10 USD / IP / miesiąc
Rabaty ilościowe
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Kup Stany Zjednoczone
Statyczne domowe ISP
🇺🇸 Stany Zjednoczone
Dostępne
Od
1,50 USD / IP / miesiąc
Rabaty ilościowe
  • 1 IP2,25 USD
  • 3+ IP2,10 USD
  • 10+ IP2,00 USD
  • 25+ IP1,90 USD
  • 50+ IP1,80 USD
  • 100+ IP1,70 USD
  • 200+ IP1,60 USD
  • 500+ IP1,50 USD
Kup Stany Zjednoczone

Porównanie dostępnych opcji

MetodaSposób konfiguracjiKiedy wybrać
selenium-wire (Python)seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}Najszybszy sposób w Pythonie; proxy można zmienić przy otwartej przeglądarce
Rozszerzenie uwierzytelniająceRozszerzenie w pliku ZIP, którego skrypt w tle obsługuje chrome.webRequest.onAuthRequiredZarówno Java, C#, Python, jak i undetected-chromedriver
Przejście na Playwrightbrowser.newContext({ proxy: { server, username, password } })Nowe projekty; logowanie do proxy jest wbudowane, bez rozszerzeń

Co się dzieje przy zwykłej fladze --proxy-server

Chrome pobiera adres proxy z wiersza poleceń, lecz ignoruje wpisane w niego dane uwierzytelniające. Gdy proxy zwraca kod 407, Chrome otwiera natywne okno logowania. Znajduje się ono poza strukturą DOM strony, więc find_element go nie widzi, a skrypt czeka aż do przekroczenia limitu czasu. Dlatego każda działająca metoda przekazuje dane logowania w inny sposób niż przez flagę.

Pamiętaj, że projekt selenium-wire nie jest już aktywnie rozwijany. Wciąż działa w wielu konfiguracjach, ale w długofalowych projektach bezpieczniejszym wyborem jest rozszerzenie lub Playwright.

Optymalizacja wydajności Selenium z proxy

  • Ustaw options.page_load_strategy = 'eager', aby skrypt kontynuował działanie zaraz po załadowaniu drzewa DOM, zamiast czekać na powolne skrypty firm trzecich
  • W trybie headless w Chrome 109 lub nowszym używaj --headless=new; rozszerzenia, w tym rozszerzenie uwierzytelniające, działają wtedy jak w normalnym oknie
  • Wyłącz ładowanie obrazów w preferencjach Chrome, jeśli potrzebujesz tylko tekstu, na przykład cen lub tytułów
  • Umieść driver.quit() w bloku try / finally, aby awaria nie pozostawiała działających procesów Chrome

Zanim przejdziesz do większej skali

Każda sesja WebDriver to pełna przeglądarka, dlatego przypisz każdej sesji osobny adres IP, jeśli serwis łączy konta po adresie. Prywatny IPv4 od ProxyV4 jest wynajmowany jednemu klientowi i zachowuje swój adres przy odnowieniu, co pozwala utrzymać długoterminowe konta testowe na tym samym IP. Najpierw sprawdź nowe proxy w testerze proxy, aby wadliwe łącze nie objawiało się mylącym timeoutem w Selenium.

Jeśli uruchomienie nadal otwiera strony z własnego IP serwera lub zatrzymuje się na błędzie tunelu, sekcja Selenium na stronie proxy nie działa wymienia najczęstsze przyczyny w odpowiedniej kolejności.

Krok po kroku

  1. 1

    Zainstaluj selenium-wire

    W swoim środowisku wirtualnym uruchom pip install selenium-wire.

  2. 2

    Skonfiguruj parametry proxy

    Utwórz słownik sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} na podstawie danych z zamówienia ProxyV4.

  3. 3

    Uruchom Chrome z tymi opcjami

    Zainicjalizuj sterownik za pomocą driver = webdriver.Chrome(seleniumwire_options=sw_options), importując webdriver z pakietu seleniumwire.

  4. 4

    Sprawdź wyjściowy adres IP

    Wywołaj driver.get('https://proxyv4.com/api/my-ip') i upewnij się, że strona wyświetla adres proxy.

Często zadawane pytania

Dlaczego parametr --proxy-server=http://user:pass@ip:port jest ignorowany w ChromeOptions?

Chrome celowo usuwa dane logowania z wartości --proxy-server. Przekaż je za pośrednictwem selenium-wire, rozszerzenia onAuthRequired lub przejdź na Playwright, który natywnie obsługuje nazwę użytkownika i hasło.

Czy selenium-wire może zmienić proxy bez ponownego uruchamiania przeglądarki?

Tak. Przypisz nowy słownik: driver.proxy = {'http': 'http://...', 'https': 'http://...'}, a kolejne żądania skorzystają z nowego proxy.

Czy rozszerzenie uwierzytelniające działa w trybie headless Chrome?

Tak, z flagą --headless=new. Poprzedni tryb --headless nie ładował rozszerzeń w ten sam sposób.

Selenium przekracza limit czasu na każdej stronie przez proxy. Co zrobić?

Otwórz endpoint sprawdzający IP za pomocą curl z tymi samymi danymi logowania. Jeśli curl również zwróci błąd, problem leży po stronie łącza lub portu; przewodnik po błędach limitu czasu proxy zawiera listę kwestii do sprawdzenia.

Źródła

Stabilne adresy IP dla sesji Selenium

Prywatne adresy IPv4 w 7 krajach oraz statyczne proxy ISP w USA i Wietnamie, z loginem i hasłem, bez limitu transferu i z jednym klientem na adres IP.

Sprawdź aktualne ceny w USA

Related articles

Proxy według platform
Proxy do web scrapingu: stała pula IP bez limitu transferu
Proxy do web scrapingu dla Python, Scrapy, Playwright i Selenium: pula prywatnych IPv4 i statycznych ISP, bez limitu transferu i stała cena za IP.
Konfiguracja proxy
Uwierzytelnianie proxy w Playwright: jedno statyczne IP na kontekst
Przypisz każdemu kontekstowi Playwright własne proxy HTTP(S) w Node.js lub Pythonie, dopasuj strefę i język do IP oraz sprawdź adres wyjściowy.
Konfiguracja proxy
Python requests przez proxy z autoryzacją krok po kroku
Wysyłaj zapytania w Pythonie przez proxy HTTP(S) z autoryzacją: stwórz słownik proxies, dodaj go do Session, zakoduj trudne hasła, rotuj listę i sprawdź IP.
Konfiguracja proxy
Puppeteer z uwierzytelnianym proxy: flaga startowa i logowanie
Uwierzytelnianie proxy w Puppeteer: gotowy przykład, --proxy-server dla adresu, page.authenticate() do logowania, a także obsługa SOCKS5, konteksty i poprawki.
Proxy według platform
Proxy do monitoringu pozycji SEO: zobacz stronę wyników oczami lokalnego użytkownika
Proxy SEO z prywatnym IPv4 w USA, UK, Wietnamie, Japonii i 4 innych krajach. Pozycje, wyniki lokalne i reklamy odpowiadają temu, co widzą lokalni użytkownicy.
Proxy według platform
Proxy dla sprzedawców Amazon: stały adres IP dla każdego konta
Proxy dla sprzedawców Amazon pod Seller Central, KDP i Merch: statyczne ISP w USA lub prywatne IPv4 w UK/Japonii na konto, na wyłączność i stałe po odnowieniu.
IPV4 · united states
Pula prywatnych proxy IPv4 w USA do scrapingu, śledzenia pozycji i weryfikacji reklam
Kup prywatne proxy IPv4 w USA: statyczne IP z datacenter, jeden użytkownik na IP, nielimitowany transfer. Do scrapingu, monitoringu SERP i weryfikacji reklam.
ISP · united states
Statyczne proxy ISP w USA: domowy adres IP, który nigdy się nie zmienia
Statyczne proxy ISP z USA na adresach IP operatorów domowych. Jedno stałe amerykańskie IP na konto dla sprzedawców Amazon, kont reklamowych oraz Instagrama.