Selenium WebDriver e proxy autenticati: soluzioni valide
A cura del team di ingegneria di ProxyV4 · Updated:
L'autenticazione proxy in Selenium richiede un workaround, poiché il flag --proxy-server=http://ip:port di ChromeDriver non supporta nome utente e password; Chrome ignora le credenziali user:pass inline e mostra una finestra di login che WebDriver non può gestire. Le due soluzioni affidabili sono selenium-wire, che gestisce l'accesso ProxyV4 in Python, e una piccola estensione Chrome che risponde all'evento onAuthRequired in qualsiasi linguaggio supportato da Selenium.
http://user:pass@ip:port (selenium-wire / Chrome proxy extension)- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP2,25 USD
- 3+ IP2,10 USD
- 10+ IP2,00 USD
- 25+ IP1,90 USD
- 50+ IP1,80 USD
- 100+ IP1,70 USD
- 200+ IP1,60 USD
- 500+ IP1,50 USD
Confronto tra le opzioni
| Metodo | Come configurarlo | Ideale per |
|---|---|---|
selenium-wire (Python) | seleniumwire_options={'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}} | La soluzione più rapida in Python; consente di cambiare proxy con il browser aperto |
| Estensione di autenticazione | Un'estensione zippata il cui script di background gestisce chrome.webRequest.onAuthRequired | Java, C#, Python e undetected-chromedriver indistintamente |
| Passare a Playwright | browser.newContext({ proxy: { server, username, password } }) | Nuovi progetti; autenticazione proxy integrata, senza bisogno di estensioni |
Cosa succede usando solo --proxy-server
Chrome acquisisce l'indirizzo del proxy dalla riga di comando, ma ignora le credenziali inserite al suo interno. Quando il proxy risponde con 407, Chrome apre una finestra di accesso nativa. Questa richiesta si trova all'esterno del DOM della pagina, quindi find_element non può individuarla e lo script rimane in attesa fino al timeout. Di conseguenza, tutti i metodi funzionanti forniscono le credenziali separatamente rispetto al flag.
Tieni presente che selenium-wire non è più mantenuto attivamente. Funziona ancora per molte configurazioni, ma per progetti a lungo termine l'approccio con estensione o Playwright rappresenta la scelta più sicura.
Mantenere efficienti le sessioni Selenium con proxy
- Imposta
options.page_load_strategy = 'eager'affinché lo script prosegua non appena il DOM è pronto, invece di attendere script di terze parti lenti - Per esecuzioni headless su Chrome 109 o versioni successive usa
--headless=new; le estensioni, inclusa quella di autenticazione, funzionano come in una normale finestra - Disattiva il caricamento delle immagini nelle preferenze di Chrome quando hai bisogno solo di dati testuali come prezzi o titoli
- Inserisci
driver.quit()all'interno di un bloccotry / finallyper evitare che un arresto anomalo lasci processi Chrome aperti in background
Prima di passare su larga scala
Ogni sessione WebDriver è un browser completo, quindi assegna a ciascuna sessione un proprio IP se il sito associa gli account per indirizzo. Un IPv4 privato ProxyV4 viene noleggiato a un solo cliente e mantiene il proprio indirizzo al rinnovo, conservando gli account di test a lungo termine sullo stesso IP. Verifica prima i nuovi proxy con il proxy checker, così che una linea difettosa non si manifesti con un fuorviante timeout di Selenium.
Se un'esecuzione apre ancora le pagine dall'IP stesso del server o si blocca su un errore di tunnel, la sezione Selenium di proxy non funzionante elenca le cause più comuni in ordine.
Guida passo-passo
- 1
Installa selenium-wire
Nel tuo ambiente virtuale, esegui
pip install selenium-wire. - 2
Configura i parametri del proxy
Componi
sw_options = {'proxy': {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}}usando i dati del tuo ordine ProxyV4. - 3
Avvia Chrome con queste opzioni
Crea il driver con
driver = webdriver.Chrome(seleniumwire_options=sw_options), importandowebdriverdaseleniumwire. - 4
Verifica l'IP in uscita
Esegui
driver.get('https://proxyv4.com/api/my-ip')e accertati che la pagina mostri l'indirizzo del proxy.
Domande frequenti
Perché --proxy-server=http://user:pass@ip:port viene ignorato in ChromeOptions?
Per impostazione predefinita, Chrome rimuove le credenziali dal valore di --proxy-server. Passale tramite selenium-wire, un'estensione per onAuthRequired oppure passa a Playwright, che supporta direttamente nome utente e password.
selenium-wire può cambiare proxy senza riavviare il browser?
Sì. Assegna un nuovo dizionario con driver.proxy = {'http': 'http://...', 'https': 'http://...'} e tutte le richieste successive utilizzeranno il nuovo proxy upstream.
L'estensione di autenticazione funziona in Chrome headless?
Sì, utilizzando il flag --headless=new. La vecchia modalità --headless non caricava le estensioni allo stesso modo.
Selenium va in timeout su ogni pagina attraverso il proxy. Cosa fare?
Effettua una richiesta all'endpoint per la verifica dell'IP tramite cURL usando le stesse credenziali. Se anche cURL fallisce, la causa risiede nella linea o nella porta; consulta la guida ai timeout proxy per conoscere le verifiche da compiere.
Fonti
IP stabili per sessioni Selenium
IPv4 dedicati in 7 paesi e ISP statici negli Stati Uniti e in Vietnam, con autenticazione user e password, traffico illimitato e un solo cliente per IP.
Verifica i prezzi attuali per gli USA