Richieste Python tramite proxy autenticato, passo dopo passo
A cura del team di ingegneria di ProxyV4 · Updated:
Per usare un proxy in Python requests, passa un dict proxies le cui chiavi 'http' e 'https' puntano entrambe a http://user:pass@ip:port. Assegna quel dict a una requests.Session() e la stessa connessione verso il proxy verrà riutilizzata per ogni chiamata, risultando più veloce rispetto all'apertura di una nuova connessione per richiesta. Di seguito: il dict, la sessione, gli errori più probabili e un controllo su riga singola dell'IP di uscita di ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
Il dict proxies, spiegato
| Impostazione | Valore | Motivo |
|---|---|---|
Chiave 'http' | 'http://user:pass@ip:port' | Usata per i normali URL http:// |
Chiave 'https' | 'http://user:pass@ip:port' | Sempre un URL proxy http://: urllib3 richiede al proxy un tunnel CONNECT ed esegue TLS al suo interno |
timeout | timeout=(5, 15) | 5 s per connettersi, 15 s per leggere, così una destinazione non raggiungibile non blocca il thread |
| Rotazione | itertools.cycle(proxy_list) | Distribuisce i tuoi IP statici a turno |
Perché una Session è migliore del semplice requests.get()
Ogni chiamata requests.get() di primo livello crea un nuovo pool di connessioni, ripetendo ogni volta la connessione TCP al proxy e l'handshake TLS con il sito. Una Session mantiene attive queste connessioni tra una chiamata e l'altra. Per uno script che scarica centinaia di pagine tramite un solo IP, la differenza è visibile nel tempo di esecuzione totale.
Configura s.proxies.update(proxies) una volta e ogni s.get() e s.post() passerà attraverso il proxy. Un aspetto da considerare: se HTTP_PROXY o HTTPS_PROXY sono impostate nell'ambiente, requests potrebbe combinarle con le impostazioni della sessione; passa proxies= direttamente nella chiamata quando devi essere certo di quale proxy venga usato.
Errori e come interpretarli
ProxyErrorcon407 Proxy Authentication Required: il proxy è raggiungibile ma le credenziali nel tuo URL non corrispondono all'ordine. Consulta la pagina dell'errore 407- Le password contenenti
@,:o/interrompono l'URL; codificale prima conurllib.parse.quote(password, safe='') - Impostare l'URL del proxy su
https://di solito interrompe la connessione; mantienihttp://per entrambe le chiavi a meno che la porta del proxy non sia espressamente una porta TLS ConnectTimeoutindica un problema con l'IP o la porta, non con le credenziali; verifica la raggiungibilità con il port checker
Stesso pattern in httpx e aiohttp
Il formato dell'URL rimane lo stesso. In httpx, crea httpx.Client(proxy='http://user:pass@ip:port'); in aiohttp, passa proxy= a session.get(url, proxy=...). I crawl più ampi con pianificazione e tentativi di retry risultano in genere più semplici in Scrapy.
Guida passo-passo
- 1
Componi l'URL del proxy
Riscrivi ogni riga
ip:port:user:passdi ProxyV4 comehttp://user:pass@ip:port, oppure converti l'intera lista con il convertitore di formato proxy. - 2
Crea il dict
Scrivi
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Assegnalo a una Session
Crea
s = requests.Session()e chiamas.proxies.update(proxies)affinché le connessioni restino attive tra le richieste. - 4
Stampa l'IP di uscita
Esegui
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); l'IP nell'output deve essere quello del proxy.
Domande frequenti
Perché la voce 'https' è un URL http://?
Lo schema descrive come Python comunica con il proxy, non con il sito web. urllib3 si connette al proxy tramite normale HTTP, invia CONNECT ed esegue la sessione TLS con il sito https:// attraverso quel tunnel, mantenendo quindi cifrato il traffico della pagina.
Come posso distribuire le richieste su 25 proxy statici?
Inserisci i 25 URL in una lista, crea pool = itertools.cycle(PROXIES) e per ogni richiesta estrai p = next(pool) passando proxies={'http': p, 'https': p}. Mantieni un intervallo ragionevole per ciascun IP in modo da non sovraccaricare un singolo indirizzo.
Il traffico degli script Python è a consumo?
No. I piani ProxyV4 IPv4 dedicati e ISP statici includono traffico illimitato, quindi gli script di lunga durata non incorrono in alcun limite di dati.
Fonti
Un pool di IP statici per script Python
IPv4 dedicati in 7 paesi oltre a ISP statici negli Stati Uniti e in Vietnam. Acquista un singolo IP o un pacchetto; il prezzo per IP diminuisce con la quantità.
Verifica i prezzi USA in tempo reale