Proxy per Scrapy: meta['proxy'], ordine dei middleware e rotazione
A cura del team di ingegneria di ProxyV4 · Updated:
In Scrapy, un proxy si imposta per singola richiesta tramite request.meta['proxy'] = 'http://user:pass@ip:port', e il middleware integrato HttpProxyMiddleware (ordine 750) converte la parte user:pass in un header Proxy-Authorization. Aggiungi un piccolo downloader middleware che viene eseguito prima, a 740, e ogni richiesta generata dal tuo spider potrà selezionare un IP dal tuo pool ProxyV4.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
Perché il numero del middleware è importante
I downloader middleware vengono eseguiti in ordine crescente per le richieste in uscita. HttpProxyMiddleware a 750 legge meta['proxy'], rimuove le credenziali dall'URL e crea l'header di autenticazione. Se il tuo middleware imposta il proxy successivamente, ad esempio a 800, quello integrato è già stato eseguito, le credenziali non vengono mai convertite e il proxy risponde con 407. Registrando il tuo a 740 lo collocherai per primo.
| Impostazione | Valore consigliato | Effetto |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Invia la richiesta tramite il proxy ProxyV4 specificato |
| Ordine del tuo middleware | 740 | Viene eseguito prima di HttpProxyMiddleware (750), codificando così i dati di accesso |
CONCURRENT_REQUESTS_PER_IP | Da 2 a 4 | Limita le richieste parallele per IP di destinazione, una soglia corretta per non sovraccaricare ciascun server |
AUTOTHROTTLE_ENABLED | True | Consente a Scrapy di allungare o ridurre le attese in base alla velocità di risposta del target |
Struttura di un middleware di rotazione
- Leggi l'elenco dei proxy dalle impostazioni in
from_crawler()e salvalo sull'istanza del middleware - In
process_request(), assegnarequest.meta['proxy'] = random.choice(self.proxies)a meno che la richiesta non ne abbia già uno - Quando una risposta restituisce
429o503, ripeti il tentativo con un proxy diverso dal pool invece di quello appena rifiutato - Combina
DOWNLOAD_DELAY = 1.0conRANDOMIZE_DOWNLOAD_DELAY = Truein modo che l'intervallo tra le richieste vari invece di scandire il tempo come un metronomo
Dimensionare il pool
Una scansione con Scrapy può inviare molte richieste al minuto, quindi il numero di IP determina l'intensità di utilizzo di ciascuno. Con ProxyV4 non è previsto alcun ordine minimo e il prezzo per IP diminuisce all'aumentare della quantità; inoltre il traffico IPv4 dedicato non è a consumo, per cui una scansione estesa costa quanto una piccola in termini di larghezza di banda. Ogni IP è utilizzato da un solo cliente, quindi la sua reputazione riflette esclusivamente la tua scansione e quella di nessun altro. Per pianificare il volume e il ritmo di scansione, consulta la guida al web scraping.
Guida passo-passo
- 1
Prepara gli URL dei proxy
Converti le righe
ip:port:user:passdi ProxyV4 inhttp://user:pass@ip:portcon il convertitore di formato proxy e salvale nelle impostazioni o in un file. - 2
Scrivi ProxyPoolMiddleware
In
middlewares.py, implementaprocess_request(self, request, spider)in modo che impostirequest.meta['proxy'] = random.choice(self.proxies). - 3
Registralo prima di quello integrato
In
settings.py, aggiungi'myproject.middlewares.ProxyPoolMiddleware': 740aDOWNLOADER_MIDDLEWARESe impostaCONCURRENT_REQUESTS_PER_IP = 2. - 4
Verifica la rotazione
Richiedi
https://proxyv4.com/api/my-ipalcune volte conscrapy shello con un breve spider di prova e controlla che l'IP rilevato cambi attingendo dal tuo pool.
Domande frequenti
Il mio middleware proxy con priorità 800 genera errori 407. Perché?
A 800 viene eseguito dopo HttpProxyMiddleware (750), quindi la parte user:pass nell'URL del proxy non viene mai trasformata in un header Proxy-Authorization. Sposta il tuo middleware prima di 750, ad esempio a 740.
Posso impostare il proxy per una singola richiesta?
Sì. Passa meta={'proxy': 'http://user:pass@ip:port'} al momento di creare la Request; il middleware integrato gestirà l'autenticazione solo per quella richiesta.
Una scansione di milioni di pagine raggiungerà un limite di larghezza di banda?
Non con i proxy IPv4 dedicati o ISP statici di ProxyV4; entrambi offrono larghezza di banda illimitata. Il vero limite pratico è la velocità con cui il sito di destinazione ti consente di eseguire la scansione.
Fonti
IP statici illimitati per le scansioni con Scrapy
IPv4 dedicati in 7 paesi oltre a ISP statici negli Stati Uniti e in Vietnam, da un singolo IP a un ampio pool, con prezzi a volume aggiornati in tempo reale.
Controlla i prezzi aggiornati per gli USA