ProxyV4

Proxy per Scrapy: meta['proxy'], ordine dei middleware e rotazione

· Updated:

In Scrapy, un proxy si imposta per singola richiesta tramite request.meta['proxy'] = 'http://user:pass@ip:port', e il middleware integrato HttpProxyMiddleware (ordine 750) converte la parte user:pass in un header Proxy-Authorization. Aggiungi un piccolo downloader middleware che viene eseguito prima, a 740, e ogni richiesta generata dal tuo spider potrà selezionare un IP dal tuo pool ProxyV4.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
IPv4 privato (datacenter)
🇺🇸 Stati Uniti
Disponibile
Da
1,10 USD / IP / mese
Sconti per quantità
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Acquista Stati Uniti
IPv4 privato (datacenter)
🇬🇧 Regno Unito
Disponibile
Da
1,10 USD / IP / mese
Sconti per quantità
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Acquista Regno Unito

Perché il numero del middleware è importante

I downloader middleware vengono eseguiti in ordine crescente per le richieste in uscita. HttpProxyMiddleware a 750 legge meta['proxy'], rimuove le credenziali dall'URL e crea l'header di autenticazione. Se il tuo middleware imposta il proxy successivamente, ad esempio a 800, quello integrato è già stato eseguito, le credenziali non vengono mai convertite e il proxy risponde con 407. Registrando il tuo a 740 lo collocherai per primo.

ImpostazioneValore consigliatoEffetto
request.meta['proxy']'http://user:pass@ip:port'Invia la richiesta tramite il proxy ProxyV4 specificato
Ordine del tuo middleware740Viene eseguito prima di HttpProxyMiddleware (750), codificando così i dati di accesso
CONCURRENT_REQUESTS_PER_IPDa 2 a 4Limita le richieste parallele per IP di destinazione, una soglia corretta per non sovraccaricare ciascun server
AUTOTHROTTLE_ENABLEDTrueConsente a Scrapy di allungare o ridurre le attese in base alla velocità di risposta del target

Struttura di un middleware di rotazione

  • Leggi l'elenco dei proxy dalle impostazioni in from_crawler() e salvalo sull'istanza del middleware
  • In process_request(), assegna request.meta['proxy'] = random.choice(self.proxies) a meno che la richiesta non ne abbia già uno
  • Quando una risposta restituisce 429 o 503, ripeti il tentativo con un proxy diverso dal pool invece di quello appena rifiutato
  • Combina DOWNLOAD_DELAY = 1.0 con RANDOMIZE_DOWNLOAD_DELAY = True in modo che l'intervallo tra le richieste vari invece di scandire il tempo come un metronomo

Dimensionare il pool

Una scansione con Scrapy può inviare molte richieste al minuto, quindi il numero di IP determina l'intensità di utilizzo di ciascuno. Con ProxyV4 non è previsto alcun ordine minimo e il prezzo per IP diminuisce all'aumentare della quantità; inoltre il traffico IPv4 dedicato non è a consumo, per cui una scansione estesa costa quanto una piccola in termini di larghezza di banda. Ogni IP è utilizzato da un solo cliente, quindi la sua reputazione riflette esclusivamente la tua scansione e quella di nessun altro. Per pianificare il volume e il ritmo di scansione, consulta la guida al web scraping.

Guida passo-passo

  1. 1

    Prepara gli URL dei proxy

    Converti le righe ip:port:user:pass di ProxyV4 in http://user:pass@ip:port con il convertitore di formato proxy e salvale nelle impostazioni o in un file.

  2. 2

    Scrivi ProxyPoolMiddleware

    In middlewares.py, implementa process_request(self, request, spider) in modo che imposti request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Registralo prima di quello integrato

    In settings.py, aggiungi 'myproject.middlewares.ProxyPoolMiddleware': 740 a DOWNLOADER_MIDDLEWARES e imposta CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Verifica la rotazione

    Richiedi https://proxyv4.com/api/my-ip alcune volte con scrapy shell o con un breve spider di prova e controlla che l'IP rilevato cambi attingendo dal tuo pool.

Domande frequenti

Il mio middleware proxy con priorità 800 genera errori 407. Perché?

A 800 viene eseguito dopo HttpProxyMiddleware (750), quindi la parte user:pass nell'URL del proxy non viene mai trasformata in un header Proxy-Authorization. Sposta il tuo middleware prima di 750, ad esempio a 740.

Posso impostare il proxy per una singola richiesta?

Sì. Passa meta={'proxy': 'http://user:pass@ip:port'} al momento di creare la Request; il middleware integrato gestirà l'autenticazione solo per quella richiesta.

Una scansione di milioni di pagine raggiungerà un limite di larghezza di banda?

Non con i proxy IPv4 dedicati o ISP statici di ProxyV4; entrambi offrono larghezza di banda illimitata. Il vero limite pratico è la velocità con cui il sito di destinazione ti consente di eseguire la scansione.

Fonti

IP statici illimitati per le scansioni con Scrapy

IPv4 dedicati in 7 paesi oltre a ISP statici negli Stati Uniti e in Vietnam, da un singolo IP a un ampio pool, con prezzi a volume aggiornati in tempo reale.

Controlla i prezzi aggiornati per gli USA

Related articles

Proxy per piattaforma
Proxy per web scraping: pool fisso di IP con traffico illimitato
Proxy per web scraping con Python, Scrapy, Playwright e Selenium: pool di IPv4 privati e ISP statici, traffico illimitato e tariffa fissa per IP.
Configurazione proxy
Richieste Python tramite proxy autenticato, passo dopo passo
Invia richieste Python tramite un proxy HTTP(S) autenticato: crea il dict proxies, usa una Session, codifica password speciali, ruota la lista e verifica l'IP.
Configurazione proxy
Autenticazione proxy in Playwright, un IP statico per contesto
Assegna a ogni contesto Playwright un proxy HTTP(S) autenticato in Node.js o Python, adatta fuso orario e lingua all'IP e verifica l'indirizzo di uscita.
Strumenti gratuiti
Riscrivi un elenco proxy nel formato richiesto dal tuo strumento
Converti elenchi proxy nel browser tra ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, array JSON e file di importazione FoxyProxy, in blocco.
Proxy per piattaforma
Proxy per rank tracking SEO: visualizza la pagina dei risultati vista dagli utenti locali
Proxy per rank tracking SEO con IPv4 private in USA, UK, Vietnam, Giappone e altri 4 mercati: monitora ranking, local pack e annunci visti dagli utenti locali.
Proxy per piattaforma
Proxy Amazon seller che assegnano a ogni account un indirizzo permanente
Proxy Amazon seller per Seller Central, KDP e Merch: un ISP statico USA o IPv4 privato UK/Giappone per account, dedicato a te e mantenuto al rinnovo.
IPV4 · united states
Pool di proxy IPv4 privati negli Stati Uniti per scraping, monitoraggio del posizionamento e verifica annunci
Acquista proxy IPv4 privati USA: IP datacenter statici, un solo utente per IP, traffico illimitato. Ideali per scraping, tracking SERP e verifica annunci USA.
IPV4 · united kingdom
Proxy IPv4 privati nel Regno Unito per marketplace, ricerca e campagne
Proxy IPv4 privato UK con IP datacenter statico britannico dedicato, per ricerche su eBay UK e Amazon.co.uk, tracking google.co.uk e verifica annunci UK.