ProxyV4

Progettare uno scraper attorno a un pool di IP dedicati

Updated:

I proxy per il web scraping distribuiscono le richieste su più indirizzi in modo che nessun singolo IP sostenga l'intero crawl. Per la maggior parte dei target, un pool di indirizzi IPv4 privati è l'opzione più rapida ed economica; gli indirizzi ISP statici sono la soluzione alternativa per i siti che bloccano i range datacenter. La rotazione del pool viene gestita direttamente nel tuo codice, così sai sempre quale IP ha recuperato ciascuna pagina.

Perché un singolo IP smette di funzionare

I siti limitano il numero di richieste che un indirizzo può inviare. Un crawler avviato dalla linea del tuo ufficio raggiunge presto tale soglia e il blocco può colpire chiunque altro nell'edificio. Un pool di proxy suddivide il carico, tiene la tua rete fuori dai log e ti consente di visualizzare la versione di una pagina destinata ai visitatori di uno specifico paese.

Utenti tipici: team di e-commerce che monitorano prezzi e disponibilità della concorrenza, analisti che creano dataset pubblici, aggregatori di viaggi, immobili e offerte di lavoro, e sviluppatori che testano i propri siti da altri paesi.

Pool statico rispetto a gateway rotativo

Con un pool statico, l'elenco degli indirizzi resta tuo per l'intero periodo di noleggio. Il tuo scheduler seleziona un IP per richiesta o per sessione, lo registra e ritira qualsiasi indirizzo che inizia a subire limitazioni. Ciascun IP è single-tenant, quindi la sua reputazione riflette solo il tuo traffico, e la lista fissa è facile da inserire nella allowlist degli strumenti interni.

La larghezza di banda su IPv4 privati e ISP statici non è a consumo. Pagine pesanti, immagini e crawl prolungati si pagano per IP, non a gigabyte.

Scegliere il prodotto giusto in base al target

TargetProdottoMotivo
Cataloghi pubblici, API, maggior parte dei sitiIPv4 privatiVeloci, convenienti, sette paesi
Siti che bloccano i range datacenterISP statici, Stati Uniti o VietnamIndirizzi registrati presso ISP consumer
Crawl su larga scala di siti predisposti per IPv6IPv6Molti indirizzi a un prezzo contenuto per IP; verificare che il sito supporti IPv6
Pagine localizzate in AsiaIPv4 privati in Giappone, Corea del Sud, Singapore, Hong Kong o VietnamRecupera ciò che vedono i visitatori locali

Dimensionamento del pool e gestione delle richieste

  • Dimensiona il pool in base alla frequenza di richieste desiderata: un numero maggiore di indirizzi con un ritmo moderato per IP dura più a lungo rispetto a pochi indirizzi sovraccaricati.
  • Assegna un singolo indirizzo per l'intera durata della sessione di login o del carrello, quindi cambialo.
  • Invia header realistici, aggiungi jitter tra le richieste e riduci la frequenza in caso di HTTP 429 e 403.
  • Valida le risposte in modo che pagine captcha e schermate di blocco non finiscano mai nel dataset.
  • Verifica gli indirizzi con il proxy checker (fino a 100 alla volta, le password non vengono memorizzate) ed elimina quelli lenti o bloccati.

Integrare il pool nel tuo stack

Ogni indirizzo funziona tramite HTTP(S) o SOCKS5 con nome utente e password, forniti nel formato ip:port:user:pass nella sezione Ordini. Le librerie più diffuse supportano direttamente questo formato; consulta le guide di configurazione per Python requests, Scrapy, Playwright e Puppeteer. Gli strumenti desktop privi di impostazioni proxy possono essere instradati tramite Proxifier. La pagina dei proxy per web scraping fornisce ulteriori dettagli specifici per ciascun target.

Raccogliere i dati in modo responsabile

Un proxy cambia l'origine di una richiesta, non ciò che sei autorizzato a raccogliere. Rispetta il file robots.txt, i termini del sito e le normative sulla protezione dei dati applicabili, ed evita di acquisire dati personali che non hai il diritto di trattare. Inondare un sito di richieste parallele, effettuare scraping dietro autenticazione con account non tuoi e qualsiasi uso improprio violano anche i nostri termini.

Domande frequenti

Per lo scraping conviene iniziare con proxy datacenter o ISP?

Datacenter. Gli IPv4 privati sono più veloci e disponibili in un maggior numero di paesi. Passa agli ISP statici per uno specifico target solo se blocca i range datacenter. Il confronto tra le tipologie di proxy ne spiega vantaggi e differenze.

È necessario un servizio di proxy rotativi?

No. Un pool statico ruotato direttamente dal tuo codice ti offre il pieno controllo su quale indirizzo gestisce ciascuna richiesta.

Il traffico è a consumo?

No. Gli IPv4 privati e gli ISP statici offrono larghezza di banda illimitata; paghi per IP in base al periodo di noleggio.

Posso usare SOCKS5 con Scrapy o Playwright?

Sì. I proxy a pagamento supportano HTTP(S) e SOCKS5 con nome utente e password; imposta l'ordine su SOCKS5 (o entrambi) nella relativa pagina della dashboard. Il middleware integrato di Scrapy supporta solo HTTP, quindi in quel caso mantieni HTTP. Consulta HTTP vs SOCKS5.

Il web scraping è legale?

Dipende da cosa raccogli, da dove operi e dai termini del sito. L'acquisizione di dati pubblici e non personali nel rispetto di robots.txt è una pratica comune; verifica le normative applicabili al tuo progetto.

Attiva un pool per lo scraping

Ordina tutti gli indirizzi IPv4 privati necessari per il tuo crawl; il prezzo per IP diminuisce con la quantità e la larghezza di banda non è a consumo.

Verifica i prezzi dei datacenter USA

Related articles

Casi d'uso
Creare un setup di rank tracking che mostri posizioni locali reali
Controlla i ranking su Google come gli utenti locali: assegna un IP per mercato, distribuisci le query ed evita gli errori di setup che alterano i dati.
Proxy per piattaforma
Proxy per web scraping: pool fisso di IP con traffico illimitato
Proxy per web scraping con Python, Scrapy, Playwright e Selenium: pool di IPv4 privati e ISP statici, traffico illimitato e tariffa fissa per IP.
Knowledge base
Datacenter, ISP o residenziali: spiegazione dei tre tipi di proxy IP
Proxy ISP vs datacenter vs residenziali: chi possiede l'IP, dove opera, quanto dura, come viene fatturato e quale si adatta ad account, ad o raccolta dati.
Configurazione proxy
Proxy per Scrapy: meta['proxy'], ordine dei middleware e rotazione
Usa proxy HTTP(S) autenticati in Scrapy: imposta request.meta['proxy'], ordinali prima di HttpProxyMiddleware (750), ruota gli IP e regola il ritmo del crawl.
Strumenti gratuiti
Verifica proxy in blocco: stato, IP di uscita e latenza
Proxy checker online gratis: incolla fino a 100 righe ip:port:user:pass e scopri quali proxy funzionano, IP di uscita, latenza e cosa significa ogni errore.
ISP · vietnam
Proxy ISP statici in Vietnam per negozi principali e account pubblicitari
Proxy ISP statici in Vietnam con IP residenziali consumer. Un IP fisso per i tuoi negozi Shopee, TikTok Shop, account pubblicitari Facebook e Zalo OA.
ISP · united states
Proxy ISP statici negli Stati Uniti: un IP residenziale registrato che non cambia mai
Proxy ISP statici USA con IP registrati su provider consumer. Un IP fisso americano per account per seller Amazon, account pubblicitari e Instagram.
Proxy per piattaforma
Proxy per venditori TikTok Shop che gestiscono più negozi
Proxy TikTok Shop per venditori multi-store: un IP statico ISP o IPv4 privata per negozio in USA, Vietnam, UK o Singapore, sullo stesso IP a ogni rinnovo.