Proxy per web scraping: pool fisso di IP con traffico illimitato
Updated:
I proxy per web scraping con tariffazione a gigabyte rendono il crawler più costoso ogni volta che una pagina diventa più pesante; ecco perché i crawler continui e pianificati sono più convenienti con un pool fisso di indirizzi a traffico illimitato. ProxyV4 offre IPv4 privati in sette Paesi e ISP statici negli Stati Uniti e in Vietnam, tutti con prezzo per IP e senza limiti di traffico. Dimensioni il pool in base alle richieste al secondo tollerate dai target e la spesa resta invariata, a prescindere dal peso delle pagine.
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
Prezzo per IP rispetto a prezzo per GB per un crawler
| Domanda | Pool statico (per IP) | Traffico a consumo (per GB) |
|---|---|---|
| Cosa determina il costo | Numero di IP e durata del noleggio | Byte scaricati, inclusi HTML, JS e asset |
| Cosa succede se le pagine diventano più pesanti | Nulla; la larghezza di banda è illimitata | La spesa aumenta di conseguenza |
| Cosa limita il throughput | Il rate limit per IP di ciascun target | Il budget |
| Come scalare | Aggiungi IP; il prezzo per IP diminuisce con la quantità | Acquista più traffico |
Perché gli scraper vengono bloccati e cosa cambia con un pool
Nello scraping di cataloghi, annunci e API pubbliche, la maggior parte dei blocchi non dipende da chi sei, ma dalla frequenza delle richieste: un indirizzo che supera la frequenza consentita da un sito riceve un errore HTTP 429. Un pool da 10 a 100 IP statici, ciascuno gestito con un livello moderato di richieste simultanee, mantiene ogni indirizzo sotto la soglia consentendo al crawler nel suo complesso di operare alla velocità desiderata.
Anche l'uso esclusivo (single tenancy) fa la differenza. Ogni IP di ProxyV4 appartiene a un solo cliente per l'intera durata del noleggio, quindi la cronologia delle richieste registrata dal target su quell'indirizzo è esclusivamente tua.
Adattare il pool al target
- Cataloghi pubblici e API ad alto volume: IPv4 privati negli Stati Uniti o a Singapore, con il costo per IP più basso
- E-commerce e portali locali vietnamiti: IPv4 Vietnam per visualizzare pagine locali e prezzi nazionali
- Target che filtrano gli ASN di hosting dietro un WAF: ISP statici negli Stati Uniti o in Vietnam, registrati presso ISP residenziali, riducendo di fatto le verifiche Cloudflare
- Target che richiedono un nuovo IP a ogni richiesta: i proxy rotanti per il Vietnam non sono ancora in vendita; la pagina proxy rotanti Vietnam contiene la lista d'attesa
Impostazioni del crawler per massimizzare la durata di un pool statico
Ogni linea utilizza credenziali standard, quindi in Python configurare il proxy richiede solo proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Distribuisci le richieste a rotazione (round-robin) sull'elenco e aggiungi un jitter casuale, indicativamente da 2 a 5 secondi per IP per ciascun dominio target
- Riusa le connessioni con
requests.Session()o con un client con pool di connessioni, evitando l'overhead di un handshake TLS per ogni richiesta - In Playwright e Puppeteer, blocca immagini, font e contenuti multimediali che non elabori
- Quando un IP riceve un errore HTTP 429 o 503, rimuovilo temporaneamente dalla rotazione per un periodo di cooldown e riduci la frequenza invece di riprovare subito
Guida passo-passo
- 1
Acquista un pool dimensionato per i tuoi target
Scegli la quantità per Paese, ad esempio IPv4 per Stati Uniti, Giappone o Regno Unito. Gli sconti per volume si applicano automaticamente all'aumentare della quantità.
- 2
Converti l'elenco in URL
Incolla le righe in formato
ip:port:user:passnel convertitore di formato proxy per ottenere stringhehttp://user:pass@ip:porto JSON. - 3
Integra il pool nel tuo framework
Consulta le guide di configurazione per Python Requests, Scrapy, Selenium o Node.js Axios.
- 4
Esegui un test prima dell'avvio completo
Verifica i tempi di risposta con il test di velocità proxy ed escludi le linee che risultano lente verso il tuo target.
Domande frequenti
Il traffico di scraping sui proxy ProxyV4 è a consumo?
No. Gli IPv4 privati e gli ISP statici hanno un prezzo per IP per l'intera durata del noleggio con larghezza di banda illimitata.
Quante pagine al giorno può scaricare un singolo IP statico?
Dipende dal rate limit del target. A un ritmo di 1-3 richieste al minuto per dominio, un IP scarica indicativamente da 1.500 a 4.000 pagine al giorno senza farsi notare.
Vendete proxy rotanti per lo scraping?
Non ancora. I proxy rotanti per il Vietnam sono accessibili solo tramite lista d'attesa. Per ora, un pool statico con assegnazione a rotazione offre la stessa efficacia per la maggior parte dei crawler pianificati.
Come posso convertire rapidamente 50 proxy nel formato per Scrapy?
Incollali nel convertitore di formato proxy. Trasforma direttamente nel browser le righe ip:port:user:pass in stringhe URL o in un array JSON.
Crea un pool per lo scraping con un costo mensile fisso
IPv4 privati in sette Paesi e ISP statici negli Stati Uniti e in Vietnam, con tariffa per IP e traffico illimitato.
Verifica i prezzi in tempo reale per IPv4 USA