Portarsi a casa il modello più potente non è impossibile. È solo assurdo
Mettiamo subito le mani avanti, perché altrimenti questo articolo viene letto per quello che non è.
Quello che segue è un gioco. Non è un progetto, non è un preventivo, non è una proposta e non descrive nessun caso reale. È un esercizio fatto a tavolino con una domanda sola: se volessimo davvero il modello più potente disponibile, tutto per noi, dentro casa nostra, al massimo delle sue possibilità e senza compromessi, cosa servirebbe esattamente?
Lo scopo non è vendere niente. È misurare una distanza. Perché nei discorsi da bar tecnologici la frase «me lo metto in locale» viene pronunciata con la stessa leggerezza con cui si parla di installare un programma, e vale la pena vedere nero su bianco quanto sia lontano quel traguardo da un privato o da una piccola impresa.
Anticipiamo la risposta: molto. Ma il modo in cui è lontano è più interessante del semplice fatto che lo sia.
Le regole del gioco
Tre, e sono volutamente estreme.
Il modello intero. Niente versioni ridotte, niente distillazioni, niente compromessi sulla qualità. Prendiamo Kimi K3 com'è: un Mixture of Experts da 2,8 trilioni di parametri complessivi, di cui circa 104 miliardi attivi per ogni token, con i pesi ufficiali in formato MXFP4.
Tutto in casa. Nessuna API, nessun cloud, nessun pezzo del ragionamento che esce dalla porta. È il punto che rende l'esercizio interessante: è esattamente ciò che si desidera quando si dice «lo voglio in locale».
Al massimo delle possibilità. Non la configurazione minima che lo fa partire, ma quella che lo fa girare davvero, contesto lungo compreso.
Con queste regole, la macchina di riferimento è un nodo NVIDIA B300 con otto GPU, nella forma commerciale del DGX B300, che ha il pregio di avere specifiche pubbliche.
L'oggetto del desiderio
| Caratteristica | Valore |
|---|---|
| GPU | 8 × NVIDIA B300 |
| Memoria HBM totale | circa 2,3 TB |
| Banda HBM aggregata | circa 64 TB/s |
| RAM di sistema | 2 TB |
| Storage NVMe | 30,72 TB |
| Altezza | 10U |
| Peso | circa 168 kg |
| Consumo massimo | 14,5 kW |
| Calore prodotto | circa 49.500 BTU/h |
Tre di queste righe raccontano già dove stiamo andando a finire. Pesa quanto due persone adulte. Assorbe quanto diversi appartamenti messi insieme. E converte in calore praticamente tutta l'energia che consuma, perché un calcolatore non produce nient'altro.
La buona notizia: il modello ci sta
Questa è l'unica parte dell'esercizio in cui la risposta è pulita, e merita di essere detta perché è genuinamente notevole.
Memorizzare 2,8 trilioni di parametri a 4 bit richiede circa 1,4 TB. I 2,3 TB di memoria ad alta banda del nodo lasciano quindi circa 900 GB per tutto il resto: scale di quantizzazione, buffer, cache delle conversazioni, comunicazione fra le GPU, spazio di lavoro dei kernel.
Il modello entra in una sola macchina. Fino a poco tempo fa una taglia simile avrebbe richiesto un cluster, con tutto ciò che comporta in termini di rete e complessità. Che oggi stia in un singolo armadio è il vero cambiamento tecnico degli ultimi due anni, ed è la ragione per cui l'esercizio ha senso invece di essere fantascienza.
Attenzione però alla trappola che si nasconde qui dentro. Il fatto che il modello entri non dice quanti utenti serve. Sono due domande diverse e solo la prima si risponde con una moltiplicazione. E la finestra da un milione di token dichiarata dal modello non è un milione di token per tutti insieme: il contesto lungo è memoria occupata, e la memoria occupata da una conversazione è memoria tolta a tutte le altre.
Poi comincia la parte che nessuno racconta
Fin qui sembrava un acquisto. Da qui in avanti diventa un cantiere.
Dodici cavi di alimentazione. Non è un vezzo: sono dodici alimentatori da 3,2 kW per un carico massimo di 14,5 kW, da dividere su due linee elettriche indipendenti, sei e sei, ciascuna capace di reggere da sola tutto il carico se l'altra cade. Col resto dell'armadio si arriva a 16 kW continui, che vogliono un gruppo di continuità da almeno 30 kVA. È un carico trifase permanente da progettare , non una spina da infilare in una presa industriale.
Venti kilowatt di raffreddamento. Quei 14,5 kW elettrici escono come 49.500 BTU/h di calore, ventiquattro ore su ventiquattro. Serve un impianto di precisione, corridoio freddo separato da quello caldo, sensori davanti e dietro, rilevamento delle perdite d'acqua, rilevazione precoce del fumo. Il condizionatore del soggiorno non è in discussione: non è una questione di potenza, è che non è progettato per non fermarsi mai.
Tre quintali sul pavimento. Fra server, armadio, unità di distribuzione e cavi si superano tranquillamente i 300 kg, e il pavimento va verificato non solo per il peso totale ma per il carico concentrato sui quattro piedini. In un appartamento questa frase ha un suono diverso che in un capannone.
Il conto del gioco
| Voce | Importo indicativo |
|---|---|
| Server con 8 GPU B300 | 535.000 · 714.000 € |
| Switch ad alta velocità | 65.000 · 85.000 € |
| Cavi, armadio, distribuzione, sensori | 8.000 · 18.500 € |
| Gruppi di continuità e doppia linea | 30.000 · 50.000 € |
| Raffreddamento di precisione | 25.000 · 60.000 € |
| Adeguamento elettrico e antincendio | 15.000 · 50.000 € |
| Integrazione, trasporto, riserva | 30.000 · 80.000 € |
| Totale | circa 708.000 · 1.057.500 € |
Una cifra prudente per il gioco completo sta intorno a 750.000 · 900.000 euro, IVA esclusa.
Poi c'è la bolletta, che è la parte che nel discorso da bar non compare mai. Sedici kilowatt continui fanno 140.160 kWh all'anno. Con raffreddamento e perdite si arriva a 175 · 189 MWh, cioè fra 35.000 e 57.000 euro l'anno a prezzi correnti. Con manutenzione, ricambi, batterie e presidio si va verso 50.000 · 90.000 euro l'anno.
Detto in modo più fisico: quasi un megawattora ogni cinque giorni, dentro un solo armadio.
Quanto è lontano, in pratica
Adesso la parte per cui abbiamo fatto tutto questo.
Per un privato, il confronto non è nemmeno con un computer. Un impianto domestico italiano tipico è da 3 kW, al limite 6. Questa macchina, da sola, ne chiede più del doppio del massimo, in trifase, in modo continuo. Non è che costi troppo: è che la casa non ha la presa. E se anche l'avesse, resterebbero i 16 kW di calore da buttare fuori tutto l'anno e i tre quintali da appoggiare da qualche parte. La distanza non è economica, è fisica.
Per una piccola impresa il discorso cambia forma ma non esito. Il capannone la corrente ce l'ha, il pavimento regge, il locale tecnico si ricava. Il problema diventa un altro: 800.000 euro di investimento più 70.000 l'anno di esercizio hanno senso solo se distribuiti su un numero di utilizzatori che una PMI non ha. Spalmato su quattro anni e ventimila utenti attivi, il costo scende sotto i quindici euro a testa all'anno e diventa ragionevole. Spalmato su venti persone, sono cinquemila euro l'anno per dipendente per avere un modello che, via API, costerebbe una frazione.
La soglia, insomma, non è tecnologica. È di scala. E la scala che serve non è quella di un'azienda: è quella di un fornitore di servizi.
Perché il gioco è comunque utile
Un esercizio del genere non serve a scoraggiare nessuno. Serve a tre cose molto concrete.
Primo, a capire cosa si sta chiedendo quando si dice «lo voglio in locale». Quasi sempre non si sta chiedendo il modello più potente del mondo: si sta chiedendo che certi dati non escano. Sono due desideri diversi, e il secondo si soddisfa con mezzi molto più piccoli.
Secondo, a riconoscere dove passa la linea. Sotto una certa scala l'API di un fornitore esterno costa una frazione e non chiede altro che fiducia. Sopra, il rapporto si inverte. Sapere da che parte della linea si sta è più utile di qualunque preventivo.
Terzo, a ridimensionare le promesse. Nessuno può dire quanti utenti serva una macchina del genere guardando la scheda tecnica: dipende dalla lunghezza delle richieste, da quante ne arrivano insieme, dal runtime, dai kernel disponibili. Chi promette un numero di token al secondo prima di aver fatto girare i prompt veri sta indovinando, e vale per questa macchina come per qualunque altra.
Il modello più potente del mondo, oggi, entra fisicamente in un armadio. Questa è la notizia. Che quell'armadio richieda un impianto trifase, un condizionamento industriale e il preventivo di una casa in centro è il motivo per cui, per adesso, resta un gioco.
Ma è un gioco che vale la pena aver fatto una volta, perché il confine si sposta ogni anno. Il conto rifatto fra tre anni darà un numero diverso, e quel giorno la domanda tornerà seria.