Il modello entra in memoria? Ormai è la domanda sbagliata

C'è stato un momento, negli ultimi due o tre anni, in cui Apple sembrava avere quasi per caso la macchina perfetta per far girare modelli linguistici in locale, e il motivo era semplice, la memoria unificata. Mentre il mondo PC continuava a convivere con la separazione tra RAM di sistema e VRAM della GPU, i Mac con chip Ultra permettevano di mettere a disposizione della GPU quantità di memoria enormi rispetto alle normali schede consumer. Per chi voleva caricare modelli da decine o centinaia di miliardi di parametri era un vantaggio enorme, e per un certo periodo la domanda principale era quasi banale: il modello entra in memoria oppure no?

Oggi quella domanda non basta più. Con l'arrivo dell'M5 Ultra, delle DGX Spark e Station di NVIDIA e dei primi esperimenti cinesi come Xiaomi AI Cube, il problema dell'inferenza locale sta cambiando natura. Non conta più soltanto quanta memoria si riesce a mettere dentro una macchina, conta quanto velocemente quella memoria può essere utilizzata, quanto compute c'è a disposizione e, soprattutto, quanto bene hardware e software sono stati progettati per lavorare insieme. Ed è probabilmente questo il punto più interessante dell'intera nuova generazione di hardware AI.

Il vantaggio storico di Apple

Il nuovo M5 Ultra continua a essere una macchina impressionante dal punto di vista della memoria, perché si arriva fino a 512 GB di memoria unificata e circa 1,2 TB/s di banda. Per mettere il numero in prospettiva, M3 Ultra si fermava intorno agli 819 GB/s: è quindi un salto importante, anche se non rivoluzionario come qualcuno avrebbe potuto aspettarsi.

Per l'inferenza di un LLM, però, la banda conta moltissimo. Quando un modello genera una risposta token dopo token, soprattutto in una singola sessione, gran parte del lavoro consiste nel leggere continuamente i pesi dalla memoria, ed è uno dei motivi per cui i Mac Ultra sono sempre riusciti a ottenere risultati interessanti nonostante non abbiano GPU comparabili, in termini di potenza grezza, alle grandi acceleratrici NVIDIA. In questo tipo di lavoro Apple continua ad avere una caratteristica difficilissima da ignorare, cioè moltissima memoria ad altissima banda disponibile in un'unica macchina. Ma il problema è che l'inferenza moderna non è fatta soltanto di generazione.

Il nuovo collo di bottiglia si chiama prefill

Prima che un modello inizi a scrivere una risposta deve leggere il prompt. Se gli diamo una domanda di dieci righe poco male, ma se gli facciamo analizzare un repository, un documento da centinaia di pagine o centinaia di migliaia di token di contesto il discorso cambia completamente. Quella fase si chiama prefill, ed è qui che il compute comincia ad avere un peso enorme. Semplificando molto, la generazione dei token è spesso limitata dalla banda della memoria, mentre il prefill dipende molto di più dalla capacità di calcolo.

Questo diventa ancora più importante quando smettiamo di pensare a un LLM come a un chatbot e iniziamo a pensarlo come a un agente. Un coding agent non legge un prompt una volta e poi produce cinquecento token, ma legge file, analizza codice, chiama strumenti, riceve nuovi risultati, legge altri file, esegue un altro prefill, produce codice, controlla l'output e riparte. Il rapporto tra generazione e compute cambia completamente, ed è qui che si capisce perché oggi guardare soltanto alla banda della memoria rischia di essere fuorviante.

M5 Ultra non è semplicemente un M3 Ultra più veloce

Apple sembra aver capito perfettamente il problema, perché con M5 Ultra ha aggiunto acceleratori neurali direttamente all'interno della GPU e sostiene di aver aumentato in modo molto significativo le prestazioni AI rispetto a M3 Ultra. Sulla carta, quindi, sarebbe sbagliato liquidare M5 Ultra come una semplice evoluzione della banda. Il vero interrogativo è un altro, cioè quanto di questa nuova potenza riesca realmente a essere utilizzata dagli stack software che oggi usiamo per l'inferenza locale. MLX, llama.cpp, LM Studio e gli altri runtime dovranno dimostrare quanto bene riescono a sfruttare la nuova architettura, ed è probabilmente su questo terreno che si deciderà il valore reale della macchina, perché una workstation da oltre diecimila euro non viene giudicata soltanto dal fatto che riesca a caricare un modello enorme, ma dalla capacità di farlo girare a una velocità utile.

Il paradosso del terabyte di RAM

Una delle critiche più frequenti al nuovo Mac Studio riguarda proprio l'assenza di una configurazione da 1 TB. A prima vista sembra una limitazione evidente, ma la domanda interessante è a cosa servirebbe realmente quel terabyte. Immaginiamo di riuscire a caricare un enorme Mixture of Experts con centinaia di gigabyte di pesi: il fatto che il modello entri in memoria non significa automaticamente che possa essere utilizzato bene, perché se il compute non cresce in proporzione ci ritroviamo con una macchina capace di ospitare un modello gigantesco ma costretta a eseguirlo troppo lentamente. È un po' come costruire un'autostrada a venti corsie e poi mettere un casello ogni cento metri. Per questo la scelta di Apple di fermarsi a 512 GB potrebbe essere meno assurda di quanto sembri, e forse il punto ottimale dell'attuale architettura è proprio lì.

NVIDIA sta costruendo un altro tipo di macchina

DGX Spark parte da una filosofia quasi opposta, perché ha molta meno memoria rispetto a un M5 Ultra e una banda nettamente inferiore, ma nasce intorno ai Tensor Core Blackwell e a un ecosistema software costruito da anni per il machine learning. CUDA, TensorRT, vLLM, SGLang e i kernel specifici per i modelli sono tutti pensati per una cosa molto precisa, far lavorare reti neurali. Un Mac Studio deve essere contemporaneamente una workstation video, un computer da sviluppo, una macchina audio, un desktop general purpose e una piattaforma AI, mentre DGX Spark no, è una scatola costruita per l'AI.

Questa differenza diventa ancora più evidente con DGX Station, dove NVIDIA combina quantità enormi di memoria con HBM ad altissima banda e una quantità di compute che cambia completamente la scala del problema. A quel punto non stiamo più parlando di una macchina su cui "si possono far girare gli LLM", stiamo parlando di un server AI personale, e la differenza non è soltanto semantica.

L'AI locale sta diventando multiutente

C'è poi un'altra cosa che spesso viene sottovalutata. Il futuro dell'inferenza locale probabilmente non è una singola persona che apre un chatbot sul proprio computer, perché una macchina realmente potente può servire contemporaneamente più utenti, più agenti e più applicazioni. Un team di sviluppatori potrebbe avere un coding agent locale, un'azienda potrebbe far analizzare documenti interni senza inviarli a servizi cloud, un sistema di ricerca potrebbe digerire centinaia di migliaia di token in pochi secondi e un agente potrebbe restare operativo ventiquattr'ore al giorno. A quel punto la metrica interessante non è più soltanto il numero di token al secondo in una chat, ma il throughput complessivo del sistema, ed è un cambio di prospettiva importante.

E poi arriva Xiaomi

Ed è qui che la storia diventa ancora più interessante, perché mentre Apple e NVIDIA stanno evolvendo prodotti già esistenti, Xiaomi sembra voler costruire l'intero stack da zero. Negli ultimi mesi l'azienda cinese ha iniziato a mostrare chiaramente la propria strategia AI: da una parte c'è MiMo, la famiglia di foundation model proprietari, dall'altra ci sono i chip XRING, e in mezzo comincia a comparire hardware specificamente pensato per l'inferenza locale.

Il prototipo più interessante è Xiaomi AI Cube, una macchina che combina diversi chip XRING, memoria unificata e un acceleratore dedicato all'AI chiamato O100. L'aspetto interessante non è nemmeno il prodotto in sé, che al momento deve ancora dimostrare tutto, ma il modo in cui Xiaomi sta costruendo il sistema: modello, quantizzazione, speculative decoding, runtime, chip, hardware, sistema operativo e dispositivi, tutto sotto lo stesso tetto.

Il vero vantaggio potrebbe essere il co-design

Questo è probabilmente il passaggio più importante, perché il futuro dell'AI locale potrebbe premiare chi riesce a progettare contemporaneamente modello e hardware. Xiaomi può ottimizzare MiMo sapendo esattamente su quali acceleratori dovrà girare, può progettare l'acceleratore sapendo come sono strutturati i propri modelli, può modificare il runtime, intervenire sulla quantizzazione, ottimizzare lo speculative decoding e decidere come distribuire il carico tra smartphone, server locale, casa e automobile. È un livello di integrazione verticale che ricorda più Apple che un tradizionale produttore Android, con una differenza fondamentale, cioè che il punto di partenza non è il personal computer, è l'AI.

La casa potrebbe diventare il vero personal computer AI

Ed è qui che Xiaomi AI Cube comincia ad assumere un significato diverso. Proviamo per un momento a pensarlo non come a una workstation ma come a un server domestico: resta acceso, ospita MiMo, gestisce la memoria personale dell'utente, comunica con smartphone e tablet, parla con gli occhiali AI, controlla i dispositivi Xiaomi Home, interagisce con l'automobile, riceve immagini dalle telecamere, esegue modelli vision e gestisce agenti. A quel punto non abbiamo più un PC con dentro un chatbot, ma una sorta di cervello locale dell'ecosistema, perfettamente coerente con la strategia "Human, Car, Home" che Xiaomi porta avanti da tempo.

Apple era avanti, ma il vantaggio si sta riducendo

Apple è partita avvantaggiata, perché la memoria unificata era perfetta per un mondo che improvvisamente aveva bisogno di caricare modelli enormi, e per qualche anno bastava quasi solo quello. Oggi però NVIDIA, Xiaomi e altri produttori stanno costruendo sistemi specificamente ottimizzati per questi carichi, e la competizione si sposta. Non basta più dire di avere 512 GB di memoria, bisogna chiedersi quanto è veloce il prefill, quanto compute FP4 c'è, come funziona lo speculative decoding, quanto è efficiente il runtime, quanto bene vengono sfruttati i Mixture of Experts, quante sessioni simultanee si possono servire, quanto costa ogni token prodotto, quanto consuma la macchina e quanto bene se ne possono collegare più di una. È qui che si giocherà la prossima fase dell'hardware AI.

Non stiamo più costruendo computer con l'AI

La cosa più interessante di tutto questo è probabilmente anche la più semplice: per anni abbiamo aggiunto acceleratori AI ai computer, ora sta succedendo il contrario, stiamo iniziando a costruire computer intorno all'AI. DGX Spark è uno dei primi esempi evidenti, DGX Station porta il concetto su una scala molto più alta, Xiaomi AI Cube mostra che anche i produttori consumer stanno pensando nella stessa direzione, e Apple, con M5 Ultra, sta cercando di trasformare progressivamente il Mac Studio in qualcosa che possa restare competitivo in questo nuovo mercato.

Non è ancora chiaro quale approccio vincerà, se una workstation general purpose con enorme memoria unificata, un piccolo server NVIDIA altamente specializzato o un sistema verticale come quello che Xiaomi sta cercando di costruire. Probabilmente ci sarà spazio per tutti e tre. Ma una cosa sembra ormai abbastanza evidente: la prima generazione dell'AI locale era ossessionata da una domanda, "riesco a far entrare il modello in memoria?", mentre la prossima sarà ossessionata da un'altra, "una volta che ce l'ho in memoria, riesco a farlo ragionare abbastanza velocemente da diventare davvero utile?". Ed è proprio lì che comincia la parte più interessante.