Dopo gli LLM: la scommessa dei world model

All'inizio di quest'anno Yann LeCun, premio Turing e per un decennio direttore scientifico dell'AI di Meta, ha lasciato l'azienda e fondato una startup sua, AMI Labs, con quartier generale a Parigi. In un'intervista che ha fatto discutere ha spiegato perché: i modelli linguistici, la tecnologia su cui l'intero settore sta puntando, non porteranno a un'intelligenza di livello umano. Serve un'altra architettura. Nell'intervista indica anche quale, e raccomanda un articolo preciso da leggere. Abbiamo passato alcune settimane a leggere quell'articolo e il suo fondamento teorico, riga per riga: questa nota è la mappa di quello che abbiamo trovato, con le obiezioni che restano in piedi.

La tesi: il linguaggio non è il mondo

L'argomento di LeCun va preso sul serio perché non è un'opinione buttata lì: è costruita passo per passo. I modelli linguistici funzionano quando il problema è fatto di parole: testo, codice, matematica formale — lì il linguaggio non descrive il problema, è il problema. Ma il mondo fisico è continuo, ad alta dimensione, rumoroso; un gatto, osserva LeCun, pianifica azioni nel mondo senza possedere alcun linguaggio. Dire che gli LLM sono un vicolo cieco non significa dire che sono inutili: significa che non sono la strada verso l'intelligenza generale.

Al loro posto, tre proprietà che un'architettura intelligente dovrebbe avere. Primo, predire le conseguenze delle proprie azioni: è la definizione operativa di world model. Secondo, pianificare per ricerca e ottimizzazione — provare mentalmente sequenze di azioni e scegliere la migliore — invece di generare una parola alla volta sperando che la frase vada da qualche parte. Terzo, predire a un livello astratto di rappresentazione, non a livello di pixel: prevedere che la palla rimbalzerà, non il valore RGB di ogni pixel del fotogramma successivo. Su questo terzo punto LeCun è tranchant: gli approcci generativi applicati al mondo reale, dai VAE ai modelli che ricostruiscono immagini, sono stati «molto deludenti». E un articolo del 2024 del suo gruppo prova a dimostrare formalmente perché: imparare ricostruendo i pixel produce caratteristiche povere per la percezione.

JEPA: predire rappresentazioni, non pixel

L'architettura alternativa si chiama JEPA, Joint Embedding Predictive Architecture, e l'idea sta in una frase. Prendi due viste dello stesso input — un'immagine e una sua versione corrotta, oppure due istanti di un video — e addestra una rete, l'encoder, in modo che dalla rappresentazione numerica di una vista si possa predire la rappresentazione dell'altra. Non i pixel, non le parole: la rappresentazione interna, una lista di numeri il cui significato sta nella geometria collettiva.

Se ci riesce, l'encoder ha imparato qualcosa di astratto e robusto sul mondo, senza che nessuno gli abbia attaccato un'etichetta. È apprendimento auto-supervisionato: il segnale di correttezza arriva dai dati stessi, non da annotatori umani. È la stessa ragione per cui gli LLM hanno potuto ingurgitare l'intero web; qui però il compito non è «indovina la parola dopo», è «indovina come cambia la tua rappresentazione del mondo».

Tutte queste rappresentazioni vivono in uno spazio latente: uno spazio astratto a centinaia di dimensioni dove ogni input è un punto e la geometria ha significato — i gatti formano una regione, i camion una regione lontana. È dentro questo spazio che un world model «ragiona», facendo previsioni e pianificando. Per questo conta moltissimo com'è organizzato. Ed è qui che la storia prende una piega interessante.

Per avere qualcosa di concreto sotto gli occhi, teniamo da parte un esempio che useremo fino in fondo: PushT, un tavolo visto dall'alto che somiglia a una partita di air-hockey. Una «manina» si muove sul tavolo e deve spingere un blocco a forma di T fino a coprire una sagoma obiettivo. È uno dei banchi di prova su cui è allenato il modello di cui parliamo: ogni fotogramma del tavolo diventa, per il modello, un punto a 192 dimensioni nel suo spazio latente.

Il nemico: il collasso

Il compito di predizione ha un baco logico. L'addestramento di una rete neurale non insegue rappresentazioni buone: insegue soltanto una misura di errore bassa. E l'errore di predizione ha una scorciatoia disastrosa: se l'encoder produce sempre lo stesso output, qualunque cosa veda, predire quell'output è banale, l'errore va a zero, il training ha «vinto» — e la rete ha buttato via tutta l'informazione. Si chiama collasso, e non è un incidente raro: il gradiente ci spinge attivamente, perché la soluzione stupida è più facile da raggiungere di quella intelligente. Esiste anche una variante subdola, il collasso dimensionale, in cui i punti non finiscono in un punto solo ma si appiattiscono su un piano, sprecando quasi tutte le dimensioni disponibili.

Per dieci anni il problema è stato tenuto a bada con un accumulo di trucchi: stop-gradient, coppie teacher-student aggiornate in media mobile, normalizzazioni forzate, esempi negativi a contrasto. Funzionano, ma sono euristiche: nessuno sa spiegare davvero perché funzionino, vanno regolate con cura, sono fragili, ogni progetto le combina in modo diverso. LeCun stesso, parlando della famiglia di metodi che comprende DINO, la riassume così: funziona, ma non sappiamo perché.

È qui che arriva il primo articolo, LeJEPA di Randall Balestriero e LeCun (novembre 2025). Invece di sommare un altro trucco, gli autori derivano il design da un principio, con un risultato dimostrato matematicamente, non solo osservato negli esperimenti: senza sapere a quale compito serviranno domani, la distribuzione ottimale delle rappresentazioni è la gaussiana isotropica — la nuvola di punti nello spazio latente deve essere sferica, uguale in tutte le direzioni, come un mucchio di sabbia tondo invece di una striscia schiacciata. Se la nuvola è deformata, per qualunque compito futuro costa più errori e più incertezza di quella sferica. La forma sferica non spreca nessuna direzione.

Resta da imporla, in pratica, durante il training. Lo strumento si chiama SIGReg e funziona così: si pescano direzioni casuali nello spazio, si proiettano le rappresentazioni su ciascuna riducendole a semplici liste di numeri, e si misura quanto ciascuna lista assomiglia a una gaussiana, con un test statistico scelto perché si comporta bene durante l'addestramento (Epps-Pulley, che confronta le trasformate di Fourier delle due distribuzioni). Un teorema classico, Cramér-Wold, garantisce che il giochino funziona: se tutte le proiezioni unidimensionali sono gaussiane, anche la nuvola intera lo è. Tutto il meccanismo sta in una ventina di righe di PyTorch, senza un solo parametro da regolare al suo interno.

I risultati sperimentali coprono le promesse una per una. Testato su una cinquantina di architetture di otto famiglie diverse, nessuna configurazione porta al collasso; rimuovendo il teacher-student e ogni altro puntello la rappresentazione regge lo stesso, a dimostrare che il lavoro sporco lo fa SIGReg. Gli bastano 128 esempi alla volta, dove i metodi a contrasto ne esigono migliaia. Addestrato da zero su un dominio specialistico — la morfologia delle galassie, undicimila immagini visivamente lontanissime dalle foto naturali — batte nettamente DINOv2 e DINOv3, i modelli «frontier» adattati dall'esterno: addestrare sul proprio dominio smette di essere impraticabile. E il risultato più sorprendente è quasi un dettaglio tecnico: la loss di training correla al 99% con la qualità reale delle rappresentazioni. Chi lavora nel settore sa cosa significa: finora, per sapere se un modello auto-supervisionato stava imparando qualcosa di utile bisognava fermarsi e misurarlo con dati etichettati — proprio quelli che si voleva evitare. Con LeJEPA la curva che guardi durante il training dice la verità.

Come funziona un world model, pezzo per pezzo

LeJEPA impara a vedere: rappresentazioni statiche, percezione. Il secondo articolo, LeWorldModel (Maes, Le Lidec, Scieur, LeCun, Balestriero — marzo 2026, quello raccomandato da LeCun nell'intervista), fa il salto che ci interessa: impara come il mondo cambia. Vale la pena fermarsi e smontare il meccanismo, perché è più semplice di quanto sembri. Tre pezzi, e il tavolo di PushT come esempio.

Primo pezzo: l'encoder, la scacchiera mentale. Ogni fotogramma del tavolo entra nell'encoder ed esce come una lista di 192 numeri. I singoli numeri non significano nulla di leggibile; insieme sono la «posizione sulla scacchiera»: dove sono la manina e il blocco, come il blocco è orientato. Un'immagine da 150.000 pixel compressa in 192 numeri che contengono ciò che conta — e solo quello.

Secondo pezzo: il predictor, le regole del gioco. Il secondo modulo riceve le ultime posizioni sulla scacchiera più una mossa candidata, e risponde con la posizione successiva: «se spingi così, il blocco finisce lì». Non disegna nulla, non produce immagini: parla solo la lingua dei 192 numeri. È qui che avviene il salto da encoder a world model — l'azione. Le «due viste» di JEPA non sono più un'immagine e la sua versione corrotta: sono due istanti consecutivi, e in mezzo c'è qualcosa che il giocatore ha fatto. Il modello non impara «cosa viene dopo»: impara «cosa succede se compio questa azione».

Come impara: guardando partite registrate. Traiettorie di fotogrammi e mosse raccolte senza alcun criterio di qualità, senza ricompense e senza mai generare un pixel: la ricetta di training è quella di LeJEPA, immutata — errore di predizione nello spazio latente più SIGReg. Non impara a vincere: impara le regole. Vincere arriva dopo. E tutto il modello sta in 15 milioni di parametri — tremila volte meno di un LLM di taglia media — e si addestra su una singola GPU in poche ore.

Terzo pezzo: il planning, il maestro di scacchi. A questo punto giocare una partita vera funziona come pensa un giocatore di scacchi. Gli dai la fotografia del tavolo adesso e la fotografia del traguardo; l'encoder le traduce in due posizioni sulla scacchiera mentale. Poi il modello immagina: propone migliaia di sequenze di mosse possibili, le sogna tutte in parallelo dentro il predictor — senza toccare il tavolo reale — e per ciascuna misura quanto il punto di arrivo immaginato è vicino al traguardo. Tiene le sequenze migliori, ricampiona lì intorno, ripete fino a convergere (è il Cross-Entropy Method). E infine — dettaglio che conta — non esegue il piano intero: esegue solo la prima mossa, guarda di nuovo il tavolo vero, e ricomincia a sognare. Perché il sogno deriva: più avanti immagini, più la simulazione si stacca dalla realtà; meglio un sogno corto rifatto spesso che uno lungo creduto fino in fondo.

Il contrasto con gli LLM è totale. Un modello linguistico scriverebbe la partita una mossa alla volta, ciascuna irrevocabile, senza mai confrontare alternative. Qui si cercano sequenze intere dentro una simulazione e si misurano. Gli autori riportano che pianificare così è fino a 48 volte più veloce che con i world model costruiti sopra foundation model congelati — merito di uno spazio latente centinaia di volte più compatto.

Le obiezioni, e cosa resta aperto

Fin qui la ricostruzione simpatetica. Ora le obiezioni, raccolte dalle discussioni di settore e dai limiti che gli articoli stessi ammettono.

Il mondo è caotico. In un sistema caotico l'errore cresce esponenzialmente con l'orizzonte: prevedere è impossibile oltre soglie brevi. La risposta della linea JEPA è che non si prevedono le traiettorie dei pixel ma le loro conseguenze astratte — non dove sarà ogni foglia, ma che l'albero cadrà. Parzialmente convincente; e onestamente lo stesso articolo di LeWorldModel ammette che le simulazioni autoregressive accumulano errore allungando l'orizzonte. L'abbiamo misurato di persona: il risultato, nella seconda parte, è più interessante di quanto ci aspettavamo.

Predire non è capire. Un modello può anticipare statisticamente senza avere alcun modello causale. È l'obiezione più profonda, e gli strumenti per verificarla esistono: si interroga lo spazio latente su quantità fisiche nascoste, si misura la «sorpresa» del modello davanti a eventi fisicamente impossibili. Sono esperimenti che si possono fare in casa — li abbiamo fatti, e sono il cuore della seconda parte.

Gli LLM un world model ce l'hanno già. Implicito, forse: dentro i pesi di un modello linguistico c'è molta conoscenza del mondo. Ma la pianificazione per ottimizzazione richiede un modello che si possa interrogare con azioni candidate e che restituisca esiti confrontabili; una conoscenza sepolta nei pesi, accessibile solo facendo parlare il modello, non si presta a quest'uso.

Il costo. L'obiezione si è ribaltata da sola: quindici milioni di parametri su una GPU contro i miliardi dei modelli video generativi. Se la linea JEPA ha un problema di costo, non è qui. Semmai il costo è politico: mentre i laboratori principali versano miliardi sui modelli linguistici, questa ricerca avanza con mezzi da gruppo universitario.

Niente di nuovo. Vero in parte: l'idea di massimizzare l'informazione nelle rappresentazioni risale al 1989, e i JEPA discendono da una genealogia lunga. Quello che è nuovo è il fondamento teorico: per la prima volta il meccanismo anti-collasso non è un trucco che funziona, ma la conseguenza di una dimostrazione.

Cosa osservare da qui in avanti

Tre segnali, nei prossimi dodici-diciotto mesi. Il primo è AMI Labs: LeCun dichiara che entro l'inizio del 2027 il cambio di paradigma sarà «ovvio a tutti». È la previsione di chi ci sta scommettendo la carriera: va presa con questa cautela; ma è verificabile, e ha una data. Il secondo è l'esito degli esperimenti di probing fisico su LeWorldModel: se lo spazio latente codifica davvero grandezze fisiche mai mostrate esplicitamente, l'obiezione «predire non è capire» si indebolisce molto. Il terzo è il resto del mondo che si muove: Fei-Fei Li con World Labs sui «large world model» spaziali, NVIDIA con i world model per il clima, le voci di un riposizionamento di OpenAI verso la robotica. Che l'approccio giusto sia JEPA o un altro, la direzione di marcia del settore — dai modelli che parlano ai modelli che prevedono il mondo — è ormai visibile a tutti.

Un'ultima nota di metodo, che ci sta a cuore. Entrambi gli articoli sono pubblici con codice, pesi e ricette complete: chiunque può rieseguire tutto. Dopo aver passato due giorni a verificare un annuncio robotico senza articolo, senza pesi e senza testimoni indipendenti, la differenza di statuto epistemico è la prima cosa che ci sentiamo di segnalare. Su questa strada si può controllare ogni passo; e noi continueremo a farlo.

Note e riferimenti

Il punto di partenza è l'intervista Yann LeCun on What Comes After LLMs, podcast Unsupervised Learning (2026): la tesi sui limiti degli LLM, le tre proprietà dell'intelligenza, AMI Labs e la raccomandazione esplicita di LeWorldModel.

Gli articoli discussi:

• R. Balestriero, Y. LeCun, LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics, 2025 — arXiv:2511.08544. Il fondamento teorico: perché la gaussiana isotropica e come la impone SIGReg. Codice: github.com/rbalestr-lab/lejepa.
• L. Maes, Q. Le Lidec, D. Scieur, Y. LeCun, R. Balestriero, Stable End-to-End Joint-Embedding Predictive Architecture from Pixels (LeWorldModel), 2026 — arXiv:2603.19312. Il world model: training end-to-end dai pixel e pianificazione nello spazio latente. Codice: github.com/lucas-maes/le-wm.
• R. Balestriero, Y. LeCun, Learning by Reconstruction Produces Uninformative Features for Perception, 2024 — arXiv:2402.11337. L'argomento formale contro gli approcci generativi citato nella prima sezione.
• R. Balestriero, N. Ballas, M. Rabbat, Y. LeCun, Gaussian Embeddings: How JEPAs Secretly Learn Your Data Density, 2025 — arXiv:2510.05949. Il collegamento tra embedding gaussiani e stima di densità.

Le obiezioni della quinta sezione vengono dalle discussioni pubbliche di settore (in particolare r/artificial, 2026) e dalle parti degli articoli che segnalano i propri limiti. Questa è la prima parte di una serie di due: nella seconda gli stessi claim vengono misurati in proprio, esperimento per esperimento, sul modello pubblico. (Aggiornata il 2026-08-31: completata la lettura integrale di LeWorldModel e riscritta la sezione sul funzionamento del modello, che nella prima versione restava troppo compressa.)