LLM 之后：押注世界模型

今年早些时候，图灵奖得主、担任 Meta AI 首席科学家十年的 Yann LeCun 离开了公司，创办了自己的创业公司 AMI Labs，总部设在 巴黎。在一次引发热议的访谈中， 他解释了原因：语言模型——整个行业都在押注的技术——不会带来 人类水平的智能。需要另一种架构。访谈中他也指出了是哪一种， 并推荐了一篇具体要读的论文。我们花了几周时间，逐行读完了那篇 论文和它的理论基础：这篇笔记是我们所发现内容的地图，附上仍然 成立的反对意见。

论点：语言不是世界

LeCun 的论证值得认真对待，因为它不是随口一说：它是一步步 构建出来的。语言模型在问题由文字构成时有效：文本、代码、形式 数学——在那里，语言不是在描述问题，语言就是问题。但物理世界 是连续的、高维的、充满噪声的；LeCun 指出，一只猫不掌握任何 语言，却能在世界上规划自己的行动。说 LLM 是死胡同，并不是说 它们没用：而是说它们不是通往通用智能的路。

取而代之的是智能架构应具备的三个性质。第一，预测自己行动 的后果：这就是 world model 的操作性定义。第二，通过搜索 和优化来做 planning——在头脑中尝试行动序列并选出最好的 一个——而不是一次生成一个词、指望句子能通向某个地方。第三， 在抽象的表征层面上预测，而不是在像素层面：预见球会弹起， 而不是下一帧每个像素的 RGB 值。在第三点上 LeCun 毫不含糊： 应用于现实世界的生成式方法，从 VAE 到重建图像的模型，都"非常 令人失望"。他的团队2024年的一篇论文试图形式化地证明原因： 通过重建像素来学习，会产生对感知毫无用处的特征。

JEPA：预测表征，而不是像素

这种替代架构叫 JEPA（Joint Embedding Predictive Architecture，联合嵌入预测架构），核心思想一句话就能说完。取 同一输入的两个视图——一张图像和它的损坏版本，或一段视频的两个 瞬间——训练一个网络，即 encoder，使得从一个视图的数值 表征可以预测另一个视图的表征。不是像素，不是文字：是内部 表征，一串数字，其意义在于整体的几何结构。

如果成功，encoder 就学到了关于世界的某种抽象而稳健的东西， 而且没有任何人给它贴过标签。这就是自监督学习：正确性信号来自 数据本身，而不是人工标注员。这也正是 LLM 能吞下整个互联网的 原因；只不过这里的任务不是"猜下一个词"，而是"猜你对世界的 表征会如何变化"。

所有这些表征都活在一个潜在空间里：一个有数百个维度的 抽象空间，每个输入是一个点，几何结构带有意义——猫构成一个区域， 卡车构成一个遥远的区域。world model 正是在这个空间里"推理"、 做预测和做 planning 的。因此它的组织方式至关重要。而故事也在 这里出现了有趣的转折。

为了让眼前有个具体的例子，我们留一个会贯穿始终的例子： PushT——一张从上往下看的桌子，像一局空气曲棍球。一只 "小手"在桌面上移动，要把一个 T 形滑块推到覆盖目标轮廓为止。 它是我们讨论的模型训练所用的测试平台之一：桌面的每一帧，对模型 来说都变成潜在空间里一个192维的点。

敌人：坍缩

这个预测任务有一个逻辑漏洞。训练神经网络追求的不是好的表征： 它只追求一个足够低的误差度量。而预测误差有一条灾难性的捷径： 如果 encoder 无论看到什么都输出同一个结果，预测这个输出 就易如反掌，误差归零，训练"赢了"——而网络扔掉了所有信息。 这叫坍缩（collapse），而且不是罕见事故：梯度会主动把 模型推向那里，因为愚蠢的解比聪明的解更容易到达。还有一种隐蔽的 变体——维度坍缩：点不会聚成一个点，而是被压扁到一个平面上， 浪费掉几乎所有可用的维度。

十年来，这个问题一直靠堆积技巧来压制：stop-gradient、 用滑动平均更新的 teacher-student 配对、强制归一化、对比负样本。 它们有效，但都是启发式：没人能真正解释它们为什么有效，需要精心 调节，很脆弱，每个项目的组合方式都不同。LeCun 本人谈到包括 DINO 在内的这一族方法时，是这样总结的：它有效，但我们不知道 为什么。

第一篇论文正是在这里登场的：Randall Balestriero 和 LeCun 的 LeJEPA（2025年11月）。作者没有再堆一个技巧，而是从一个 原则推导出设计，并给出了数学证明的结果，而不只是实验中观察到的 现象：在不知道明天要服务于什么任务的情况下，表征的最优分布是 各向同性高斯分布——潜在空间里的点云必须是球形的，在 各个方向上完全相同，像一堆圆圆的沙丘，而不是一条压扁的沙带。 如果点云变形，那么对任何未来任务，它都比球形带来更高的误差和 更多的不确定性。球形不浪费任何方向。

剩下的是如何在训练中真正落实。工具叫 SIGReg，工作原理 如下：在空间中随机抽取方向，把表征投影到每个方向上、约简成简单 的数字列表，然后测量每个列表与高斯分布有多相似——选用一个统计 检验，选它是因为它在训练过程中表现良好（Epps-Pulley 检验，比较 两个分布的傅里叶变换）。一个经典定理 Cramér-Wold 保证这个小把戏 成立：如果所有一维投影都是高斯的，整个点云也是高斯的。整个机制 大约二十行 PyTorch 就能写完，内部没有一个需要调节的参数。

实验结果逐一兑现了这些承诺。在来自八个不同家族的约五十种 架构上测试，没有任何一种配置导致坍缩；去掉 teacher-student 和 其他所有拐杖，表征依然站得住，证明干脏活的是 SIGReg。它每次 只需要128个样本，而对比方法需要数千个。在一个专业领域从零 训练——星系形态学，一万一千张与自然照片视觉上相差极远的 图像——它明显击败 DINOv2 和 DINOv3 这两个从外部迁移来的 "前沿"模型：在自己的领域上训练不再不切实际。而最惊人的结果 几乎是个技术细节：训练 loss 与表征的真实质量相关度达 99%。 业内人士知道这意味着什么：迄今为止，想知道一个自监督模型是否 学到了有用的东西，必须停下来用带标签的数据去测量——而标签数据 正是本来想要避免的东西。有了 LeJEPA，你在训练中盯着的那条曲线 说的就是真话。

一个 world model 如何运作，逐个部件拆解

LeJEPA 学会的是看：静态表征、感知。第二篇论文 LeWorldModel（Maes、Le Lidec、Scieur、LeCun、 Balestriero——2026年3月，正是 LeCun 在访谈中推荐的那篇）完成了 我们关心的跳跃：它学习世界如何变化。值得停下来把这个 机制拆开看，因为它比看上去简单。三个部件，以 PushT 的桌子为例。

第一个部件：encoder，脑中的棋盘。桌面的每一帧进入 encoder，出来是一串192个数字。单个数字没有任何可读的意义； 合在一起就是"棋盘上的局势"：小手和滑块在哪里，滑块朝向如何。 一张15万像素的图像，被压缩成192个数字，装着重要的东西—— 也只装重要的东西。

第二个部件：predictor，游戏规则。第二个模块接收棋盘上 最近的几个局势，加上一个候选动作，然后回答下一个局势： "如果你这样推，滑块会到那里。"它不画任何东西，不生成图像： 它只说那192个数字的语言。从 encoder 到 world model 的跳跃就 发生在这里——行动。JEPA 的"两个视图"不再是一张图像和它的 损坏版本：而是两个连续的瞬间，中间夹着玩家做的一个动作。 模型学的不是"接下来是什么"：而是"如果我做这个动作，会发生 什么"。

它如何学习：看录下来的对局。收集的帧和动作轨迹不带 任何质量筛选标准，没有奖励，也从不生成一个像素：训练配方 原封不动来自 LeJEPA——潜在空间里的预测误差加 SIGReg。它学的 不是赢：是规则。赢是后来的事。而整个模型只有1500万参数 ——比一个中型 LLM 少三千倍——在一块 GPU 上几个小时就能训完。

第三个部件：planning，国际象棋大师。到这里，真正下一局 棋的方式就像棋手思考一样。你给它桌面现在的快照和目标的快照； encoder 把它们翻译成脑中棋盘上的两个局势。然后模型开始想象： 它提出数千个可能的动作序列，在 predictor 里把它们全部并行地梦到 ——不碰真实的桌子——并对每个序列测量想象的终点离目标有多近。 它保留最好的序列，在附近重新采样，重复直到收敛（这就是 Cross-Entropy Method）。最后——一个关键的细节——它不执行 整个计划：只执行第一步，再看一眼真实的桌子，然后重新开始 做梦。因为梦会漂移：你想得越远，模拟就越脱离现实；与其把一个 长梦信到底，不如频繁地重做一个短梦。

与 LLM 的对比是彻底的。语言模型会一步一步写下这局棋，每一步 都不可撤销，从不比较其他选择。而这里，是在模拟内部搜索 整个序列并加以度量。作者报告说，这样规划比建立在冻结的 foundation model 之上的 world model 快最多 48倍——归功于 一个紧凑数百倍的潜在空间。

反对意见，以及仍然开放的问题

以上是善意的重建。现在是反对意见，来自行业讨论和论文自己 承认的局限。

世界是混沌的。在混沌系统中，误差随时间跨度指数增长： 超过很短的阈值就无法预测。JEPA 路线的回答是：不预测像素的轨迹， 而是预测它们抽象的后果——不是每片叶子会在哪里，而是树会倒下。 部分令人信服；而且老实说，LeWorldModel 论文自己也承认，自回归 模拟会随着跨度拉长而累积误差。我们亲手测量了这一点： 结果写在第二部分， 比我们预想的更有意思。

预测不等于理解。一个模型可以在统计上做出预判，而不具备 任何因果模型。这是最深刻的反对意见，而检验它的工具是存在的： 向潜在空间探问隐藏的物理量，测量模型面对物理上不可能的事件时的 "惊讶"程度。这些实验在家就能做——我们做了，它们是第二部分的核心。

LLM 已经有 world model 了。也许是隐式的：语言模型的 权重里确实装着大量关于世界的知识。但通过优化来做 planning，需要 一个能用候选动作去查询、并返回可比较结果的模型；埋在权重 里、只能让模型开口说话才能接触到的知识，不适合这个用途。

成本。这条反对意见自己翻转了：一块 GPU 上的一千五百万 参数，对阵生成式视频模型的数十亿参数。如果说 JEPA 路线有成本 问题，也不在这里。要说成本，那是政治性的：当主要实验室向语言 模型投入数十亿美元时，这项研究以大学课题组的规模在推进。

没有新东西。部分属实：最大化表征中信息量的想法可以追溯 到1989年，JEPA 也源自一条长长的谱系。新的是理论基础：反坍缩 机制第一次不再是一个碰巧有效的技巧，而是一条证明的推论。

接下来观察什么

未来十二到十八个月，三个信号。第一个是 AMI Labs：LeCun 宣称到2027年初，范式转变将"对所有人都显而易见"。这是一个把 职业生涯押上去的人的预测：要带着这份谨慎来看待；但它是可验证的， 而且有日期。第二个是针对 LeWorldModel 的物理 probing 实验的 结果：如果潜在空间真的编码了从未明确展示过的物理量，"预测不等于 理解"这条反对意见就会被大大削弱。第三个是世界其他地方的动作： Fei-Fei Li 的 World Labs 在做空间"large world model"，NVIDIA 在 做气候 world model，还有 OpenAI 转向机器人领域的传闻。无论正确 的方法是 JEPA 还是别的，行业的前进方向——从会说话的模型到会 预测世界的模型——已经人人可见。

最后一条方法论上的说明，我们很在意。两篇论文都完全公开：代码、 权重和完整的配方，任何人都可以重跑一切。在我们花了两天核查一则 没有论文、没有权重、没有独立见证者的机器人公告之后，这种认识论 地位上的差别，是我们觉得首先要指出的东西。在这条路上，每一步 都可以核查；而我们会继续核查下去。

注释与参考

起点是访谈 Yann LeCun on What Comes After LLMs，播客 Unsupervised Learning（2026）： 关于 LLM 局限的论点、智能的三个性质、AMI Labs，以及对 LeWorldModel 的明确推荐。

讨论的论文：

• R. Balestriero, Y. LeCun, LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics, 2025 — arXiv:2511.08544。 理论基础：为什么是各向同性高斯分布，以及 SIGReg 如何落实它。 代码：github.com/rbalestr-lab/lejepa。
• L. Maes, Q. Le Lidec, D. Scieur, Y. LeCun, R. Balestriero, Stable End-to-End Joint-Embedding Predictive Architecture from Pixels (LeWorldModel), 2026 — arXiv:2603.19312。 world model：从像素端到端训练，在潜在空间中做 planning。 代码：github.com/lucas-maes/le-wm。
• R. Balestriero, Y. LeCun, Learning by Reconstruction Produces Uninformative Features for Perception, 2024 — arXiv:2402.11337。 第一节引用的、反对生成式方法的形式化论证。
• R. Balestriero, N. Ballas, M. Rabbat, Y. LeCun, Gaussian Embeddings: How JEPAs Secretly Learn Your Data Density, 2025 — arXiv:2510.05949。 高斯嵌入与密度估计之间的联系。

第五节的反对意见来自公开的行业讨论（尤其是 r/artificial， 2026年），以及论文中标注自身局限的部分。这是两部分系列的 第一部分：在第二部分里， 同样的主张会在公开模型上被逐一实验、亲自测量。（更新于 2026-08-31：读完了 LeWorldModel 全文，重写了关于模型工作机制的 一节——第一版中那一节压缩得过头了。）