迷宫成功率从18%拉到73.3%,杨立昆开源首个分层世界模型H-JEPA
在 AntMaze 四足机器人穿越迷宫的任务中,三层结构的 H-JEPA 世界模型取得了 73.3% 的成功率,远超单层模型的 18.0%。这是杨立昆创办的高级机器智能公司 AMI 交出的首份成果,规划消耗的算力也更少。相关论文、完整代码与预训练权重已全数开源,支持研究者直接下载复现。
拆分独立表征空间:三组件与跨层端到端训练
传统的 JEPA 类世界模型大多在单一潜空间运行,长程任务累积的误差会导致动作搜索空间迅速膨胀。单一空间难以兼顾底层动力学与高层抽象目标,容易因机器人到达终点后的腿部姿态差异而误判距离。
杨立昆团队在 2026年4月 曾发布 HWM 模型尝试拆分时间尺度,但各层仍共享同一个表征空间。H-JEPA 则让每一层拥有独立表征空间,高层可以直接舍弃无法预测的高频细节。
模型每一层包含三个组件:State encoding、Action encoding 与预测器。最底层的 State encoding 直接读取像素,更高层脱离像素只处理下层潜状态,Action encoding 则在高层将动作压缩为粗粒度变化。

H-JEPA 分层架构与三组件预测流程示意图
层级之间的步长为两倍,高层一步对应低层两步。模型通过端到端训练驱动高层生成可预测特征,并引入 SIGReg 方法防止表征坍塌,不过该机制在表征开始坍塌时的梯度衰减问题仍未完全解决。
自上而下的接力规划:AntMaze 高层滤除肢体细节
规划过程采用自上而下的接力方式,顶层先优化宏观动作并预测最终状态,再逐级下发子目标至低层细化。在闭环控制中,每层只匹配首个预测子目标并执行短程动作,随后重新观测环境并开启新一轮规划。
这一设计参考了大脑皮层按内在时间尺度分层分布的生理结构。团队在两个导航与两个操作任务中验证了表征还原效果。
表征还原图像显示,从 Level 1、Level 2 到 Level 3,四足机器人腿部姿态逐渐模糊,但迷宫全局坐标始终清晰。在加入瞬移蓝色光点的环境中,光点随层级升高在表征中逐渐消失,模型对机器人本体的感知依然稳定。

AntMaze 四足机器人各层内部表征还原图像对比
这种选择性抽象依赖于数据中快慢成分的“实体频率间隙”。只有当频率比值足够大时抽象才会显现,在频率间隙小于 2倍 的操作任务中,高层基本不会舍弃细节。
潜空间替换验证有效性,DROID 数据集遭遇慢特征坍塌
消融实验在保持 Level 1 模型与规划器不变的前提下,仅将目标距离计算替换为上层潜空间(Changing only the cost)。这项改动在不引入分层规划的情况下,将迷宫任务成绩从 18.0% 提升到了 20.7%至31.3% 之间。
在时间分解方面,追踪子目标的代价曲线沿专家轨迹单调性达到 0.89至1.00,而直接以最终目标距离为代价的单调性仅为 0.48 至 0.75。

潜空间替换消融实验数据对比与代价曲线单调性分析
在人类遥控真实机械臂拍摄的操作数据集 DROID 上,团队发现了慢特征坍塌现象。单段视频中的房间背景远比机械臂运动更稳定,模型会优先记忆背景而丢弃抓取动作。
DROID 数据集的潜在方差中有 75% 来自场景差异,固定相机的 Cube 任务仅占 28%。团队引入了 逆动力学损失,要求模型根据前后状态反推执行动作,迫使表征保留动作相关信息。
为了解决 5.5TB 原始数据的读取瓶颈,团队重构了一份 127.6GB、包含 74530 个回合的数据集。该版本将体积缩减至四十五分之一,视频解码速度提升 17.9 倍,并同步开源了构建脚本。
训练序列短与物理接触难预测,暴露出当前架构局限
在推 T 形块任务 Push-T 中,两层模型表现正常,加到三层后表现出现下滑。原因在于该任务单回合过短,三层模型能用到的训练转移量仅为单层模型的 58%,高层结构无法从短时序列中充分学习。
容易预测不等于对任务关键。转瞬即逝的机械接触对成败至关重要却难以预测,静止背景易于预测却无关紧要。
模型目前尚无法完全划清这一界限,真机闭环控制也尚未落地。
杨立昆坚持世界模型路线,AMI 获超十亿美元融资
针对大语言模型与世界模型的路线差异,杨立昆在 ECCV 2026 上重申了对 LLMs 的保留态度。他认为大模型的核心是模仿复现训练数据的统计规律,而世界模型需要预测物理世界中未见环境的行为后果。

杨立昆在 ECCV 2026 演讲中的幻灯片实拍
2025年 AAAI 的调查显示,76% 的 AI 研究者认为仅靠扩大LLM规模无法实现通用人工智能。当前世界模型领域已出现分化,H-JEPA 专注紧凑潜空间抽象预测,World Labs 的 Marble 聚焦静态 3D 重建,DeepMind 的 Genie 3 则在像素空间生成可交互 3D 环境。
杨立昆于 2025年11月 离开 Meta,其创办的 AMI 在 2026年3月 完成了投前估值 35 亿美元、总额 10.3 亿美元的种子轮融资。投资方包括英伟达、三星、淡马锡和 Toyota Ventures。
高级机器智能公司(AMI)董事长杨立昆肖像
公司由杨立昆任董事长,亚历山大·勒布伦任 CEO,谢赛宁任首席科学家,医疗 AI 公司 Nabla 已与其达成战略合作。这套分层架构的实际价值,正等待开源社区对其权重和代码做进一步的检验。
