世界模型能不能上桌？WorldOracle给出了一场真实大考
机器之心发布 机器人明明抓空了，世界模型却预测它成功抓起了水果。 这是 WorldOracle 展示的一个案例：给定真实操作的初始画面和动作序列，模型生成了一个看起来合理、却与实际执行不同的结果。画面里的成功，现实中并未发生。 世界模型究竟是在预测未来，还是在「脑补」一个最常见的成功结局？近日，来自普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学、NVIDIA 和智元的研究人员共同提出 WorldOracle，以相同初始画面和动作序列对应的真实执行为参照，检验世界模型的预测能力。 研究对包括 DreamDojo、Cosmos 3、IRASim、GE-Sim 2.0等七种代表性模型开展评测，发现了两类突出问题：机械臂的移动路径预测得较准，物体的位置和运动却仍可能偏离现实；短时表现较好的模型，在完整操作序列中可能明显退化。 10 月 16 日，面向动作驱动的世界模型的评测平台 WorldOracle 向开发者正式开放。研究团队已经预先采集真实操作过程，记录画面与动作，开发者只需使用评测集提供的初始画面和动作序列生成预测视频并提交平台，再由平台与对应的真实执行记录对照评分，就可以判断模型是否准确预测了动作后果，并据此定位短板、验证改进。 论文：《WorldOracle: Benchmarking Action-Conditioned World Models against Real-World Executions》 论文链接：https://arxiv.org/abs/2610.18826 项目主页：https://worldoracle-benchmark.github.io/ 一、首批成绩单：七种世界模型 谁能对上真机？ 01 机械臂动对了，物体却未必跟得上 机械臂伸向水果、合拢夹爪的过程，可能与真实画面接近，但水果是否被带起来、随后移动到哪里，模型却可能预测错误。为区分这两类表现，研究团队分别比较预测视频中机械臂和物体的位置、运动与真实记录的吻合程度，并给出评分。 机械臂与操作物体的空间对齐得分。 结果显示，五个参评模型的机械臂得分均高于物体得分，也就是说，画面中的机械臂即使较好地跟随了给定动作，物体的位置与运动仍可能偏离现实。IRASim 的机械臂得分为 78.8，操作物体只有 29.1；Cosmos 3 的两项得分分别为 89.4 和 45.4。其余模型也存在不同程度的差距。 02 预测时间拉长，准确性明显退化 另一项挑战来自时间。机器人完成一段连续操作，往往需要多次抓取、放置和调整。前一次交互留下的物体状态，会成为后一次操作的起点。模型能否持续贴近现实，需要放到完整过程中检验。 WorldOracle 同时评估轨迹前 30 秒和完整长序列，模型表现如何？ 同一模型在两种评测时长下的单视角综合分 结果显示，在同一组机器人遥操作数据上，五个模型的单视角综合分均有所下降。其中，DreamDojo 的得分从 50.56 降至 27.08，Cosmos 3 从 53.99 降至 26.60，两者下降均接近减半。 GE-Sim 2.0 在这组测试中的得分则从 73.86 降至 63.33，短时与完整长序列得分均为五种模型中最高，长序列下的降幅也相对较小。 模型之间的相对次序也发生了变化：IRASim 的前 30 秒得分低于 Ctrl-World、DreamDojo 和 Cosmos 3，但完整序列得分高于这三个模型。 二、WorldOracle 是怎么出题、怎么判分的？ 01 在这里，准确预测失败也能得高分 WorldOracle 的评测从预先采集的真实操作记录出发：向模型提供初始画面和动作序列，由模型生成预测视频，再与同一组动作对应的真实执行进行比较。 模型需要预测的，包括真实操作中的抓空、掉落和洒水。即便现实中的操作失败了，如果准确预测这次失败，也是正确的预测。 失败案例因此成为一类重要的测试样本：它能够检验模型是否遵循给定动作及其后果，还是把操作过程补成了一个常见的成功版本。 评测覆盖智元 G2、YAM 两种机器人本体，以及第一视角人手操作场景。水果抓取、挂毛巾、倒水和开合抽屉四类任务，分别涉及刚体、柔性物体、流体和关节物体交互，各本体的具体任务覆盖以评测集为准。 其中，人手场景面向能够接收手部动作输入的世界模型，检验模型能否根据记录的手部姿态序列，预测后续物体变化和交互结果。具备相应第一视角世界建模能力的模型，在这一场景下接受零样本评测，不使用平台提供的额外人手适配数据。 四类任务的真实执行画面 数据包含两类
