V VPP2 / Evaluation Lab
Hierarchy conditioning / matched observations and seeds

少一层指令,会发生什么?

同一个 20k checkpoint · 12 个场景 · 完整输入与六种缺层组合 · 配对视频与动作预测

video 10 → clean cache → action 10
测试方式
直接使用缺层输入进行推理

采用训练时相同的层级 sentinel;机器人元信息始终保留。辅助 decoder 不补写指令。GT 反馈每段输入相同真实观察;预测反馈从同一初始观察出发,各条件随后使用自己的预测。

完整指令基线 · 当前协议
—

12 个 case 平均动作 XYZ RMSE,越低越好。

选定缺层条件 · 当前协议
—

正在读取结果

查看七种条件的总体指标与解释

这里的 GT 是原始录像对应的未来。缺层后指令可能变得不唯一,误差衡量对原始未来的恢复程度,不是缺层指令下唯一正确行为,也不是机器人成功率。只有 12 个固定案例。

正在加载

GT · 原始真实未来
20k · 完整 L1 + L2 + L3
0.00 / 1.28s

动作轨迹 · 相对真实初始状态

━ GT━ 完整指令━ 选定缺层条件

LEFT ARM

RIGHT ARM

完整指令

实际送入 T5 的缺层指令

<extra_id_0> 对应 L3,<extra_id_1> 对应 L2,<extra_id_2> 对应 L1。Video/Action 直接接收这些文本的 T5 编码,不接收被遮住的原文或 decoder 补全结果。

完整逐段输入、历史来源与配对设置