测试方式
直接使用缺层输入进行推理采用训练时相同的层级 sentinel;机器人元信息始终保留。辅助 decoder 不补写指令。GT 反馈每段输入相同真实观察;预测反馈从同一初始观察出发,各条件随后使用自己的预测。
同一个 20k checkpoint · 12 个场景 · 完整输入与六种缺层组合 · 配对视频与动作预测
采用训练时相同的层级 sentinel;机器人元信息始终保留。辅助 decoder 不补写指令。GT 反馈每段输入相同真实观察;预测反馈从同一初始观察出发,各条件随后使用自己的预测。
12 个 case 平均动作 XYZ RMSE,越低越好。
正在读取结果
这里的 GT 是原始录像对应的未来。缺层后指令可能变得不唯一,误差衡量对原始未来的恢复程度,不是缺层指令下唯一正确行为,也不是机器人成功率。只有 12 个固定案例。
LEFT ARM
RIGHT ARM
<extra_id_0> 对应 L3,<extra_id_1> 对应 L2,<extra_id_2> 对应 L1。Video/Action 直接接收这些文本的 T5 编码,不接收被遮住的原文或 decoder 补全结果。