← 全部专题指南

IAEI / RESEARCH GUIDE

VLA 与世界模型:各自解决什么问题?

视觉—语言—动作模型(Vision-Language-Action,VLA)将视觉观测和指令连接到动作;世界模型预测环境的某些特征及其变化。本指南用六项字段比较 RT-2、原版 OpenVLA 与 DreamerV3,并区分哪个组件真正选择动作。

RT-2:用动作词元控制机器人

版本范围:2023年 RT-2 论文,包括 RT-2-PaLI-X(55B)和 RT-2-PaLM-E(12B)。RT-2-X 是另一个模型变体,不纳入本次比较。 [1] [2]

  • 输入——当前机器人相机图像与语言任务指令。 [2]
  • 输出——动作词元。VLA 策略选择动作,解码过程将词元转换为机器人指令,再通过反复观测与执行形成控制过程。 [2]
  • 训练方式——将预训练视觉语言模型在机器人示范与网络视觉语言任务上共同微调。 [2]
  • 动作接口——末端执行器的六个位置及旋转位移坐标、夹爪开度和回合终止指令;连续维度离散为256个区间。 [1]
  • 评测环境——真实移动操作机器人任务;另设的 Language Table 实验包含仿真与真实环境数据,不能混为同一种测试。 [1] [2]
  • 适配边界——理解新的语义指令,不等于学会未见过的运动技能;机器人示范的覆盖范围与推理延迟仍约束使用。 [1]

原版 OpenVLA:通过示范适配的动作策略

版本范围:openvla-7b 与2024年9月5日的原论文 arXiv v3。代码库另行介绍了后续 OFT 方案,本指南不把其能力归入原版模型。 [3] [4]

  • 输入——单幅图像与语言指令。原版模型不输入观测历史或本体感觉状态。 [3] [5]
  • 输出——动作词元,解码为一个七维机器人动作,而非一次输出一段动作序列。 [3] [4]
  • 训练方式——在视觉语言预训练后,使用 Open X-Embodiment 中的97万条机器人轨迹学习动作词元预测。动作训练阶段使用机器人数据,与 RT-2 继续混合网络数据共同微调的方式不同。 [5]
  • 动作接口——单臂末端执行器控制;部署时需使用相应的动作反归一化统计量,并接入机器人控制系统。 [3] [4]
  • 评测环境——WidowX 和 Google Robot 的直接测试、适配后的 Franka 测试;论文中的 LIBERO 仿真结果也经过微调。 [3] [5]
  • 适配边界——新配置通常需要目标场景示范。应核对相机约定、控制时序及动作回放;软件接口能够调用,本身不能证明迁移有效。 [4]

DreamerV3:世界模型训练负责行动的策略

版本范围:2025年 Nature 论文中的 DreamerV3。作者代码库说明其为重新实现,记录时应把代码修订与论文版本分开。较早的 Dreamer 代际不能与 V3 混用。 [6] [7]

  • 输入——图像或向量观测及先前动作,循环状态保存时间信息。 [6]
  • 输出——世界模型预测潜在状态、奖励与回合继续信号,并通过重建观测帮助学习表示;这些预测本身不是动作策略。 [6]
  • 训练方式——用环境交互经验训练世界模型,再用想象轨迹训练行动策略 actor 和价值评估器 critic;critic 估计回报,actor 学习行动方式。 [7]
  • 动作接口——actor 选择环境中的离散或连续动作。交互时不进行前瞻搜索,想象用于训练。 [6]
  • 评测环境——游戏与仿真控制,包括 Atari、Minecraft,以及使用视觉或本体感觉输入的 Control Suite;这些不是上面的实机操作试验。 [6]
  • 适配边界——需要按目标环境配置并训练。共用超参数,不等于一个预训练检查点已经能够跨任务迁移。 [7]

组合系统中,谁最终选择动作?

编辑假想示例:机器人接到“把杯子放到托盘上”的任务,VLA 可以提出运动,另一个世界模型预测后果,但仍须明确由哪个选择组件决定执行指令。执行后,系统读取新的传感反馈,再更新下一步决策。这个假想组合不是上述项目已经报告的实现。

组件集成需要匹配坐标系、动作单位、时间步长和观测约定,也需要规定预测与实测不一致时如何处理。把组件分别称为 VLA 和世界模型,并不能解决接口问题,也不能证明两者已经有效协同。

在一致条件下比较证据

编辑阅读检查表:记录确切的模型检查点和论文修订、传感输入、动作接口、训练及适配数据、测试环境与成功标准。缺少的信息标为“未报告”,不要用相关模型的文档代填。

将直接部署、目标任务微调和通过环境交互学习分栏记录。机器人任务成功率、游戏回报和预测质量衡量的是不同事项。本指南比较系统分工,不排列性能名次,也不报告协会部署或独立实验复现。

本指南用于解释研究概念;示例与阅读建议属于编辑整理,所引研究结论应结合原论文的适用范围理解。 来源与更正规范

继续阅读