上篇聊了逆强化学习从行为中推断奖励函数。现在我们来看一个更前沿的方向VLAVision-Language-Action模型。这是2023年以来机器人领域最热的研究方向之一Google、NVIDIA、各大高校都在投入。VLA的核心思想是把视觉感知、语言理解和动作生成统一在一个大模型中。输入是相机看到的画面和人类的语言指令输出是机器人的动作。这跟GPT处理文本的思路类似——把一切都变成token序列用Transformer来建模。为什么需要VLA传统的机器人系统是分模块的视觉模块识别物体语言模块理解指令规划模块生成路径控制模块执行动作。每个模块独立开发、独立训练通过接口串联起来。这种模块化方案的问题在于误差会层层累积。视觉模块识别错了后面所有模块都跟着错。而且模块之间的接口设计很费精力——每个新任务可能都要重新调整接口。VLA的思路是端到端一个大模型直接从像素和语言映射到动作。不需要显式的模块划分模型自己学习内部的表示。好处是避免了误差累积坏处是需要大量的训练数据。RT系列从RT-1到RT-2RT-1Robotics Transformer 12022是Google的第一个VLA模型。它的架构是这样的用EfficientNet处理相机图像得到视觉特征把视觉特征和语言指令用BERT编码拼接起来输入一个Transformer。Transformer的输出是离散化的动作token。动作离散化是关键设计。把连续的关节角度分成若干个bin比如256个每个bin对应一个token。这样动作预测就变成了分类问题——跟语言模型预测下一个词一样。RT-1在超过10万条真实机器人操作轨迹上训练能执行多种操作任务抓杯子、放盘子、开门等。这些数据来自多台机器人、多个任务、多个操作者的示范。数据量之大是前所未有的——之前的机器人学习工作通常只用几千条轨迹。RT-1证明了大数据大模型的路线在机器人领域同样有效。RT-1的一个关键发现是模型规模越大性能越好。从2400万参数到55亿参数操作成功率持续提升。这跟NLP领域的scaling law类似——更多的参数和更多的数据带来更好的性能。但机器人数据的收集成本远高于文本数据这限制了模型规模的进一步提升。RT-22023更进一步。它直接用一个预训练的视觉-语言模型PaLM-E或PaLI-X作为backbone只加了一个动作输出头。这样做的好处是利用了大模型在海量文本和图像上学到的世界知识。比如模型已经知道苹果是圆的、可以抓握不需要从机器人数据中重新学习这些物理常识。RT-2展示了一些令人印象深刻的泛化能力——比如它能理解把恐龙玩具放到车里这样的指令即使训练时没见过恐龙和车的组合。这种组合泛化能力是传统方法很难做到的。RT-2还有一个有趣的发现VLA模型可以继承VLM视觉-语言模型的常识推理能力。比如你告诉RT-2清理桌上的垃圾它能识别出哪些东西是垃圾纸团、空瓶子哪些不是笔记本电脑、水杯。这种能力不是从机器人操作数据中学到的而是从预训练VLM中继承的。# VLA模型的基本流程 # 1. 视觉编码: img_tokens VisionEncoder(camera_image) # 2. 语言编码: lang_tokens LanguageEncoder(instruction) # 3. 拼接: input_tokens [lang_tokens, img_tokens] # 4. Transformer处理: features Transformer(input_tokens) # 5. 动作预测: action ActionHead(features) # 动作离散化为token用交叉熵loss训练Octo和OpenVLA开源的VLA模型RT系列是Google的内部工作模型和数据都没有完全开源。Octo2024和OpenVLA填补了这个空白。Octo是一个通用机器人策略模型在多个公开数据集Open X-Embodiment上联合训练。它的设计目标是跨机器人泛化——在一种机器人上训练的策略能迁移到另一种机器人上。Octo用Transformer作为backbone输入是图像和语言指令输出是动作。它在13种不同的机器人上测试展示了不错的泛化能力。OpenVLA是斯坦福和UC Berkeley联合发布的开源VLA模型。它基于Llama-2语言模型用LoRA微调来适配机器人动作输出。LoRA的好处是只需要微调很少的参数原始模型的1%左右大大降低了微调的计算成本。OpenVLA在Open X-Embodiment数据集上训练代码和模型权重都开源了。如果你想在自己的机器人上实验VLAOpenVLA是一个很好的起点。除了Octo和OpenVLA还有一些值得关注的开源VLA项目。π0Physical Intelligence, 2024是一个基础模型专注于通用机器人操作。它用flow matching来生成连续动作比离散化token的方式更精确。CogACT2024用认知科学的思路来设计VLA架构强调了注意力机制在视觉-动作转换中的核心作用。VLA在机器人中的应用前景VLA模型在机器人中有几个潜在的应用方向。通用操作是最直接的目标。一个训练好的VLA模型能执行多种操作任务不需要为每个任务单独训练策略。这对工业机器人的柔性制造很有价值——同一条产线换一种产品只需要换一条语言指令。语言交互让机器人更容易被非专业人员使用。你不需要写代码或者手动编程直接用自然语言告诉机器人做什么。这对服务机器人家庭、医院、仓库特别重要。泛化能力是VLA最大的卖点。利用预训练大模型的世界知识VLA能处理训练时没见过的物体和指令组合。虽然目前的泛化能力还远不够可靠但方向是对的。想象一下未来的家用机器人能理解把客厅收拾一下这样的模糊指令自己判断哪些东西该放哪里。这在以前是不可想象的。数据收集是VLA面临的最大挑战之一。跟文本和图像数据不同机器人操作数据需要人工示范成本极高。目前的解决方案包括遥操作人用操纵杆控制机器人收集数据、视频学习从人类操作视频中提取训练信号、以及仿真数据生成。其中遥操作是最成熟的方式但效率很低——一个操作者一小时可能只能收集几十条轨迹。如何提高数据收集效率是VLA能否大规模应用的关键瓶颈。面试要点VLA和传统模块化方案的对比。VLA端到端避免了误差累积但需要大量数据。模块化方案每个模块可以独立优化和调试但接口设计复杂。实际项目中很多团队采用混合方案——用VLA做高层决策用传统控制做底层执行。VLA的局限性。目前的VLA模型推理速度慢大Transformer的延迟不适合高频控制。RT-2的推理延迟在100ms左右对于需要10Hz以上控制频率的任务来说太慢了。训练数据需求大收集机器人操作数据的成本很高——一条操作轨迹可能需要几分钟到几十分钟的人工示范。泛化能力虽然比传统方法好但在工业级可靠性要求下99.9%以上的成功率还有很大差距。目前VLA更适合做高层决策选择抓哪个物体底层控制还是得靠传统方法。另一个问题是可解释性和安全性。VLA是一个黑盒模型你不知道它为什么决定执行某个动作。在工业场景中这种不可解释性是一个很大的障碍——如果机器人做了一个危险动作你需要能回溯原因。目前的研究方向包括用注意力可视化来理解模型的决策过程加入安全约束层来过滤危险动作等。VLA的技术栈。做VLA需要同时懂视觉CNN/ViT、语言Transformer/LLM和控制RL/运动学。面试时能展示跨领域的知识储备会很有竞争力。给你的建议VLA是机器人AI的前沿方向值得投入时间了解。建议先读RT-1和RT-2的论文理解VLA的基本架构。然后跑一下OpenVLA的开源代码在自己的数据集上微调一个模型。不需要从零开始训练VLA——计算成本太高。重点理解它的架构设计和训练流程思考怎么把它应用到你的具体项目中。面试时能聊VLA的发展趋势和挑战会展示你对前沿技术的关注。上一篇第308篇 逆强化学习——从行为中推断目标下一篇预告第310篇 Sim2Real——从仿真到真实