【综述】VLA模型：概念、进展、应用与挑战

摘要

视觉-语言-动作（Vision-Language-Action, VLA）模型标志着人工智能领域的变革性进展，旨在将感知、自然语言理解与具身动作统一于单一计算框架之中。本文作为基础性综述，系统梳理了近年来VLA模型的最新进展，并围绕五大主题支柱对该快速发展的领域进行了结构化总结。首先，我们确立了VLA系统的概念基础，追溯其从跨模态学习架构到集成视觉-语言模型（VLM）、动作规划器和分层控制器的通用智能体的演变过程。本文采用严格的文献综述方法，涵盖了过去三年内发表的80余种VLA模型。主要进展包括架构创新、参数高效训练策略以及实时推理加速。我们深入探讨了VLA在多样化应用领域的落地，如人形机器人、自动驾驶、医疗与工业机器人、精准农业以及增强现实导航。文章还系统分析了VLA在实时控制、多模态动作表示、系统可扩展性、对未知任务的泛化能力以及伦理部署风险等方面面临的主要挑战。结合最新技术进展，我们提出了针对性解决方案，包括智能体式AI自适应、跨具身泛化和统一的神经-符号规划。在前瞻性讨论中，本文展望了VLA模型、VLM和智能体式AI融合，推动社会对齐、适应性强、通用型具身智能体的发展。此综述为推动智能机器人与人工通用智能（AGI）的研究与应用提供了坚实的基础参考。

引言

在 Vision-Language-Action (VLA) 模型出现之前，机器人和人工智能领域的进展主要分布在三个独立方向：视觉系统能够“看见”和识别图像，语言系统能够理解和生成文本，动作系统则负责控制运动。这些系统各自表现良好，但在协同工作或应对新颖、不可预测场景时却力不从心，难以理解复杂环境或灵活应对现实挑战。

如图1 所示，传统计算机视觉模型（主要基于卷积神经网络 CNN）通常只适用于特定任务，如目标检测或分类，需要大量标注数据，并且在环境或目标稍有变化时就必须重新训练。这些视觉模型虽然能“看见”（例如识别果园中的苹果），但无法理解语言，也无法将视觉信息转化为有意义的动作。语言模型，尤其是大型语言模型（LLM），极大提升了文本理解和生成能力，但它们只能处理语言，无法感知或推理物理世界（如图1 中“果园里的成熟苹果”即体现了这一局限）。与此同时，机器人中的动作系统依赖大量手工设计的策略或强化学习，只能实现特定行为（如物体操作），但工程成本高，难以泛化到新任务。

尽管视觉-语言模型（VLM）通过融合视觉和语言取得了多模态理解上的突破，但仍然存在明显的集成瓶颈：无法根据多模态输入生成或执行连贯的动作。如图1 所示，大多数 AI 系统最多只能集成两种模态（视觉-语言、视觉-动作或语言-动作），难以将三者统一到一个端到端框架中。因此，机器人可以识别物体（“苹果”）、理解文本指令（“捡起苹果”），或执行预设动作（抓取），但要将这些能力整合为流畅、可适应的行为却难以实现。结果就是管道式架构碎片化，难以灵活适应新任务或环境，导致泛化能力差、工程负担重。这一瓶颈成为具身智能发展的关键障碍：如果系统不能同时感知、理解和行动，智能自主行为就难以实现。

为解决上述问题，VLA 模型应运而生。VLA 概念大约在 2021-2022 年提出，代表性工作如 Google DeepMind 的 Robotic Transformer 2 (RT-2)，首次将感知、推理和控制统一到一个框架中。作为图1 所示问题的解决方案，VLA 模型集成了视觉输入、语言理解和运动控制，使具身智能体能够感知环境、理解复杂指令，并动态执行合适动作。早期 VLA 方法通过在视觉-语言模型基础上引入动作 token（数值或符号化的机器人运动指令），实现了从视觉、语言和轨迹数据联合学习。这一创新极大提升了机器人对未知物体的泛化能力、对新语言指令的理解能力，以及在非结构化环境下的多步推理能力。

VLA 模型是实现统一多模态智能的重要突破，打破了长期以来视觉、语言和动作各自为政的局限。通过利用互联网规模的数据集，将视觉、语言和行为信息融合，VLA 让机器人不仅能识别和描述环境，还能进行语境推理并在复杂动态场景下执行合适动作。图1 展示了从孤立的视觉、语言、动作系统到集成 VLA 模型的演变，这标志着具身智能体向自适应、可泛化方向迈出了关键一步。鉴于这一创新的深远影响，有必要开展系统性综述，全面梳理相关文献和技术进展。首先，综述有助于澄清 VLA 的基础概念和架构原理，区分其与前代模型的本质差异。其次，能够结构化地总结领域内的快速进展和关键里程碑，帮助研究者和工程师把握技术演化轨迹。第三，深入综述有助于梳理 VLA 在家庭机器人、工业自动化、辅助技术等实际应用中的变革性作用。进一步，通过批判性分析当前挑战（如数据效率、安全性、泛化和伦理问题），综述能够明确未来大规模部署所需解决的障碍。最后，综合这些洞见，有助于为 AI 和机器人领域的研究者提供前沿方向和实践参考，促进协作与创新。

在本综述中，我们系统性地分析了视觉-语言-动作（VLA）模型的基本原理、发展进展以及技术挑战。我们的目标是整合当前对VLA的理解，同时识别其局限性并提出未来发展方向。综述首先详细阐述了关键概念基础（见图2），包括VLA模型的定义、历史演变、多模态集成机制以及基于语言的标记化与编码策略。这些概念性组成部分为理解VLA在多模态下的结构与功能奠定了基础。

在此基础上，我们统一展示了近期的技术进展与高效训练策略（见图3）。内容涵盖了推动VLA模型更强泛化能力的架构创新，以及数据高效学习框架、参数高效建模技术和模型加速方法，这些都旨在降低计算成本而不牺牲性能。这些进展对于VLA系统在实际应用中的规模化部署至关重要。

随后，我们深入讨论了当前VLA系统面临的主要挑战（见图4），包括推理瓶颈、安全性问题、高计算需求、有限的泛化能力以及伦理影响。我们不仅指出了这些关键难题，还分析了可能的解决方案。

这三幅图共同构建了本文的视觉框架，支撑了文本分析。通过梳理概念基础、最新创新和开放挑战，本综述旨在为未来研究提供指导，推动更强健、高效且具伦理保障的VLA系统发展。