什么是视觉语言动作模型 (VLA)¶
预计阅读：15 分钟 | 前置知识：了解VLM（见什么是VLM）
一句话定义¶
VLA（Vision-Language-Action Model）是能同时理解视觉、语言并输出动作的端到端模型。
简单来说：VLA = VLM + 动作输出。它不仅能"看图说话"，还能"看图做事"。
直觉理解¶
想象你操控一架无人机，看到前方有障碍物：
- VLM："前方有一棵树，建议绕行"（只能说，不能做）
- VLA：看到树 → 直接输出动作指令"向左偏移2米"（看+说+做一体化）
VLA 的核心突破是端到端：从感知到决策到动作，一个模型搞定，不需要中间模块。
从 VLM 到 VLA 的演进¶
传统机器人系统:
感知模块 → 规划模块 → 控制模块 → 执行
(每个模块独立设计和训练)
VLM 驱动的系统:
VLM(感知+理解) → 规划模块 → 控制模块 → 执行
(感知和理解统一，但规划和控制仍分开)
VLA 端到端系统:
VLA(感知+理解+决策+动作) → 执行
(一个模型端到端)
VLA 的核心架构¶
┌───────────┐ ┌───────────┐ ┌───────────┐
│ 视觉输入 │ + │ 语言指令 │ + │ 历史状态 │
└─────┬─────┘ └─────┬─────┘ └─────┬─────┘
│ │ │
└───────────────┼───────────────┘
↓
┌───────────────┐
│ VLA 模型 │
│ (多模态骨干) │
└───────┬───────┘
↓
┌───────────────┐
│ 动作输出头 │
│ (Action Head) │
└───────┬───────┘
↓
┌───────────────┐
│ 执行动作 │
│ (关节/速度) │
└───────────────┘
动作表示¶
VLA 的动作输出有多种方式：
| 方式 | 说明 | 适用场景 |
|---|---|---|
| 离散动作 | 预定义动作集合（前进/左转/悬停） | 简单任务 |
| 连续动作 | 直接输出速度/加速度值 | 精细控制 |
| 航点序列 | 输出未来N个目标位置 | 路径规划 |
| token化动作 | 将动作编码为token，和文本统一处理 | 统一架构 |
VLA 的关键创新¶
1. 动作 Token 化¶
将动作编码为离散token，与文本token在同一个序列中处理：
代表：RT-2 (Google, 2023) — 首次把动作表达为文本 token，并据此提出 VLA 这一范式（动作的离散化方案沿用 RT-1）
2. 流匹配 (Flow Matching)¶
用连续归一化流生成动作分布，而非离散采样：
代表：π₀ (Physical Intelligence, 2024)
3. 扩散策略 (Diffusion Policy)¶
用扩散模型生成动作序列：
代表：Diffusion Policy (Chi et al., 2023)
代表性 VLA 模型¶
地面机器人 VLA¶
| 模型 | 年份 | 核心创新 |
|---|---|---|
| RT-2 (Google) | 2023 | 首个VLA，将动作编码为文本token |
| OpenVLA (Stanford) | 2024 | 开源VLA，7B参数，可微调 |
| π₀ (Physical Intelligence) | 2024 | 流匹配动作生成，统一架构 |
| π₀.₅ | 2025 | π₀的改进版，更强的泛化能力 |
| Octo (UC Berkeley) | 2024 | 通用机器人策略，多任务 |
| GR-1 (ByteDance) | 2024 | 视频生成+动作预测统一 |
无人机 VLA¶
| 模型 | 年份 | 核心创新 |
|---|---|---|
| VLA-AN | 2025 | 机载VLA框架，98.1%成功率 |
| CognitiveDrone | 2025 | 认知无人机，实时4D动作 |
| UAV-Track VLA | 2026 | 基于 PaliGemma（SigLIP 视觉塔 + Gemma 语言模型）的无人机具身跟踪 |
| UAV-Flow/OpenVLA-UAV | 2025 | OpenVLA适配无人机 |
| VLN-Pilot | 2026 | VLM作为室内无人机操作员 |
VLA vs VLM vs 传统控制¶
| 维度 | 传统控制 | VLM + 控制器 | VLA 端到端 |
|---|---|---|---|
| 感知 | 手工设计特征 | VLM自动提取 | 模型内置 |
| 决策 | 规则/优化 | LLM规划 | 端到端 |
| 动作 | 控制器输出 | 控制器输出 | 模型直接输出 |
| 训练 | 模块独立训练 | 模块独立训练 | 端到端训练 |
| 泛化 | 差 | 好 | 好 |
| 可解释性 | 好 | 中等 | 差 |
| 安全性 | 可验证 | 可验证 | 难验证 |
无人机 VLA 的特殊挑战¶
1. 动作空间复杂¶
地面机器人：2D动作 (x, y, θ) 无人机：4D动作 (roll, pitch, yaw, thrust) + 6-DoF动力学
2. 安全约束严格¶
- 地面机器人碰撞：可能只是撞墙停下
- 无人机碰撞：坠机、损坏、伤人
解决方案：VLA-AN 引入"几何安全校正"，替换随机生成策略
3. 实时性要求高¶
无人机飞行动力学快，需要高频控制：控制环频率上，地面机器人多在几十 Hz 量级，无人机通常更高（具体档位随平台与飞控实现差异很大，本节不给统一数值）。
注意把两件事分开：这里的「控制环频率」是飞控内环跑 IMU→电机的那一圈，与「VLA 策略推理频率」不是一回事。VLA-AN 自报的推理是 2–3 Hz，目标是接近 10 Hz——策略多久出一次动作，比内环慢两三个数量级。
解决方案：VLA-AN 实现 8.3x 推理加速（4100 ms → 494 ms）
4. Sim-to-Real 差距大¶
无人机3D动力学仿真比地面2D运动仿真更难： - 空气动力学效应难以精确建模 - 3D环境比2D环境更复杂
解决方案：用3D Gaussian Splatting生成高保真训练数据
无人机 VLA 的典型架构¶
以 VLA-AN 为例的三阶段训练：
阶段1: 场景理解
输入: 航拍图像 + 语言描述
目标: 理解场景语义
训练: 视觉问答、图像描述
阶段2: 飞行技能
输入: 当前状态 + 简单指令
目标: 学习基本飞行动作
训练: 模仿学习、简单导航
阶段3: 复杂导航
输入: 当前状态 + 复杂指令
目标: 复杂环境中的自主导航
训练: 强化学习、多任务学习
VLA 的未来趋势¶
- 更大规模：从7B到70B+参数，更强的泛化能力
- 更多模态：加入深度、点云、音频等
- 更强安全：形式化安全验证
- 更低延迟：模型压缩、量化、硬件加速
- 跨形态：一个VLA控制多种机器人（地面+空中）
延伸阅读¶
思考题¶
-
基本理解：VLA和VLM的核心区别是什么？为什么需要VLA而不能只用VLM？
-
架构思考：动作token化有什么优势和劣势？
-
无人机应用：为无人机设计VLA时，动作空间应该怎么定义？
-
安全分析：VLA端到端方案的"黑箱"特性在无人机场景下有什么风险？如何缓解？
-
进阶思考：VLA能否同时输出"解释"和"动作"？即不仅做事，还能解释为什么这么做？