VLM、VLA、世界模型：三者关系与区别¶

预计阅读：10 分钟 | 前置知识：了解VLM和VLA（见前两篇）

核心关系图¶

                    ┌─────────────────────────────────┐
                    │          基础模型能力            │
                    └─────────────────────────────────┘
                                    │
                    ┌───────────────┼───────────────┐
                    ↓               ↓               ↓
              ┌──────────┐   ┌──────────┐   ┌──────────┐
              │   VLM    │   │   VLA    │   │  World   │
              │ 视觉语言 │   │视觉语言  │   │  Model   │
              │  模型    │   │动作模型  │   │ 世界模型 │
              └──────────┘   └──────────┘   └──────────┘
                   │               │               │
              "看图说话"      "看图做事"       "预测未来"
                   │               │               │
              理解+描述       理解+执行       想象+规划

三者对比表¶

维度	VLM	VLA	世界模型
输入	图像 + 文本	图像 + 文本 (+ 历史)	当前状态 + 动作
输出	文本理解	动作指令	下一状态预测
核心能力	理解	理解 + 执行	预测
典型问题	"图片里有什么？"	"我该怎么做？"	"做了会怎样？"
训练数据	图文对	图文动作三元组	状态动作转移对
代表模型	LLaVA, GPT-4V	RT-2, OpenVLA, π₀	DreamerV3, ANWM
计算需求	中-高	高	中-高
实时性	中等	要求高	中等

三者的协作关系¶

在实际机器人系统中，三者常常协同工作：

模式一：VLM 感知 + 世界模型规划 + 控制器执行¶

图像输入 → VLM理解场景 → 世界模型预测未来 → 规划器选择最优路径 → 控制器执行
           "前方有障碍"    "左转后会看到路"    "选择左转"          "输出左转指令"

特点：模块化，可解释，但需要手动设计接口

模式二：VLA 端到端¶

图像 + 语言指令 → VLA → 动作输出
                     "左转避开障碍"

特点：简洁，端到端，但黑箱

模式三：VLA + 世界模型辅助¶

图像 + 指令 → VLA生成候选动作 → 世界模型评估每个动作的后果 → 选择最优动作

特点：结合两者优势，VLA负责生成，世界模型负责评估

三者的演进关系¶

VLM (2021-2023)
│  "我能理解视觉世界"
│  输入: 图像+文本 → 输出: 文本
│
├─ 添加动作输出 →
│
VLA (2023-2025)
│  "我能理解并执行"
│  输入: 图像+文本 → 输出: 动作
│
├─ 添加预测能力 →
│
VLA + 世界模型 (2025-2026)
   "我能理解、预测并执行"
   输入: 图像+文本 → 输出: 动作 + 未来预测

统一视角：从信息处理角度看¶

        感知              推理              行动
    ┌──────────┐    ┌──────────┐    ┌──────────┐
    │  VLM擅长  │    │世界模型  │    │  VLA擅长  │
    │          │    │  擅长    │    │          │
    │ 图像理解  │    │ 未来预测 │    │ 动作生成  │
    │ 语言理解  │    │ 因果推理 │    │ 策略执行  │
    │ 多模态对齐│    │ 规划决策 │    │ 实时控制  │
    └──────────┘    └──────────┘    └──────────┘
         │               │               │
         └───────────────┼───────────────┘
                         ↓
                  完整的智能体

具体例子：无人机降落任务¶

只用 VLM¶

输入: 无人机摄像头图像 + "找一个安全的降落点"
VLM: "图像中央有一片开阔草地，适合降落"
问题: 只能描述，不能执行降落动作

只用 VLA¶

输入: 无人机摄像头图像 + "降落"
VLA: 直接输出降落动作序列 [下降速度, 水平修正, ...]
问题: 如果降落点选错了怎么办？没有"预演"能力

VLM + 世界模型 + VLA¶

VLM: "前方草地适合降落，右侧有建筑"
世界模型: "如果向左飞5米后降落，会更安全（远离建筑）"
VLA: 输出动作 [向左飞5米, 然后降落]
结果: 更安全、更智能的决策

技术细节对比¶

模型架构¶

组件	VLM	VLA	世界模型
视觉编码器	✓	✓	✓ (或用视频编码器)
语言模型	✓	✓	可选
动作头	✗	✓	✗
状态转移网络	✗	✗	✓
视频解码器	✗	✗	✓ (生成式)

训练目标¶

模型	训练目标
VLM	最大化 P(文本\|图像, 问题)
VLA	最大化 P(动作\|图像, 指令)
世界模型	最大化 P(下一状态\|当前状态, 动作)

无人机领域的融合趋势¶

当前的研究趋势是三者融合：

VLA内化世界模型：在VLA训练中加入世界建模目标（如GR-1、GR-2）
世界模型辅助VLA：用世界模型生成训练数据或评估动作（如WorldVLA、World-VLA-Loop）
VLM作为世界模型的接口：用VLM理解场景，世界模型预测未来
世界模型训练策略：在想象中训练策略，不需要语言模态或动作 token（如 DreamerV3、Dream to Fly）

融合趋势:
VLM + 世界模型 + VLA → 统一的空中智能体

延伸阅读¶

世界模型作为策略 — 世界模型如何与策略结合
VLA架构演进 — VLA的技术发展
综述论文概览 — 综述论文的整体框架

思考题¶

基本理解：用自己的话解释VLM、VLA、世界模型的核心区别。
系统设计：如果要设计一个完整的无人机智能系统，你会如何组合这三种模型？
权衡分析：VLA端到端方案 vs VLM+世界模型+控制器模块化方案，各有什么优劣？
趋势判断：你认为未来这三者会走向统一还是继续分化？为什么？
进阶思考：在什么情况下，只需要VLM就够了？在什么情况下必须有世界模型？

参考答案

1. VLM理解（看图说话），VLA理解+执行（看图做事），世界模型预测（预测未来）。三者分别对应感知、行动、推理。 2. 典型方案：VLM负责场景理解→世界模型负责预测和规划→VLA负责将规划转化为具体动作。或者用统一的VLA+世界模型架构。 3. 端到端：简洁、泛化好、但黑箱、难验证安全。模块化：可解释、可验证、但需要手动设计接口、可能有信息损失。 4. 可能走向融合：统一架构更简洁、端到端训练更高效。但也可能保持分工：不同组件专注于不同能力。 5. 只需VLM：简单场景理解任务（如图像描述、VQA）。必须世界模型：需要规划和预测的任务（如长距离导航、动态避障）。