什么是世界模型 (World Model)¶

预计阅读：15 分钟 | 前置知识：基础深度学习概念

一句话定义¶

世界模型是对"环境如何在动作下演变"的预测性表示。

简单来说：给定当前状态和一个动作，世界模型能预测"接下来会发生什么"。

直觉理解¶

想象你在驾驶无人机穿过一片树林：

没有世界模型：你看到一棵树，左转避开，然后看到什么就是什么
有世界模型：你看到一棵树，左转后"脑海里"已经预见到会看到一条小路，然后用这个预期来规划后续动作

人类大脑就是一个强大的世界模型——你不需要真的撞到墙才知道会疼，你可以在脑中"模拟"这个结果。

形式化定义¶

在技术上，世界模型通常表示为：

s_{t+1} = f(s_t, a_t)

其中： - s_t：时刻 t 的状态（可以是图像、特征向量等） - a_t：时刻 t 执行的动作 - f：世界模型（状态转移函数） - s_{t+1}：预测的下一时刻状态

关键点：世界模型学习的是状态转移函数 f，而不是直接学习策略（该做什么动作）。

为什么世界模型重要¶

1. 样本效率¶

方法	学习方式	样本需求
无模型RL (PPO, SAC)	直接在真实环境中试错	需要大量交互
基于模型的RL (用世界模型)	先学模型，再在"想象"中训练	大幅减少真实交互

对于无人机来说，真实飞行数据昂贵且危险，世界模型可以在"想象"中生成大量训练数据。

2. 安全性¶

世界模型可以提前预测危险： - "如果我继续向前飞，3秒后会撞到建筑" - "如果我加速转弯，无人机会失去平衡"

这些判断都在模型内部完成，判错不需要付出坠机代价。

3. 规划能力¶

有了世界模型，可以做模型预测控制 (MPC)：

对每个候选动作序列:
    用世界模型模拟未来N步
    评估哪个序列最好
执行最优序列的第一步

世界模型的三大范式¶

根据综述论文 arXiv:2605.00080，世界模型在机器人学习中有三种主要角色：

范式一：世界模型作为策略 (World Model as Policy)¶

输入: 当前图像 + 语言指令
         ↓
   世界模型预测未来视觉轨迹
         ↓
   逆动力学模型(IDM)从轨迹中提取动作
         ↓
输出: 执行动作

代表工作：UniPi, GR-1, VideoPolicy 核心思想：先"想象"理想的未来画面，再倒推需要什么动作

范式二：世界模型作为模拟器 (World Model as Simulator)¶

学习一个世界模型
         ↓
在世界模型中"想象"交互（不用真实环境）
         ↓
用想象的数据训练/评估策略
         ↓
将策略部署到真实环境

代表工作：DayDreamer, UniSim, TD-MPC2 核心思想：世界模型是一个"内部仿真器"，可以在脑中训练

范式三：世界模型作为视频生成器 (World Model as Video Generator)¶

输入: 当前帧 + 动作条件
         ↓
   视频生成模型生成未来帧
         ↓
输出: 预测的未来视频

代表工作：Cosmos, Genie Envisioner, Sora 核心思想：用视频生成模型作为世界模型的实现

世界模型的发展脉络¶

1960s  认知科学与控制论提出"内部模型"的早期概念（可查的源头在此）
         ↓
2018   Ha & Schmidhuber "World Models" 论文，用VAE+RNN学习可训练的环境模型
         ↓
2020   Dreamer (Hafner et al.) 在 latent space 学世界模型做MBRL
         ↓
2021   DreamerV2 (ICLR 2021)
         ↓
2022   TD-MPC 系列；MBRL 在部分任务上开始超过无模型方法
         ↓
2023   DreamerV3、UniSim、GAIA-1 陆续出现
         ↓
2024   Genie (DeepMind)；Sora 等大规模视频生成，引发"什么算世界模型"的讨论
         ↓
2025   Cosmos (NVIDIA) 物理世界模拟器；无人机专属世界模型出现 (ANWM, AirScape, FlightDiffusion)
         ↓
2026   综述论文系统化梳理，领域加速发展

世界模型 vs 其他概念¶

概念	目标	输出
世界模型	预测环境演变	下一状态 s_{t+1}
策略 (Policy)	决定做什么动作	动作 a_t
价值函数 (Value)	评估状态好坏	标量值 V(s)
动力学模型	预测物理运动	状态变化 Δs
仿真器 (Simulator)	模拟环境交互	完整的交互环境

关键区别：世界模型关注的是"环境会怎么变"，而不是"我该怎么做"。

无人机领域的世界模型¶

在无人机场景下，世界模型面临独特挑战：

挑战	说明
全3D运动	不像地面机器人只需2.5D，无人机有6个自由度
视角变化大	俯视、斜视、快速旋转，视角变化远超地面
动态环境	风扰动、移动障碍物、光照变化
长距离预测	无人机飞得快，需要预测更远的未来

代表工作： - ANWM (2025)：航空导航世界模型，引入FFP模块提供几何先验 - AirScape (2025)：可控制相机运动的航空世界模型 - FlightDiffusion (2025)：用扩散模型生成FPV视频

延伸阅读¶

世界模型发展史 — 更详细的发展脉络
生成式世界模型 — 无人机生成式世界模型详解
综述论文精读 — arXiv:2605.00080 整体框架

思考题¶

基本理解：用自己的话解释"世界模型"是什么。为什么它对机器人学习很重要？
对比思考：世界模型和游戏引擎（如Unity/Unreal）有什么相似和不同？
无人机应用：如果给无人机配一个世界模型，它能做什么现在做不了的事情？
挑战分析：为什么为无人机建世界模型比为地面机器人更难？列出至少3个原因。
进阶思考：世界模型有"模型误差累积"的问题——预测越远，误差越大。你认为这在无人机场景下会更严重还是更轻？为什么？

参考答案

1. 世界模型是环境的"内部模拟器"，能预测动作的后果。它重要是因为可以减少真实交互（提高样本效率）、提前预测危险（提高安全性）、支持规划（提高决策质量）。 2. 相似：都可以模拟物理交互。不同：游戏引擎是手工编写的物理规则，世界模型是从数据中学习的；游戏引擎精确但需要大量工程，世界模型灵活但可能有误差。 3. 例如：预测障碍物轨迹、预演多种飞行路径选择、在"想象"中训练飞行策略、生成合成训练数据。 4. 全3D自由度、视角变化剧烈、需要6-DoF轨迹理解、风扰动等动态因素、数据稀缺。 5. 可能更严重：无人机运动更快、3D空间更大、视角变化更剧烈，误差累积更快。但也可能更轻：无人机在空中障碍物较少，不需要像地面机器人那样精确避障。