基准与评估 (Benchmarks & Evaluation)¶

预计阅读：10 分钟 | 前置知识：了解世界模型基础概念

范围说明：本篇的「评估维度」与「评估协议」两条来自综述 §7；下面所有无人机基准（AeroVerse、MotionScape、CARLA-Air、UAVBench、BEDI、Embodied4C）都不在综述里——arXiv:2605.00080 全文不引用其中任何一个，是本书为把评估这件事落到无人机上自行补充的。

为什么需要基准和评估¶

世界模型的质量直接影响下游任务的效果。需要标准化的基准来： - 比较不同方法的优劣 - 评估模型的泛化能力 - 推动领域进步

评估维度¶

维度	评估内容	指标
预测质量	生成的视频/状态有多准确	FID, FVD, LPIPS
物理一致性	是否遵守物理规律	碰撞检测、轨迹合理性
长期一致性	多步预测后是否保持合理	长距离FVD
多样性	能否生成多样的未来	覆盖率、多样性分数
下游效果	对策略学习的帮助	任务成功率
计算效率	推理和训练速度	FPS、参数量

通用基准¶

范围：这一节的通用基准（BAIR / RoboNet / Ego4D / Meta-World / RLBench / LIBERO）综述没有逐条引用，属领域常识汇总。Ego4D 的规模通常写约 3,670 小时，下面表的「1000+小时」是保守下限。

视觉预测基准¶

基准	任务	数据
BAIR	视频预测	机器人推箱子
RoboNet	视频预测	多机器人交互
Ego4D	自我中心视频	1000+小时日常活动

机器人策略基准¶

基准	任务	平台
Meta-World	多任务操作	50个操作任务
RLBench	操作学习	100个任务
LIBERO	终身学习	多任务套件

无人机领域基准¶

AeroVerse¶

论文：AeroVerse: UAV-Agent Benchmark Suite for Simulating, Pre-training, Finetuning, and Evaluating Aerospace Embodied World Models

arXiv：2408.15511

五大下游任务： 1. 场景认知（aerospace embodied scene awareness） 2. 空间推理（spatial reasoning） 3. 导航探索（navigational exploration） 4. 任务规划（task planning） 5. 运动决策（motion decision）

特点：把世界模型的预训练、微调与评估收进同一套基准

MotionScape¶

论文：MotionScape: A Motion-Stratified UAV Video Benchmark for World Modeling and Future Video Generation

arXiv：2604.07991

规模（按 v2 摘要）： - 228 段高分辨率视频，共 62,700 帧（约 35 分钟） - 标注天气与光照条件、场景环境、相机视角运动 - 按光流强度分 low / medium / high 三档（75 / 75 / 78 段） - 支持 Text2World / Image2World / Video2World 统一评测协议

特点：面向无人机未来视频生成的标准化基准

CARLA-Air¶

论文：CARLA-Air: Fly Drones Inside a CARLA World

arXiv：2603.28032

特点： - 统一空中和地面智能体 - 支持视觉语言动作任务 - 高保真仿真环境

无人机VLA/VLM基准¶

UAVBench¶

论文：UAVBench and UAVIT-1M

arXiv：2603.14336

规模： - 43个测试单元 - 966K样本 - 1.24M指令调优数据

任务：低空无人机视觉语言任务

BEDI¶

论文：BEDI: A Comprehensive Benchmark for Evaluating Embodied Agents on UAVs

arXiv：2505.18229

六大子技能： 1. 语义感知（semantic perception） 2. 空间感知（spatial perception） 3. 运动控制（motion control） 4. 工具使用（tool utilization） 5. 任务规划（task planning） 6. 动作生成（action generation）

Embodied4C¶

论文：Embodied4C: Measuring What Matters for Embodied Vision-Language Navigation

arXiv：2512.18028

四种推理能力： 1. 空间推理 2. 时间推理 3. 语义推理 4. 物理推理

评估协议¶

标准评估流程¶

1. 数据准备
   ├── 训练集: 用于训练世界模型
   ├── 验证集: 用于调参
   └── 测试集: 用于最终评估

2. 评估指标
   ├── 视觉质量: FID, FVD, LPIPS
   ├── 物理一致性: 碰撞率、轨迹误差
   ├── 下游效果: 任务成功率
   └── 计算效率: FPS、内存占用

3. 对比基线
   ├── 随机策略
   ├── 基于规则的策略
   └── 最新SOTA方法

无人机特殊评估¶

评估项	说明
避障成功率	在障碍物环境中的安全飞行率
目标到达率	成功到达目标位置的比例
轨迹平滑度	飞行轨迹的平滑程度
能耗效率	完成任务的能耗
鲁棒性	对风扰动、光照变化的适应能力

基准对比表¶

基准	类型	规模	任务	可用性
AeroVerse	世界模型	5任务	多种	开源
MotionScape	视频数据	228 段 / 62,700 帧	未来视频生成	开源
CARLA-Air	仿真平台	无限	多种	开源
UAVBench	VLM	966K	视觉语言	开源
BEDI	具身智能	6技能	多种	开源
Embodied4C	VLN	1100题	导航	开源

延伸阅读¶

关键数据集与基准 — 数据集详解
无人机场景理解 — VLM基准
MotionScape复现指南 — 动手实践
研究空白与机会 — 评估与基准方向的开放问题

思考题¶

基本理解：评估世界模型需要考虑哪些维度？
基准对比：AeroVerse和MotionScape有什么区别？各适合什么任务？
评估挑战：如何评估世界模型的物理一致性？
无人机特殊性：无人机基准需要额外评估哪些指标？
进阶思考：如何设计一个能评估"安全性"的基准？

参考答案

**1. 评估维度** 评估世界模型需要考虑六个维度：预测质量（FID、FVD、LPIPS等指标衡量生成准确性）、物理一致性（是否遵守碰撞、轨迹等物理规律）、长期一致性（多步预测后是否保持合理）、多样性（能否生成多种合理的未来）、下游效果（对策略学习和任务成功率的帮助）、以及计算效率（推理速度和参数量）。

参考答案

**2. AeroVerse vs MotionScape** AeroVerse 是综合性的无人机世界模型基准套件，五大下游任务是场景认知、空间推理、导航探索、任务规划、运动决策，适合评估模型在多种任务上的综合能力。MotionScape 则是面向未来视频生成的标准化基准（228 段 / 62,700 帧，标注天气、光照、场景与相机运动，按光流强度分三档），只评"预测得准不准"，不含位姿真值，所以不适合评定位精度。

参考答案

**3. 物理一致性评估** 物理一致性可通过碰撞检测（预测轨迹是否穿墙或穿过障碍物）和轨迹合理性（预测运动是否符合动力学约束）来评估。评估协议中还包括碰撞率和轨迹误差等具体指标，同时需要对比随机策略、基于规则的策略和SOTA方法作为基线，以衡量模型是否真正学到了物理规律而非简单记忆。

参考答案

**4. 无人机特殊评估指标** 无人机基准需要额外评估避障成功率（障碍物环境中的安全飞行率）、目标到达率（成功到达目标位置的比例）、轨迹平滑度（飞行轨迹的平滑程度）、能耗效率（完成任务的能耗）以及鲁棒性（对风扰动、光照变化的适应能力）。这些指标反映了无人机三维自由飞行场景相比地面机器人的特殊需求。

参考答案

**5. 安全性基准设计** BEDI 本身**没有安全相关的子技能**（它的六项是语义感知 / 空间感知 / 运动控制 / 工具使用 / 任务规划 / 动作生成），所以这件事要从别处借设计思路，比如 AeroVerse 的运动决策任务、或 VLA 侧的几何安全校正层（见 [VLA-AN](../03-VLA专题/02-无人机VLA模型.md)）。可以构建包含禁飞区规避、最小安全距离保持、紧急避障响应等场景的测试集：在受控环境中注入危险情境（突发障碍物、通信丢失、传感器故障），评估违规次数、最小间距和紧急响应成功率，并把安全指标作为一票否决项纳入综合评分。