导读与学习路线¶
预计阅读:10 分钟 | 前置知识:无
这个项目是什么¶
本项目是一个无人机领域的 VLA/VLM/世界模型学习知识库,目标是帮助你:
- 理解三大核心概念:世界模型(World Model)、视觉语言模型(VLM)、视觉语言动作模型(VLA)
- 掌握领域全景:知道这个领域在研究什么、怎么分类、关键论文有哪些
- 深入无人机方向:理解这些技术如何应用于无人机,与地面机器人有何不同
- 获得动手能力:知道如何复现关键项目,即使暂时不跑代码也能理解流程
你需要什么前置知识¶
| 知识领域 | 最低要求 | 理想水平 |
|---|---|---|
| 深度学习 | 知道什么是神经网络、CNN、Transformer | 了解预训练、微调、注意力机制 |
| 计算机视觉 | 知道什么是图像分类、目标检测 | 了解语义分割、光流、视觉里程计 |
| 强化学习 | 知道什么是状态、动作、奖励 | 了解策略梯度、Actor-Critic |
| 自然语言处理 | 知道什么是Token、语言模型 | 了解BERT/GPT架构 |
| 无人机基础 | 知道什么是四旋翼、PID控制 | 了解MAVLink、ROS2、PX4/ArduPilot |
不需要:CUDA编程、机器人学深入知识、硬件经验
学习路线图¶
阶段一:建立认知框架(1周)¶
推荐阅读顺序: 1. 什么是世界模型 — 理解"预测未来"的核心思想 2. 什么是VLM — 理解"看图说话"的基础 3. 什么是VLA — 理解从"理解"到"行动"的演进 4. 三者关系与区别 — 串联三者的关系 5. 无人机vs地面机器人 — 理解无人机的特殊性
阶段二:选择方向深入(2-3周)¶
方向选择建议:
| 方向 | 适合人群 | 核心问题 |
|---|---|---|
| 世界模型 | 对预测/仿真/数据生成感兴趣 | 如何让无人机"想象"未来会发生什么 |
| VLA | 对端到端控制感兴趣 | 如何让无人机"看+说+飞"一体化 |
| VLM | 对感知/理解感兴趣 | 如何让无人机"理解"看到的内容 |
三个方向里 VLA 专题(10 篇)已经按"在什么轴上做消融"重新组织过:01 是架构演进路线图,02–04 是无人机专章(专用模型、语言条件控制、基础模型辅助规划),05 讲机载部署,06–10 五篇各管一根轴 —— 动作接口、数据与预训练、后训练、评测口径、世界模型的接法。按轴读还是按时间读都可以,轴划分的理由见 01-VLA架构演进 §7.3。
世界模型专题(9 篇):01–06 是主干(发展史、生成式、RSSM 类、3D 表示、无人机世界模型综述、关键数据集与基准),07–09 三篇各覆盖一根独立的轴 —— 评测与诊断、联合嵌入预测与潜空间世界模型、长时程与交互式生成。
VLM 专题(7 篇)的缺口与另两卷不同:01–04 都是无人机/遥感侧的应用与部署,通用 VLM 的方法主干整体缺席 —— 而 VLM 专题自测 的考题早就在考视觉编码器、连接器与幻觉评测。所以 05–07 三篇补的是这条主干,建议在读 01/02 之前先读:通用VLM架构与视觉编码器(四个部件、CLIP→原生分辨率、连接器、token 预算)、VLM指令微调与对齐(指令数据构造、LoRA 的边界、冻结还是联合训练)、通用VLM评测与幻觉(评测口径、POPE 与负样本划分)。三篇里 05 与 07 各配一个可跑的验证实验,06 因本仓算力条件所限不配 demo,理由写在篇首。
阶段三:综述精读(2周)¶
阶段四:论文导读(2周)¶
阶段五:动手实践(持续)¶
阶段六:科研入门(持续)¶
阶段七:自测与考察(随时)¶
不必等前六个阶段走完,每读完一个专题就可以做一遍。这一部分只给指针、不给答案:答不上来的那一条,指针就是你的复习清单。现已有三篇:VLA 专题自测、世界模型专题自测、VLM 专题自测,每篇都含三层考察与一个无人机专场。
这三篇是考察篇:正文四层只给指针不给答案,末尾三道思考题是跨篇综合题。形态记在 CONTRIBUTING。
文档阅读指南¶
每个文档遵循统一格式:
# 标题
> 预计阅读:X 分钟 | 前置知识:xxx
---
## 核心内容
(配图、配表、配公式简化版)
## 关键论文
(引用相关论文)
## 延伸阅读
(进一步学习资源)
## 思考题
(自检理解程度)
阅读建议: - 不要试图一次读完所有文档,按路线图分阶段进行 - 每篇文档的思考题先自己想,再看答案 - 遇到不懂的术语,先查 基础概念 部分 - 论文卡片(Part 6)适合快速浏览,需要深入了解时再读对应的专题文档
术语表¶
| 术语 | 全称 | 中文 | 说明 |
|---|---|---|---|
| VLM | Vision-Language Model | 视觉语言模型 | 输入图像+文本,输出文本理解 |
| VLA | Vision-Language-Action Model | 视觉语言动作模型 | 输入图像+文本,输出动作指令 |
| World Model | World Model | 世界模型 | 预测环境在动作下的演变 |
| IDM | Inverse Dynamics Model | 逆动力学模型 | 从状态变化反推动作 |
| MPC | Model Predictive Control | 模型预测控制 | 用模型预测未来并优化控制 |
| MBRL | Model-Based RL | 基于模型的强化学习 | 用世界模型辅助策略学习 |
| 3DGS | 3D Gaussian Splatting | 3D高斯溅射 | 一种3D场景表示方法 |
| NeRF | Neural Radiance Fields | 神经辐射场 | 一种隐式3D场景表示 |
| FPV | First Person View | 第一人称视角 | 无人机机载摄像头视角 |
| UAV | Unmanned Aerial Vehicle | 无人飞行器 | 无人机的正式名称 |
| VLN | Vision-Language Navigation | 视觉语言导航 | 用视觉+语言指令进行导航 |
| Sim2Real | Simulation to Real | 仿真到现实 | 从仿真环境迁移到真实世界 |
| DoF | Degrees of Freedom | 自由度 | 运动维度数 |
常见问题¶
Q: 我需要跑代码吗?
A: 不强制。本项目是认知优先的学习项目,重点在理解原理,不跑代码完全不影响阅读。但部分文档的 ## 动手验证 一节配了可直接运行的迷你 demo(真 PyTorch,CPU 两三分钟),用真实跑出来的数字支撑正文的结论 —— 想动手时照着敲即可,也可改参数看结论怎么变。实践指南(Part 7)讲的是"怎么复现论文级项目",比 demo 重得多。
Q: 我应该按什么顺序读? A: 先读导读(本文档),再读基础概念(Part 1),然后选择感兴趣的方向深入。详见上方学习路线图。
Q: 这个项目和原综述论文(arXiv:2605.00080)是什么关系? A: 本项目以该综述为骨架,但聚焦于无人机领域,补充了大量无人机专属论文和实践指南。综述面向通用机器人,本项目面向无人机。
Q: 论文链接打不开怎么办? A: 大部分论文在 arXiv 上可以直接访问。如果打不开,可以尝试用论文标题在 Google Scholar 搜索。
Q: 我可以贡献内容吗? A: 欢迎!请提交 Issue 或 Pull Request。