跳转至

导读与学习路线

预计阅读:10 分钟 | 前置知识:无


这个项目是什么

本项目是一个无人机领域的 VLA/VLM/世界模型学习知识库,目标是帮助你:

  1. 理解三大核心概念:世界模型(World Model)、视觉语言模型(VLM)、视觉语言动作模型(VLA)
  2. 掌握领域全景:知道这个领域在研究什么、怎么分类、关键论文有哪些
  3. 深入无人机方向:理解这些技术如何应用于无人机,与地面机器人有何不同
  4. 获得动手能力:知道如何复现关键项目,即使暂时不跑代码也能理解流程

你需要什么前置知识

知识领域 最低要求 理想水平
深度学习 知道什么是神经网络、CNN、Transformer 了解预训练、微调、注意力机制
计算机视觉 知道什么是图像分类、目标检测 了解语义分割、光流、视觉里程计
强化学习 知道什么是状态、动作、奖励 了解策略梯度、Actor-Critic
自然语言处理 知道什么是Token、语言模型 了解BERT/GPT架构
无人机基础 知道什么是四旋翼、PID控制 了解MAVLink、ROS2、PX4/ArduPilot

不需要:CUDA编程、机器人学深入知识、硬件经验


学习路线图

阶段一:建立认知框架(1周)

目标:理解三大概念是什么、有什么关系
路径:00-导读 → 01-基础概念(5篇)
输出:能用自己的话解释 VLM、VLA、世界模型

推荐阅读顺序: 1. 什么是世界模型 — 理解"预测未来"的核心思想 2. 什么是VLM — 理解"看图说话"的基础 3. 什么是VLA — 理解从"理解"到"行动"的演进 4. 三者关系与区别 — 串联三者的关系 5. 无人机vs地面机器人 — 理解无人机的特殊性

阶段二:选择方向深入(2-3周)

目标:深入理解一个方向的论文和方法
路径:02/03/04 专题(选一个或多个)
输出:能分析一篇论文的创新点和局限性

方向选择建议:

方向 适合人群 核心问题
世界模型 对预测/仿真/数据生成感兴趣 如何让无人机"想象"未来会发生什么
VLA 对端到端控制感兴趣 如何让无人机"看+说+飞"一体化
VLM 对感知/理解感兴趣 如何让无人机"理解"看到的内容

三个方向里 VLA 专题(10 篇)已经按"在什么轴上做消融"重新组织过:01 是架构演进路线图,02–04 是无人机专章(专用模型、语言条件控制、基础模型辅助规划),05 讲机载部署,06–10 五篇各管一根轴 —— 动作接口、数据与预训练、后训练、评测口径、世界模型的接法。按轴读还是按时间读都可以,轴划分的理由见 01-VLA架构演进 §7.3。

世界模型专题(9 篇):01–06 是主干(发展史、生成式、RSSM 类、3D 表示、无人机世界模型综述、关键数据集与基准),07–09 三篇各覆盖一根独立的轴 —— 评测与诊断、联合嵌入预测与潜空间世界模型、长时程与交互式生成。

VLM 专题(7 篇)的缺口与另两卷不同:01–04 都是无人机/遥感侧的应用与部署,通用 VLM 的方法主干整体缺席 —— 而 VLM 专题自测 的考题早就在考视觉编码器、连接器与幻觉评测。所以 05–07 三篇补的是这条主干,建议在读 01/02 之前先读:通用VLM架构与视觉编码器(四个部件、CLIP→原生分辨率、连接器、token 预算)、VLM指令微调与对齐(指令数据构造、LoRA 的边界、冻结还是联合训练)、通用VLM评测与幻觉(评测口径、POPE 与负样本划分)。三篇里 05 与 07 各配一个可跑的验证实验,06 因本仓算力条件所限不配 demo,理由写在篇首。

阶段三:综述精读(2周)

目标:系统理解领域全貌
路径:05-综述论文精读(5篇)
输出:能画出领域的知识图谱

阶段四:论文导读(2周)

目标:掌握30+篇关键论文
路径:06-论文导读合集(4篇)
输出:能快速判断一篇论文的价值和位置

阶段五:动手实践(持续)

目标:能够复现关键项目
路径:07-实践指南(11篇)
输出:能跑通一个项目并理解其架构

阶段六:科研入门(持续)

目标:从学习者过渡到研究者
路径:08-研究前沿与开放问题(4篇)
输出:能提出自己的研究问题并设计验证方案

阶段七:自测与考察(随时)

目标:把前面六个阶段漏掉的地方找出来
路径:09-专题自测与考察(现 3 篇,VLA / 世界模型 / VLM 三卷各一篇)
输出:一份自己的薄弱点清单

不必等前六个阶段走完,每读完一个专题就可以做一遍。这一部分只给指针、不给答案:答不上来的那一条,指针就是你的复习清单。现已有三篇:VLA 专题自测、世界模型专题自测、VLM 专题自测,每篇都含三层考察与一个无人机专场。

这三篇是考察篇:正文四层只给指针不给答案,末尾三道思考题是跨篇综合题。形态记在 CONTRIBUTING。


文档阅读指南

每个文档遵循统一格式:

# 标题

> 预计阅读:X 分钟 | 前置知识:xxx

---

## 核心内容
(配图、配表、配公式简化版)

## 关键论文
(引用相关论文)

## 延伸阅读
(进一步学习资源)

## 思考题
(自检理解程度)

阅读建议: - 不要试图一次读完所有文档,按路线图分阶段进行 - 每篇文档的思考题先自己想,再看答案 - 遇到不懂的术语,先查 基础概念 部分 - 论文卡片(Part 6)适合快速浏览,需要深入了解时再读对应的专题文档


术语表

术语 全称 中文 说明
VLM Vision-Language Model 视觉语言模型 输入图像+文本,输出文本理解
VLA Vision-Language-Action Model 视觉语言动作模型 输入图像+文本,输出动作指令
World Model World Model 世界模型 预测环境在动作下的演变
IDM Inverse Dynamics Model 逆动力学模型 从状态变化反推动作
MPC Model Predictive Control 模型预测控制 用模型预测未来并优化控制
MBRL Model-Based RL 基于模型的强化学习 用世界模型辅助策略学习
3DGS 3D Gaussian Splatting 3D高斯溅射 一种3D场景表示方法
NeRF Neural Radiance Fields 神经辐射场 一种隐式3D场景表示
FPV First Person View 第一人称视角 无人机机载摄像头视角
UAV Unmanned Aerial Vehicle 无人飞行器 无人机的正式名称
VLN Vision-Language Navigation 视觉语言导航 用视觉+语言指令进行导航
Sim2Real Simulation to Real 仿真到现实 从仿真环境迁移到真实世界
DoF Degrees of Freedom 自由度 运动维度数

常见问题

Q: 我需要跑代码吗? A: 不强制。本项目是认知优先的学习项目,重点在理解原理,不跑代码完全不影响阅读。但部分文档的 ## 动手验证 一节配了可直接运行的迷你 demo(真 PyTorch,CPU 两三分钟),用真实跑出来的数字支撑正文的结论 —— 想动手时照着敲即可,也可改参数看结论怎么变。实践指南(Part 7)讲的是"怎么复现论文级项目",比 demo 重得多。

Q: 我应该按什么顺序读? A: 先读导读(本文档),再读基础概念(Part 1),然后选择感兴趣的方向深入。详见上方学习路线图。

Q: 这个项目和原综述论文(arXiv:2605.00080)是什么关系? A: 本项目以该综述为骨架,但聚焦于无人机领域,补充了大量无人机专属论文和实践指南。综述面向通用机器人,本项目面向无人机。

Q: 论文链接打不开怎么办? A: 大部分论文在 arXiv 上可以直接访问。如果打不开,可以尝试用论文标题在 Google Scholar 搜索。

Q: 我可以贡献内容吗? A: 欢迎!请提交 Issue 或 Pull Request。