VLA 论文卡片¶
预计阅读:20 分钟 | 前置知识:了解VLA基础概念(见什么是VLA)
本文收录 11 篇 VLA 关键论文。每张卡片由「标题行 → 徽章行 → 一句话总结 → 核心贡献 / 方法要点 / 结果亮点」组成,题名取 arXiv API 返回的完整题名
1. VLA-AN — 机载VLA框架¶
一句话总结:把 VLA 压到能上机载的端到端框架
标题:VLA-AN: An Efficient and Onboard Vision-Language-Action Framework for Aerial Navigation in Complex Environments
核心贡献: - 3D Gaussian Splatting高保真数据生成 - 三阶段渐进训练(场景理解→飞行技能→复杂导航) - 轻量动作模块+几何安全校正 - 深度推理优化,机载部署
方法要点: - 3DGS缩小sim-to-real差距 - 替换随机生成策略为确定性安全策略 - 推理优化实现8.3x加速
结果亮点: - 98.1%最大单任务成功率 - 8.3x推理吞吐提升 - 实时机载执行
2. CognitiveDrone — 认知无人机VLA¶
一句话总结:VLA模型处理认知无人机任务:人类识别、符号理解、推理
标题:CognitiveDrone: A VLA Model and Evaluation Benchmark for Real-Time Cognitive Task Solving and Reasoning in UAVs
核心贡献: - 8000+模拟飞行轨迹训练 - 实时4D动作输出 - CognitiveDrone-R1:VLM推理模块分解复杂指令 - 认知任务基准
方法要点:第一人称视觉输入 + 文本指令,高频控制输出。
结果亮点: - CognitiveDrone: 59.6%成功率 (vs 31.3%基线) - CognitiveDrone-R1: 77.2%成功率
3. UAV-TrackVLA — 无人机跟踪VLA¶
一句话总结:基于π₀.₅的无人机跟踪VLA,时序压缩+双分支解码
标题:UAV-Track VLA: Embodied Aerial Tracking via Vision-Language-Action Models
核心贡献: - 基于π₀.₅ VLA架构 - 时序压缩网络处理帧间动态 - 并行双分支解码器 - 空间感知辅助定位头+流匹配动作专家
训练数据:890K+ 帧,176 任务,85 目标(CARLA)。
结果亮点: - 61.76%成功率 - 269.65平均跟踪帧 - 0.0571s/步推理延迟
4. UAV-Flow — 语言条件无人机控制¶
一句话总结:提出细粒度语言条件飞行任务 "Flying-on-a-Word",并开源数据与模型
标题:UAV-Flow Colosseo: A Real-World Benchmark for Flying-on-a-Word UAV Imitation Learning
· 约 170 stars · 2025 · HuggingFace wangxiangyu0814/UAV-Flow, OpenVLA-UAV · 推荐度 ★★★
核心贡献: - OpenVLA-UAV适配模型 - 真实和仿真数据集
方法要点: - 模仿学习:模仿专家飞行员轨迹 - 原子语言指令配对 - UnrealCV 仿真环境
结果亮点:VLA模型在细粒度无人机控制上显著优于VLN基线
5. VLN-Pilot — VLM作为室内无人机操作员¶
一句话总结:大型VLM替代人类飞行员,在GPS拒止环境中操作室内无人机
标题:VLN-Pilot: Large Vision-Language Model as an Autonomous Indoor Drone Operator
核心贡献: - 自由形式自然语言指令解释 - GPS拒止环境导航
应用场景:巡检、搜救、设施监控
6. CoDrone — 云边端基础模型无人机导航¶
一句话总结:首个云边端协同框架,将基础模型集成到无人机巡航中
标题:CoDrone: Autonomous Drone Navigation Assisted by Edge and Cloud Foundation Models
· IEEE Internet of Things Journal · 2025 · 推荐度 ★★☆
核心贡献: - 灰度图像减少计算 - 边缘辅助深度估计(Depth Anything V2) - DRL神经调度器
结果亮点: - 40%平均飞行距离提升 - 5%导航质量改进
7. FM-Planner — 基础模型路径规划¶
一句话总结:系统评估8种LLM/VLM方法用于无人机路径规划
标题:FM-Planner: Foundation Model Guided Path Planning for Autonomous Drone Navigation
核心贡献: - LLM-Vision集成规划器 - 语义推理+视觉感知结合 - 真实世界验证
8. NavFoM — 跨形态导航基础模型¶
一句话总结:跨四足、无人机、轮式、车辆的统一导航基础模型
标题:Embodied Navigation Foundation Model(系统名 NavFoM)
核心贡献: - 8M样本跨形态训练 - 标识符token嵌入相机视角和时间上下文 - 动态token采样策略 - 无需任务特定微调
结果亮点:跨多形态达到SOTA或竞争性能
9. CityNavAgent — 城市航空VLN¶
一句话总结:LLM驱动的城市航空VLN代理,层次化语义规划+全局记忆
标题:CityNavAgent: Aerial Vision-and-Language Navigation with Hierarchical Semantic Planning and Global Memory
核心贡献: - 拓扑记忆图 - 长期任务分解
10. UAV-VLRR — 视觉语言NMPC搜救¶
一句话总结:VLM+ChatGPT-4o场景解释+NMPC控制,搜救响应时间提升33.75%
标题:UAV-VLRR: Vision-Language Informed NMPC for Rapid Response in UAV Search and Rescue
核心贡献: - NMPC控制
11. AutoFly — 野外自主导航VLA¶
一句话总结:端到端VLA用于野外自主无人机导航,ICLR 2026
标题:AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild
核心贡献: - 伪深度编码器 - 渐进两阶段训练 - 3.9%成功率提升
论文推荐优先级¶
| 优先级 | 论文 | 理由 |
|---|---|---|
| ★★★ | VLA-AN | 最佳机载VLA,98.1%成功率 |
| ★★★ | CognitiveDrone | 认知任务,R1推理 |
| ★★★ | UAV-Flow | 语言条件控制基准,开源 |
| ★★☆ | UAV-TrackVLA | 跟踪VLA,开源 |
| ★★☆ | VLN-Pilot | VLM作为飞行员 |
| ★★☆ | CoDrone | 云边端架构 |
| ★★☆ | FM-Planner | 8种方法对比 |
| ★★☆ | NavFoM | 跨形态导航 |
| ★★☆ | AutoFly | ICLR 2026 |
延伸阅读¶
思考题¶
-
对比分析:VLA-AN 的 98.1% 和 CognitiveDrone-R1 的 77.2% 都叫"成功率",能直接横向比较吗?为什么?
-
架构选型:UAV-TrackVLA 走"时序压缩 + 并行双分支解码",AutoFly 走"伪深度编码器 + 渐进两阶段训练"。面向算力受限的机载平台,你更该借鉴哪一套,依据是什么?
-
方案权衡:CoDrone 选择云边端协同,VLA-AN 选择纯机载部署。换成 GPS 拒止的室内任务,你会怎么取舍?
-
范式辨析:UAV-Flow 的结论是"VLA 在细粒度控制上优于 VLN",NavFoM 则主张一个模型跨四足/无人机/轮式/车辆、无需任务特定微调。这两种立场能同时成立吗?
-
方法迁移:CityNavAgent 的"层次化语义规划 + 拓扑记忆图"是为城市长期 VLN 设计的。搬去解 UAV-TrackVLA 的目标跟踪任务,哪一环最不匹配?