跳转至

数据、预训练与跨具身：无人机的第一约束

预计阅读：20 分钟 | 前置知识：模仿学习基础、06-动作头与动作分块 第 3 节

1. 数据是这一层的约束

06 篇讲的是动作头怎么设计。动作头再好在数据不够时也学不出东西。这一层要回答的问题比动作头朴素：训练数据从哪来，怎么混，怎么判断哪一条有用。

把这件事单独成篇，是因为它和无人机的关系比其他任何一层都直接。操作臂的数据生态已经建起来了，跨具身共享有中间表示可用。空中没有。本篇最后第 9 节给出的数字是这一篇存在的理由。

判据：这一层的判断标准是"这条数据在闭环执行时会不会被用上"。不能改变闭环行为的数据，加进去只是增加训练成本。

2. 真机数据的规模：OXE 与 DROID

[ICRA'24] Open X-Embodiment — Open X-Embodiment: Robotic Learning Datasets and RT-X Models（arXiv:2310.08864）是跨具身数据集这一路的起点。它把 22 种不同机器人、由 21 家机构贡献的数据汇到一起，覆盖 527 种技能、160266 个任务，然后在这个混合数据上训 RT-X。它的主张是：机器人学习可以像 NLP 那样先训通用主干再适配，而不是每个机器人、每个环境各训一个模型。

[RSS'24] DROID — DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset（arXiv:2403.12945）解决的是 OXE 的另一面问题。摘要里说得很直白：当时最通用的操作策略也大多只在少数几个环境里采的数据上训练，场景和任务多样性有限。DROID 用 50 个数据采集者、564 个场景、84 个任务收出 76k 条示范轨迹、350 小时交互数据，把"野外"这个词落到了具体数量上。

这两个数据集给出了 2024 年的操作数据基线。记住 76k 和 160266 这两个量级，第 9 节要用。

判据：判断一个机器人数据集是否"大"，看的不是轨迹条数，而是场景数与采集者数的乘积。同一个实验室里收 76k 条，和 50 个人在 564 个场景里收 76k 条，是两件不同的事。

3. 不用机器人采集：UMI 与手持接口

真机采集贵，于是有人问：能不能不碰机器人就把示范收了。

[RSS'24] UMI — Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots（arXiv:2402.10329）的做法是手持夹爪：人拿着一个和机器人夹爪同构的手持装置做动作，采集到的数据直接映射到机器人执行器上。它有两个设计要点值得记：推理时延迟匹配（policy interface 要和部署时的延迟对齐）和相对轨迹动作表示（相对量比绝对量更容易跨场景迁移）。

[arXiv'26.09] UMI-Bridge — UMI-Bridge: Action-Anchored Latent Alignment across Human and Robot Manipulation Data（arXiv:2609.18232）把 UMI 又往前用了一步：把 UMI 数据当作中间域，让自我中心人视频和真机数据按动作等价性对齐，而不是按像素相似度对齐。它要解决的是视角、具身、动作监督三者都不一致时怎么找对应关系。

UMI 这条路成立有一个物理前提：手持装置和机器人夹爪是同构的，人的手部动作可以通过一个机械接口被复现。这个前提在第 9 节会成为一个关键分水岭。

判据：无机器人采集方案的适用范围，取决于采集接口与目标执行器之间的同构程度。同构程度低到一定程度，采到的数据就只是视频，不再是动作。

4. 人手视频：从自我中心到机器人

比手持接口更激进的是直接用人手视频。

[arXiv'26.08] Ego2Robot — Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data（arXiv:2608.02580）把自我中心人手操作视频经动作重定向、机械臂视觉合成、多层过滤转成机器人训练数据。它问的是一个此前没被回答的问题：这条路线在小规模上做出过单任务策略，但能不能在规模化后对 VLA 预训练真正产生收益，此前没有定论。

[arXiv'26.10] Robotizing Human Videos with Physically Consistent Interactions — Robotizing Human Videos with Physically Consistent Interactions（arXiv:2610.06137）针对的是人手视频替换成机器人渲染时的两个具体失败：抓取不一致、机器人与物体的遮挡不真实。它从交互几何和场景可见性两条线分别修，用手物分割加网格级接触预测恢复稠密 3D 接触，再转成时间上连贯的表示。

[arXiv'26.09] ReWeight — ReWeight: Leveraging Human Data for VLA Post-Training via Demonstration Retrieval and Sample Weighting（arXiv:2609.13851）给出了一个负面结果式的提醒：直接把人和机器人的数据混在一起，会引入跨具身差异并让策略变差。 它的解法是示范级检索加样本级加权，而不是简单混合。

判据：人手数据的价值不在"量"，而在"能不能被重定向成机器人动作"。直接混合是一个已被报告会掉点的操作，不是中性操作。

5. 潜在动作：跨具身共享的中间语言

不同机器人的动作空间维度、量纲、语义都不一样。想共享数据，就得先找一个与具身无关的中间表示。潜在动作模型（latent action model, LAM）从无动作标注的视频里学出一段隐动作，用它来监督策略。

这条线在 2026 年暴露出两个具体缺陷，并且都被单独研究了。

缺陷一是视觉噪声与同动作不同码。 [arXiv'26.09] Action-Similarity Supervision — Improving Cross-embodiment Transfer in Latent Action Models with Action-Similarity Supervision（arXiv:2609.19846）指出，LAM 对背景视觉噪声敏感，而且两台不同机器人做同一个动作，可能被编码成不同的隐动作。已有的应对是加一个从隐动作反推机器人动作的辅助损失，作者研究了同一思路的另一种用法。

缺陷二是"码到底记住了什么"。 [arXiv'26.10] TERRA — TERRA: Learning Transportable Latent Actions through Temporal Effect Representation and Relational Alignment（arXiv:2610.09509）把问题写成两个：一个隐码从一次状态转移里保留了什么（只保留端点差异会丢掉动作是怎么展开的，保留完整序列又会带进无关变化），以及它在换了初始状态之后还是不是同一个意思。后一个问题重建式训练回答不了，因为重建永远只能看到"隐码加它当时的那个状态"。

几何的那一路。 [arXiv'26.09] GALA — GALA: Geometry-Aware Latent Action Modeling for Vision-Language-Action Model Pretraining across Embodiments（arXiv:2609.21948）指出基于图像的 LAM 抓不住末端执行器的细粒度几何变化，尤其是人手和灵巧手的手指级变化，于是给图像隐动作补上 3D 末端几何运动。[arXiv'26.09] UMR — UMR: Universal Manipulation Representation（arXiv:2609.34256）把操作拆成两个功能不同但几何相连的部分：与具身无关的 World Flow（描述任务相关的物体运动）和具身特定的部分，从而支持从人手示范到异构机器人的零样本技能迁移。

判据：评价一个跨具身表示，要问它能否区分"同一个动作在不同具身上"和"不同动作在同一个具身上"。只报迁移成功率的，没回答这个问题。

6. 预训练配方：规模还是表示

[arXiv'26.08] VLAct — Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models（arXiv:2608.27550）把这一层的核心张力说清楚了：机器人数据比网页图文难扩得多，因为具身采集贵且对物理世界的覆盖稀疏。所以在固定的机器人数据预算下，继续预训练的任务不是把动作拟合得更好，而是把有限的轨迹变成可迁移的视觉—动作知识。这条结论把优化目标从"数据规模"移到了"表示质量"。

[arXiv'26.09] OpenWAM — OpenWAM: An Open, Modular Exploration Towards Systematic World-Action Model Pretraining（arXiv:2609.07398）针对的是另一个问题：现有世界动作模型是单体的，生成主干、视觉表示、架构、信息流、推理过程和训练数据全部耦合在一起，导致"哪个设计选择真的重要"根本分不出来。OpenWAM 把这些拆成可组合模块，配统一的训练、推理、部署和评估，把预训练变成可控实验。

判据：在机器人数据预算固定的前提下，"表示质量"是一阶变量，"数据规模"是二阶。这和 NLP 里的直觉相反，原因是具身数据的边际采集成本。

7. 数据策展：哪些示范真的有用

采到的数据不等于能用的数据。

[arXiv'26.09] RoboDrop — RoboDrop: Curating VLA Post-Training Data via Local Gradient Compatibility（arXiv:2609.10021）先列出了实际采集数据的错误类型：执行失误、传感器漂移、时间戳错位。它指出现有清洗方法通常只针对某一种损坏，而人工检查太贵，于是用局部梯度相容性来做筛选。它区分了预训练和后训练的目标：预训练要广度，后训练要任务与具身特定的适配，因此对数据质量更敏感。

[arXiv'26.10] TUCO — TUCO: Curating Simulation Demonstrations for Sim-to-Real Robot Policy Co-Training（arXiv:2610.05407）把策展用到仿真数据上。它指出已有方法缺少一个统一的判据来同时衡量轨迹级效用和集合级覆盖，然后用影响函数追踪每条源示范如何影响目标域的评分 rollout。

[arXiv'26.09] CometVLA — CometVLA: Co-Training on an Embodied Data Pyramid towards Physical Understanding（arXiv:2608.30289）提出了一个常被跳过的问题：VLM 物理理解的提升，是否真的对下游动作生成有好处？ 它的观察是已有的物理 VQA 数据是无具身的，与机器人动作域错位，而自我中心视频只被当作辅助预训练。CometVLA 因此构建了严格与机器人动作数据和具身对齐的物理 VQA 语料与基准。

判据：判断一条数据该不该留，看它是否改变闭环执行时的行为。只提升 VQA 指标而对动作生成无影响的数据，属于第 1 节判据要排除的那一类。

8. 协同训练：仿真、人手、真机怎么混

三类数据各有各的偏差：仿真没有真实噪声，人手不是机器人，真机量少。协同训练就是把它们按某种比例混起来。

第 4 节的 ReWeight 已经说明直接混合会掉点。这一节补上混合的判据来源：TUCO 用影响函数给出轨迹级效用，ReWeight 用检索与加权给出样本级权重，RoboDrop 用梯度相容性给出筛选。三者方法不同，但都在回答同一个问题——这一条数据对目标域的行为有多大贡献。

判据：协同训练里"混合比例"不是超参数，是策展结果。先有筛选判据，比例才有意义。

9. 对无人机的含义：507 条 与 76k 条

前面八节的数据生态，全部建立在"机械臂"这个具身上。把数字并排放。

数据集 年份 规模
Open X-Embodiment 2023 22 种机器人、160266 个任务
DROID 2024 76k 条轨迹、350 小时、564 个场景
WareFly-VLA 2026 507 条人工遥操作飞行回合

[arXiv'26.10] WareFly-VLA — WareFly-VLA: A Vision-Language-Action Framework for UAV Navigation and Human Tracking in Smart Warehouses（arXiv:2610.08526）是目前难得的、直接给出飞行数据集规模的工作。它包含 507 条人工遥操作飞行回合，带连续低层飞行动作和细粒度自然语言目标描述，场景是照片级真实的仓库，任务是语言引导的人体搜索、定位与跟踪。它自己在摘要里点出的问题就是：进展受限的原因是缺少同时提供连续低层飞行动作、细粒度语言描述和真实工业环境的基准。

507 对 76000，差两个数量级。这就是"飞行数据是第一约束"的具体含义：不是采集难一点，是生态还没建起来。

第 3 节的 UMI 那条路，在空中没有对应物。UMI 成立的前提是手持装置与机器人夹爪同构，人的手部动作能经一个机械接口被复现。四旋翼没有这样的接口：没有一个手持设备能让人"用手的动作"复现出飞行器的动力学。这不是工程没做到，是物理上手的动作和四旋翼的推力—姿态控制在动力学上不同构。所以人手视频这条数据源，对纯飞行任务不适用，而对第 4 节那些靠人手数据的路线，这是一个结构性的排除。

但有一个重要的例外：空中操作（aerial manipulation，无人机加机械臂）是有接触的，那部分的人手操作数据和 UMI 类接口可以迁移。[arXiv'26.09] AeroManip-VLA — AeroManip-VLA: Scalable Vision-Language-Action Learning for Aerial Manipulation with RL-Generated Demonstrations（arXiv:2609.36915）走的正是这个方向，但它面对的是额外一层难度：操作与飞行紧密耦合，观测持续变化，且交互是安全攸关的。它用 RL 生成示范来绕开在物理空中平台上采集和评估的高成本。

于是无人机侧目前实际可用的数据来源是三块：真机遥操作（量小，如 WareFly-VLA 的 507 条）、仿真合成、RL 生成示范（如 AeroManip-VLA）。三块都绕不开仿真，这直接把本篇接到 10 篇的世界模型，以及 08 篇的 RL 后训练。

另一个空中特有的数据问题在 [arXiv'26.07] CosFly-VLA — CosFly-VLA: A Spatially Aware Vision-Language-Action Model for UAV Tracking（arXiv:2607.15004）里有清楚的描述：城市环境里目标被建筑、植被或路边物体遮挡时，策略会丢失目标状态、朝错误区域执行动作，并通过后续观测放大这个错误，直到再也无法重新捕获。遮挡是空中数据分布里的长尾，而长尾恰恰是第 7 节那些策展方法针对的对象。

判据：把操作臂上的数据结论搬到无人机之前，先分成"纯飞行"和"空中操作"两类。前者排除人手视频与 UMI 类接口，后者可以部分沿用；两类的第一约束不同。

10. 关键论文

  • [ICRA'24] Open X-Embodiment — Open X-Embodiment: Robotic Learning Datasets and RT-X Models
    arXiv 22 种机器人、160266 个任务

  • [arXiv'24.02] Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots — Stanford
    arXiv 手持接口，无机器人采集

  • [arXiv'24.03] DROID — DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset
    arXiv 76k 轨迹、350 小时、564 场景

  • [arXiv'25.03] GR00T N1: An Open Foundation Model for Generalist Humanoid Robots — NVIDIA
    arXiv 人形通用基础模型

  • [arXiv'26.09] GALA — GALA: Geometry-Aware Latent Action Modeling for Vision-Language-Action Model Pretraining across Embodiments
    arXiv 3D 末端几何补进隐动作

  • [arXiv'26.09] Improving Cross-embodiment Transfer in Latent Action Models with Action-Similarity Supervision
    arXiv 同动作不同码的诊断与修正

  • [arXiv'26.10] TERRA — TERRA: Learning Transportable Latent Actions through Temporal Effect Representation and Relational Alignment
    arXiv 隐码保留什么、能否搬运

  • [arXiv'26.09] UMR — UMR: Universal Manipulation Representation
    arXiv World Flow + 具身特定分解

  • [arXiv'26.09] UMI-Bridge — UMI-Bridge: Action-Anchored Latent Alignment across Human and Robot Manipulation Data
    arXiv UMI 作中间域，按动作等价对齐

  • [arXiv'26.08] Ego2Robot — Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data
    arXiv 人手视频规模化的首次检验

  • [arXiv'26.10] Robotizing Human Videos with Physically Consistent Interactions
    arXiv 交互几何 + 场景可见性

  • [arXiv'26.09] ReWeight — ReWeight: Leveraging Human Data for VLA Post-Training via Demonstration Retrieval and Sample Weighting
    arXiv 直接混人会掉点，需检索加权

  • [arXiv'26.08] Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models
    arXiv 固定预算下表示质量是一阶

  • [arXiv'26.09] OpenWAM — OpenWAM: An Open, Modular Exploration Towards Systematic World-Action Model Pretraining
    arXiv 把 WAM 预训练拆成可控实验

  • [arXiv'26.09] RoboDrop — RoboDrop: Curating VLA Post-Training Data via Local Gradient Compatibility
    arXiv 梯度相容性筛数据

  • [arXiv'26.10] TUCO — TUCO: Curating Simulation Demonstrations for Sim-to-Real Robot Policy Co-Training
    arXiv 影响函数给轨迹效用与覆盖

  • [arXiv'26.08] CometVLA — CometVLA: Co-Training on an Embodied Data Pyramid towards Physical Understanding
    arXiv 物理理解是否真的利于动作

  • [arXiv'26.10] WareFly-VLA — WareFly-VLA: A Vision-Language-Action Framework for UAV Navigation and Human Tracking in Smart Warehouses
    arXiv 507 条飞行回合数据集

  • [arXiv'26.09] AeroManip-VLA — AeroManip-VLA: Scalable Vision-Language-Action Learning for Aerial Manipulation with RL-Generated Demonstrations
    arXiv RL 生成示范绕开真机采集

  • [arXiv'26.07] CosFly-VLA — CosFly-VLA: A Spatially Aware Vision-Language-Action Model for UAV Tracking
    arXiv 遮挡导致误差自我放大

11. 延伸阅读

12. 思考题

题目 1：为什么 UMI 那条路对纯飞行任务不成立？

UMI（arXiv:2402.10329）用手持夹爪采集数据，让人的动作直接映射到机器人执行器上。这套方法在操作臂上很成功。请说明它为什么不能照搬到四旋翼的纯飞行任务上，并指出什么情况下可以部分沿用。

参考答案 **前提是同构，而四旋翼没有对应的同构接口。** UMI 成立依赖一个物理事实：手持装置的位姿与机器人夹爪的位姿是同一个量，人的手部动作可以被一个机械接口逐位复现。采集端和执行端共享同一个动作空间，所以"人手动作 → 机器人动作"是一次坐标变换，不是一次语义推断。 **四旋翼的动作空间没有这样的采集端。** 四旋翼的动劢是推力和三轴角速率，人手里没有任何一个装置的输出能与之对应。人能让手持设备以任意轨迹运动，但那个运动无法转成"该给多大的推力、多大的角速率"，因为两者之间的映射依赖飞行器的动力学，而人手不含这个动力学。这不是工程没做到，是这两个物理量之间不存在同构关系。结论是：**人手视频这条数据源对纯飞行任务不适用**，而这对第 4 节那些以人手数据为基础的路线是一个结构性排除，不是可以靠更多数据解决的困难。 **可以部分沿用的情形是空中操作。** 当无人机带机械臂时，任务里有接触，末端执行器可以是夹爪。这时人手操作数据经过与地面操作类似的重定向流程可以用上，AeroManip-VLA（arXiv:2609.36915）就在这个方向上做。所以判据要分两类：纯飞行排除人手数据，空中操作可以部分沿用。 **结论：** 判断一条采集路线能不能搬到无人机上，要问的是采集接口与目标执行器是否同构，而不是"这条路线在操作臂上效果好不好"。

题目 2：507 条与 76k 条的差距，应该怎么补？

OXE 有 160266 个任务，DROID 有 76k 条轨迹，而目前最大的公开飞行数据集之一是 WareFly-VLA 的 507 条。请在"人工遥操作"、"仿真合成"、"RL 生成示范"三条路线里选择你认为最可行的，并说明理由和代价。

参考答案 **先确认这题问的是方向而不是数字。** 靠增加人工遥操作把 507 提到 76k，需要约 150 倍的采集量，而飞行遥操作需要飞手、空域、电池和场地，边际成本远高于在 564 个场景里收操作数据。这条路在数量级的差距面前不现实。 **三条路线各自的机制与代价：** *仿真合成。* 能无限生成、自带真值动作，是唯一能补足数量级的路线。代价是 sim-to-real 差距：飞行器的气动、风扰、传感器噪声都难精确建模，而且本仓库 02-世界模型专题关心的正是这个差距本身。第 9 节指出无人机三块数据来源都绕不开仿真，所以这不是备选而是主干。 *RL 生成示范。* AeroManip-VLA 的做法。优点是示范质量可以按奖励筛选，不依赖人的飞行技巧；缺点是奖励设计本身要覆盖任务意图，且 RL 的样本效率在连续高维控制上是老问题。它适合生成"任务成功"的示范，不适合生成"人类会怎么飞"的示范——这两者分布不同。 *人工遥操作。* 量小，但分布最真实，应该用作评估集和最后的适配，而不是预训练主体。 **结论：** 最可行的是仿真合成为主体、RL 生成补关键任务、人工遥操作守评估与微调。这个组合的代价是把 sim-to-real 差距变成了系统里的一等公民；收益是不必等飞行采集生态成熟。任何声称能靠单一数据源补上两个数量级的说法，都需要先解释成本模型。

题目 3：为什么"物理理解更好"不自动意味着"动作更好"？

CometVLA（arXiv:2608.30289）指出，已有物理 VQA 数据是无具身的、与机器人动作域错位，而"VLM 物理理解提升是否真的有益于下游动作生成"此前不清楚。请解释这个错位从哪来，以及它对本仓库"每篇都要落到无人机"这条规则的意义。

参考答案 **错位来自监督信号与动作空间不共享结构。** 物理 VQA 的监督是"回答一个关于物理的问题是否正确"，它的损失只约束语言侧的表征。动作生成的监督是"这个动作序列能否完成任务"，约束的是动作侧。两者只有在模型内部**共享同一段表征**时才会互相影响；如果 VQA 训练只改动了语言分支，它对动作头就是无关的。 **更具体地说，"无具身"指数据里没有执行器。** 一段问"杯子会往哪倒"的视频，人可以凭常识回答，但答案不提供任何关于"机械臂该给多大的力"的信息。有具身的数据里，同一个场景附带的是执行器动作，动作与观测之间的因果链是完整的。错位就发生在这里：前者训练的是预测能力，后者训练的是控制能力，而控制需要的是"我做什么会导致什么"，不是"什么会导致什么"。 **对本仓库规则的针对性意义：** "每篇都要落到无人机或机器人"这条规则，在这里的作用正是拦住这类只有预测能力的工作。判断一篇工作是否值得收，要问它的产出能不能改变闭环执行时的动作；只提升 VQA 或描述指标的，按第 1 节的判据应当排除。无人机侧尤其如此：空中的安全裕度比地面小，一个"更懂物理但不会飞"的模型没有落地价值。 **结论：** 物理理解是必要不充分条件。要证明它有益于动作，必须给出在动作生成指标上（而不是 VQA 指标上）的改进。

下一节：08-强化学习后训练与自我改进 — 数据之外的第二条路：用奖励继续改进策略