VLA 专题自测与考察¶
预计阅读:45 分钟 | 前置知识:本专题 01-VLA架构演进 起全 10 篇
本篇是考察篇:正文四层只给指针、不给答案,答案都在十篇原文里。末尾 §7 思考题 是唯一带参考答案的部分,三道都是跨篇综合题,单翻一篇答不出来。
1. 这一篇怎么用¶
一份面经能覆盖到的上限是"通用操作 VLA 的八股"。本专题要考察的多一层:同一道题,在三指夹爪上的答案和在四旋翼上的答案不一样。所以这一篇分三层加一个专场:
| 层 | 考什么 | 判对的标准 | 答不上来怎么办 |
|---|---|---|---|
| 第一层 知识体系自测 | 本专题十篇有没有洞 | 能顺着指针说出那一节的结论与数字 | 回读指针指向的那一节 |
| 第二层 通用方法层的高频考察点 | 外部题库问的题,本仓库怎么答 | 能用本仓库的口径回答,并说出与通用答案的差别 | 见第二层每条末尾的指针 |
| 第三层 前沿修正 | 背下来的答案有没有过期 | 能说出该答案被哪篇 2026 年工作限制在什么条件下 | 见第三层 |
| 附 无人机专场 | 别处问不到的 | 能给出数字,或明确说"本专题没有这条" | 见 §5 |
这一篇不给答案,只给指针。 答案已经在十篇正文里,再抄一遍的结果是你不会回去读原文;而指针指向的是原文里带实测数字、带判据、带边界条件的那一段。
自测方式是遮住指针,每题答出声,再顺着指针核对。答得出大意但说不出数字,按答不上来算。
末尾 §7 思考题 是唯一带参考答案的一节,三道题都要求把几篇合起来才答得出。它考的不是记忆,是这一卷能不能被当成一个整体用。
指针里的短名对照:01 架构演进 · 02 无人机VLA模型 · 03 语言条件飞行控制 · 04 基础模型辅助规划 · 05 机载部署与优化 · 06 动作头与动作分块 · 07 数据、预训练与跨具身 · 08 强化学习后训练与自我改进 · 09 评测基准与报告口径 · 10 世界模型增强VLA。
判据:判"答对"的标准不是复述术语,而是说出该结论的边界条件与一个具体数字。说不出的那一条,指针就是你的复习清单。
2. 第一层:知识体系自测¶
2.1 记忆层¶
能立刻报出名字、年份、量级,不查资料。
M1 RT-2、OpenVLA、π₀、π₀.₅ 各自用什么形式表示动作?参数量分别多少? → 01 §3–§6、§7.2
M2 FAST 由哪两个组件构成,各自解决什么问题? → 06 §2
M3 一个动作头要回答的三个自由度是什么? → 06 §1
M4 ACT 的 temporal ensemble 是用来压什么的? → 06 §4
M5 OXE 与 DROID 的轨迹量级各是多少?DROID 用几个采集者、几个场景、几个任务、多少小时? → 07 §2
M6 无人机 VLA 四篇(VLA-AN、CognitiveDrone、UAV-TrackVLA、AutoFly)各自的年份与任务形式? → 02 §2–§5、§6
M7 操作基准的三代分别是什么?空中基准里,"撞名"的是哪两个条目? → 09 §2、§5
M8 世界模型在 VLA 里有哪四种接法? → 10 §2
M9 后训练的奖励从哪几个来源来? → 08 §2
M10 机载平台分哪两档算力?同一模型在两档上的推理速率差多少? → 05 §2
判据:这一层的题只有一个答案,答错说明那一节没读或读串了篇。十题里错两题以上,先回读再往下。
2.2 机制层¶
能解释"为什么",而且要能说出成立条件。
J1 离散 token 的动作精度上限由什么决定?为什么提高箱数不是免费的? → 06 §2
J2 回归头为什么表达不了多模态动作分布,扩散与流匹配为什么能? → 06 §3
J3 动作分块在什么条件下减少误差累积,在什么条件下不减少? → 06 §4
J4 分块变长时,两个方向上各自的失效点是什么? → 06 §5
J5 协同训练为什么能压住灾难性遗忘?loss masking 具体屏蔽掉哪一段? → 07 §8
J6 GRPO 相比 PPO 省掉了哪一整个组件?代价转移到了哪里? → 08 §3、§5
J7 为什么报告的推理 Hz 不是充分统计量?决定闭环代价的是哪个量? → 05 §6
J8 什么是"奖励被钻空子",它在 VLA 后训练里的典型形态是什么? → 08 §8
J9 世界模型的想象 rollout 为什么有长度上限? → 10 §4
J10 为什么两篇互补的基准会让成功率数字"看起来可比、实际不可比"? → 09 §5
判据:能说出机制但说不出成立条件,等于背了结论没读判据。这一层每题都对应原文里的一段实测或一条判据。
2.3 选型层¶
给一个约束,让你选,并说明为什么。
X1 8 GB 显存、需要 50 Hz 闭环,动作头选离散还是连续?分块取多长? → 06 §8–§9、demo p_chunk_horizon.py
X2 手上只有 507 条飞行回合,预训练配方怎么定?和 76k 条操作数据的做法差在哪? → 07 §9
X3 无人机上跑一个 3B 模型,延迟从哪来?优化时先砍哪一项? → 05 §3–§6
X4 世界模型当数据源、当模拟器,分别什么时候选?各自的上限是什么? → 10 §5–§7
X5 同一批飞行回合,用三种报法报出来,结论会差多少? → 09 §11、demo r_eval_protocol.py
X6 语言指令进入策略有哪几条技术路线?哪一条不需要标好的指令数据? → 03 §5
判据:选型层没有唯一答案,只有"选了之后要不要认领代价"。答不出代价,说明这个选择还没真正想过。
3. 第二层:通用方法层的高频考察点¶
下面每一组都是外部题库真问过的方向,题干按本仓库的口径重写,指针指向本专题里对应的那一节。这一层只借用题目方向,解答一律是本仓库自己的。
3.1 策略与动作表示¶
对标外部题库的"策略与动作"一类(自注意力复杂度、Action Chunking、ACT 时间集成、delta pose vs 绝对位姿、旋转表示、Diffusion Policy、DDPM vs DDIM、FAST 的 DCT 与 BPE、Flow Matching、tokenization vs 回归)。
P1 自注意力的计算复杂度怎么算?在 50–200 Hz 的空中控制回路里,这个复杂度意味着什么? → 06 §1、05 §3
P2 Action Chunking 为什么有效?给出这个说法成立的条件。 → 06 §4,并见本文第三层
P3 为什么 VLA 通常预测 delta pose 而不是绝对位姿?这个理由在高速飞行时要不要打折? → 06 §9
P4 6D rotation 相比四元数好在哪?四旋翼的动作空间里这一条还成立吗? → 06 §9、本仓库的 4 维动作定义(code/common/quad_sim.py)
P5 Diffusion Policy 怎么处理多模态动作分布?DDPM 与 DDIM 的差别在哪,DDIM 为什么快? → 06 §3
P6 FAST 为什么用 DCT 而不是 FFT?BPE 压的是什么? → 06 §2
P7 Flow Matching 相比 Diffusion 好在哪?它的损失函数是什么? → 06 §3
P8 动作 tokenization 和连续回归各自的天花板是什么? → 06 §2–§3、§8
P9 一个 4 维连续动作、无夹爪、100 Hz 的具身平台,动作头设计与 7-DoF 操作臂的取舍差在哪几处? → 06 §9
3.2 训练与优化¶
对标外部题库的"训练技术与优化"一类(LoRA、蒸馏、对比学习、协同训练、域随机化、量化、少样本真机数据)。
T1 LoRA、全参微调、只训动作头,三者在什么数据规模下各自合理? → 07 §6、§8
T2 只有 100 条真机演示,怎么训出一个能用的策略? → 07 §1、§7
T3 协同训练的 loss 怎么屏蔽?为什么必须屏蔽? → 07 §8
T4 域随机化的原理是什么,随机的维度该选哪些? → 07 §8、05 §4
T5 量化里 per-tensor 与 per-channel 的差别?AWQ 怎么找重要权重? → 05 §3
T6 KV-cache 为什么快,代价是什么?流水并行、张量并行、数据并行分别切什么? → 05 §3、§7
T7 模仿学习做得好好的,为什么还要接一段奖励? → 08 §1、demo q_rl_posttrain.py
T8 PPO 与 GRPO 的差别,以及在 VLA 后训练上各自的成本结构? → 08 §3、§5
T9 离线数据能不能直接做策略改进?优势条件化起什么作用? → 08 §4
3.3 架构与推理¶
对标外部题库的"模型架构与推理"一类(融合位置、FiLM、SigLIP vs CLIP、显隐式 CoT、RT-2 的 co-fine-tuning、OpenVLA 动作头、分层推理、ViT vs ResNet),以及导航一侧的 VLN、零样本 ObjectNav、具身 VLM。
A1 early / mid / late fusion 怎么选?语言到底该在哪一层进入视觉通路? → 03 §5、01 §7
A2 FiLM 调制是什么?在语言条件控制里它替代了什么? → 03 §5
A3 RT-2 的 co-fine-tuning 为什么重要?不这么做会掉什么? → 01 §3
A4 OpenVLA 的动作头是怎么设计的?它的上限在哪? → 01 §4、06 §2
A5 显式 CoT 与隐式 CoT 在 VLA 里各自的代价? → 02 §3
A6 高层规划 + 低层控制的分层 VLA,和端到端 VLA 各自的失败模式? → 02 §7、04 §7
A7 视觉误判时怎么用语言纠错?这条路径对无人机成立吗? → 04 §3、§5
A8 VLN 与 ObjectNav 的区别是什么?两者在无人机上怎么合并? → 03 §3–§4、04 §2–§4
A9 ViT 与 ResNet 什么时候各用哪个?空中视觉编码器的选择理由和桌面操作一样吗? → 01 §4、§7.2
3.4 评测与部署¶
对标外部题库的"推理加速与边缘部署""评估流水线""失败排查""数据飞轮"几组。
D1 怎么搭一条评测流水线?只看成功率会漏掉什么? → 09 §6、§8
D2 仿真代理评测与真机评测,各自能给出什么、不能给出什么? → 09 §3
D3 边缘-云协同怎么切?切在哪一层,延迟怎么算? → 05 §4
D4 学出来的策略怎么和传统控制栈共存?安全边界挂在哪一层? → 05 §5、03 §6
D5 闭环跑偏了,怎么判断是感知、动作头还是延迟的问题? → 08 §8、05 §6
D6 数据飞轮怎么转起来?无人机上转得动吗? → 07 §1、§7、08 §7
判据:这一层若你只能答出通用版本,说明缺的不是知识而是立场。每条指针都指向本仓库自己跑过或核过的那一段。
3.5 明确不在本专题范围内的题¶
外部题库里有几类题,本专题没有对应内容。这属于范围外,不属于缺口,改了范围才会补:
- 触觉 VLA(触觉编码器、视触觉融合、透明物体抓取):四旋翼没有夹爪与稳定接触面,不可迁移。若课题是空中操作,回到 09 §5 的 AIR-VLA 与 AM-Bench。
- 腿足机器人(浮动基座动力学、WBC、locomotion、人形遥操作):不在本仓库主线。
- 手撕代码(Transformer 手写、PPO/GRPO 复现、DDP 最小示例、LeetCode、SLAM 与运动控制代码):本仓库不做刷题区;对应可跑的实现在
code/,但它们是用来量结论的,不是笔试题。 - HR 与求职话术(自我介绍、项目包装、谈薪):不属于知识体系。
4. 第三层:前沿修正¶
这一层是本仓库唯一没有外部来源的部分。做法是:把外部题库里那些写在 2024–2025 年、到 2026 年已经被限制或改写的答案挑出来,给出限制它的那一篇工作和它的成立条件。背下来就过期的,正是这些。
4.1 "Action Chunking 减少误差累积,因为单步误差会传播放大"¶
这是题库里出现频率最高的一条,也是最需要加条件的。Measuring the Stability Assumption Behind Action Chunking(arXiv:2610.01626,2026-10-01) 把状态分成收缩与扩张两类,结论是:无论被动开环动力学还是策略重规划,都不能稳定地收缩被注入的误差,"自信稳定"的状态本身就不常见。也就是说,那句话只在收缩态成立。
它给出的建议也变了:不要再依赖分块自带的稳定性,而是显式地训练闭环反应性。→ 06 §4、05 §6、09 §7
4.2 "分块越长越好,开环段越长越省推理"¶
另一半在方向上是错的。分块变长时两个方向都会失效,所以真正被优化的量不是分块长度本身,而是"提交多少步"这个独立的自由度。→ 06 §5、§7
4.3 "推理越快、Hz 越高,闭环就越好"¶
本仓库自己量过的那一笔是反例:全局上推理频率与闭环代价的相关系数是 ρ(f_inf) = −0.592,方向上支持"越快越好";但固定动作年龄之后,排序会翻过来。机制是一行公式,age = Δ + T_inf/2 让推理延迟与推理周期一比一互换。结论是平均年龄是好的预测器,但不是充分统计量,决定闭环代价的是年龄的下限,等价地说是它的分布。→ 05 §6.5
4.4 "参数量是模型能力的区分度"¶
2025 年之后这一列逐渐失去区分度。真正把工作区分开的是五个问题:动作接口、数据来源、后训练方式、评测口径、世界模型的接法。→ 01 §7.2
4.5 "动作头设计可以靠臂模型的经验外推,参数量大就更强"¶
What Makes an Efficient VLA?(arXiv:2609.13984)是少见的受控对比:固定主干家族与训练流程,扫动作头设计与模块规模,并且给每个配置配了实测的端上延迟,而不是只报参数量。→ 06 §8
4.6 "VLA 的终点是端到端"¶
2026 年的两条分层路线把显式分层请了回来,理由是可解释与可兜底。端到端与分层现在是两条并行的工程选项,不是新旧两代。→ 02 §7、04 §7、05 §4
4.7 "评测看成功率就够了,跨基准数字可以直接比"¶
空中基准目前碎片化,并且伴随一次撞名:名叫 AerialVLA 的条目在两个组手里是两篇不同工作,引用时必须写明是哪一篇。互补型的基准更麻烦,它们各自被当成唯一参照系,成功率看起来可比、实际不可比。→ 09 §5
4.8 "世界模型在 VLA 里就是当数据源"¶
接法有四种:当数据源、当策略的一部分、当模拟器、当评测代理。四种的上限不同,共同的上限是想象 rollout 能走多长。→ 10 §2、§4
4.9 "有模仿学习就够了,不需要 RL 后训练"¶
模仿之后接一段奖励解决的问题不是"更准",而是两件模仿解决不了的事:专家数据里没有的失败模式,以及奖励本身会被钻空子。→ 08 §1、§8
判据:这一层的用法是给每个结论配一句"在什么条件下成立"。说不出条件的结论,在 2026 年的文献里已经不能当结论用。
5. 无人机专场:别处没有的 12 问¶
实测过三份外部题库的题目正文,drone、quadrotor、uav 全部 0 命中。这一节因此没有任何外部来源,题干与口径都出自本专题正文。
U1 四旋翼的动作空间是几维?为什么操作臂的 7-DoF 经验不能直接搬? → 06 §9
U2 50–200 Hz 的闭环频率,对动作分块的 horizon 施加了什么约束? → 06 §5、§9
U3 没有夹爪和接触力反馈,对策略设计与评测各意味着什么? → 09 §5
U4 飞行数据的稀缺到了什么量级?507 对 76000 差几个数量级,这个差距的成因是什么? → 07 §9
U5 空中评测为什么碎片化,一次撞名会怎么影响引用? → 09 §5
U6 炸机成本高,为什么反而更需要在世界模型内部做 RL? → 08 §6
U7 风扰与无 GPS 条件下,动作 delta 与状态估计怎么耦合? → 05 §6
U8 2026 年两份空中 VLN 路线图各自指出什么缺口,它们在三处独立得出同一结论的是哪一条? → 03 §7、09 §5
U9 VLA-AN 那条视觉捷径在什么形状的障碍物上失效?为什么这类捷径在仿真里测不出来? → 02 §9
U10 世界模型当无人机的模拟器时,想象 rollout 的长度上限由什么决定? → 10 §4、§9
U11 语言条件控制里,哪一条技术路线不需要标好的指令数据?这对飞行数据稀缺意味着什么? → 03 §2、§5
U12 只给粗粒度位置提示、让无人机自己完成连续规划与避障,这个入口和"给定指令去执行"差在哪? → 02 §5
判据:这一节的题在别处搜不到标准答案,所以判据只能是"能不能落到本专题的某一段实测或某一篇 2026 年工作上"。落不到的,就是本专题还没做的那一块。
6. 出题来源与许可¶
出题前实查了下列开源项目,用法一律是当覆盖清单,正文由本仓库自己的十篇重写。
| 来源 | 星标 | 许可 | 本仓库用了什么 |
|---|---|---|---|
| sou350121/VLA-Handbook | 684 | CC-BY-4.0 | 第二层"策略与动作 / 训练优化 / 架构推理"三类划分与题目方向;解答未搬运 |
| WinstonJQ/embodied-interview-qa | 257 | NOASSERTION | 分卷方式、每卷题量、以及"高频 / 低频备选"的优先级标注 |
| WeThinkIn/AIGC-Interview-Book | 4912 | GPL-3.0 | "具身智能基础"八章的章节骨架,用于校验本专题的覆盖是否成体系 |
| oplisty/RoboPrep · Kibry-spin/embodied-interview-guide · chaoyuehanzju/vla-interview-pack | 26 · 1 · 1 | NONE | 查过后未采用:题目正文不在仓库文本里(分别是一个平台、一个只有 README 的空壳、一份求职话术与简历集) |
三点需要写清楚:
一、只有第一份是明确可以被引用的许可(CC-BY-4.0)。 其余几份的许可为 copyleft 或未声明,所以只读它们覆盖了哪些题,不引它们的文本。上面这张表就是署名声明。
二、三家题库的无人机层都是空的。 逐一统计了题目正文,drone、quadrotor、uav 在 VLA-Handbook 的 question-bank/questions.md、embodied-interview-qa 的八个分卷、AIGC-Interview-Book 的具身智能章节里全部 0 命中。所以第五节的 12 问没有外部来源,全部由本专题正文出。
三、对方强在通用操作 VLA,本仓库强在无人机。 这不是谁补谁的问题,两边的空洞正好互补:对方缺无人机层,本仓库的通用方法层由 Part 3 的十篇承担。这一篇把两边对齐。
7. 思考题¶
题目 1:三家题库的题目正文里 drone、quadrotor、uav 全部 0 命中,能不能据此说"无人机 VLA 不重要"?
本仓库收录的无人机方向论文是 25 篇(世界模型 11 + VLA 6 + VLM 8,见 论文列表),VLA 卷里两篇 ★★★ 也都在无人机侧的路线上。一边是论文,一边是 0,这两件事怎么同时成立?
参考答案
**这个 0 读的是"语言成熟度",不是"重要性"。** 八股题库是**共有知识**的沉淀物:只有当评测口径、数据集、术语都稳定下来,才有人写得出标准答案。空中侧恰好这三样都不稳——数据规模差两个数量级(507 对 76k),基准碎片化并伴随一次撞名。所以 0 命中的正确读法是"这一层的共同语言还在形成中",而不是"这个方向没人做"。 **0 本身也不能直接当证据,本仓库在一次机载量化调研里记过一次事故。** 四条长查询返回了 1281 条 TOTAL、相关命中 0;真正捞到东西的两条都是短查询。同样的镜像也成立:高 TOTAL 毫无信息量,187 条命中可能全是别的领域的论文。**0 不等于空白,高 TOTAL 也不等于拥挤,两个方向都只能看命中质量。** **结论:** 判断一个方向是否拥挤,论文侧要按"收录了多少篇、落在哪条轴上"数,检索侧要按"命中里有多少条真的在动被控对象"数。这个 0 与第五节的 12 问是同一件事的两面:没有现成答案,所以只能自己出。题目 2:把「动作分块的稳定性假设只在收缩态成立」(外部论文)与「决定闭环代价的是动作年龄的下限而不是均值」(本仓库实测)放在一起,能得出单看任一条都得不到的什么结论?
两条结论的来源、方法、测的量都不同。它们为什么会被本仓库放在同一节里对照?
参考答案
**两条量的是不同的量。** 前一条关于**状态转移是否收缩**(误差注入之后会不会被系统自身压回去),后一条关于**指令在时间上有多旧**(`age = Δ + T_inf/2`)。一个是动力学性质,一个是调度性质,互不包含。 **合起来才指向同一件事:均值不足以描述闭环。** 前一条要求把状态分成收缩与扩张两类讨论,本身就是拒绝用一个标量概括;后一条给出了那个标量失效的实测:全局相关系数 `ρ(f_inf) = −0.592` 支持"推理越快越好",但**固定年龄之后排序翻过来**,因为推理延迟与推理周期一比一互换。 **单看任一条都会读歪。** 只看外部论文,容易读成"分块不稳,那就别用分块";只看本仓库的实测,容易读成"换个更快的后端就行"。合起来得到的才是可操作的:**分块长不长不是自变量,提交多少步、重规划有多及时才是**,而报告闭环性能时要报分布与最坏情况。 **结论:** 对无人机这一条尤其要紧——炸机是尾部事件,成功率均值天然把它抹掉。这也是为什么 [09 §7](../03-VLA专题/09-评测基准与报告口径.md) 把"报告的 Hz 不是充分统计量"单列成一节。题目 3:§3.5 列了四类"范围外"的内容。逐一判断:哪些永远不该进本专题,哪些只是在等一个契机?
触觉 VLA、腿足机器人、手撕代码、HR 与求职话术。这四类的"不该进"是同一种不该进吗?