机器人 VLA 技能

基于 π0 架构，提供构建通用型机器人策略（Generalist Robot Policies）的专业指导，采用视觉-语言-动作（Vision-Language-Action, VLA）流程模型。

核心架构

π0 模型 = VLM 主干网络 + 动作专家模块 + 流匹配（flow matching）

完整技术细节（包括注意力掩码、流匹配数学推导、MoE 设计等）参见 references/architecture.md。

训练流程

两阶段训练范式（类比 LLM 训练）：

1. 预训练（Pre-training） → 在大量任务与机器人平台上学习广泛的物理操作能力及失败恢复行为
2. 微调（Fine-tuning） → 针对目标任务实现流畅、精准的动作执行

关键原则：联合使用两个阶段的效果优于任一阶段单独使用。预训练提升鲁棒性，微调提升精度。

数据混合比例、损失函数设计及微调数据集规模详见 references/training.md。

动作表征方式

采用流匹配（flow matching），而非自回归离散化（autoregressive discretization）。

• 流匹配建模连续动作分布 → 对高频灵巧控制至关重要
• 自回归 token 预测（如 RT-2 风格）无法高效生成动作块
• 动作块支持开环执行（open-loop execution）于 50Hz，无需时间维度上的集成（temporal ensembling）

多具身支持（Multi-Embodiment Support）

单一模型可支持 7 种以上机器人构型，通过以下机制实现：

• 对较小动作空间进行零填充（zero-padding），统一至最大动作维度（17 维）
• 共享 VLM 主干网络；不同具身的行为差异由训练数据驱动学习
• 加权任务采样（n^0.43），缓解跨机器人类型的数据不平衡问题

各机器人平台规格与动作空间详情参见 references/embodiments.md。

高层策略集成

针对长时程任务，采用双层策略架构：

• 高层 VLM：将任务（如“收拾餐桌”）分解为子任务（如“拿起餐巾”）
• 底层 π0：以自然语言为条件，逐个执行子任务对应的动作序列

该设计类似于 SayCan。中间语言指令显著提升性能，优于扁平化的任务描述。

相关及互补研究（2025）

π0 已被多项关键工作扩展与补充。完整研究图谱参见 references/related-work.md，包括：

• π0-FAST / π0.5 / π0.6 —— 直接演进版本，具备更快训练速度、开放世界泛化能力及强化学习微调支持
• RTC —— 异步动作块生成机制，彻底消除推理过程中的停顿（即插即用，无需重新训练）
• UniVLA —— 从原始视频中无监督提取动作表征（无需动作标注）
• ManiFlow / Streaming Flow —— 更平滑的动作生成方法
• GR00T N1、Helix、OpenVLA-OFT、DiVLA、RDT-1B —— NVIDIA、Figure AI 及学术界提出的并行方法

评估检查清单

评估机器人操作策略时，请参考以下要点：

• 开箱即用泛化能力（不微调）vs. 基线模型
• 语言指令遵循准确率（测试扁平化指令 / 人工引导指令 / 高层指令）
• 微调效率（成功率 vs. 所需数据时长）
• 复杂多阶段任务表现（持续 5–20 分钟，含失败后恢复能力）
• 基线对比：OpenVLA、Octo、ACT、Diffusion Policy