π0.5:开放世界泛化的 VLA
论文:π0.5: a Vision-Language-Action Model with Open-World Generalization(Physical Intelligence,2025)。π0.5 是 π0 之后的一步跨越:π0 在已知实验室环境里能做复杂操作,π0.5 要回答的是能不能进一个从没见过的家,完成厨房清理、卧室整理这类长程任务。作者报告的结果是 94% OOD 成功率,在 6 个训练中从未出现过的真实家庭上验证。
1. 为什么 π0 做不到这件事
π0 的数据几乎全来自受控实验室环境,泛化到陌生家庭面临三个问题:
- 物体多样性:新家庭里的杯子、碗碟、衣物形状、材质各不相同
- 场景布局:桌面位置、光线、杂乱程度都不在训练分布内
- 长程任务:收桌子、整理衣物需要多个子任务串联,单一动作策略无法完成
π0.5 的做法是异构数据协同训练——不仅仅是更多机器人数据,而是把互联网图文数据、跨体型机器人数据、多环境静态臂数据和移动操作数据一起混入,让模型对物体外观和场景布局建立更广泛的先验。这跟 LAPA 的"从无动作视频学"、GR-2 的"大规模视频预训练"是同一大方向下的不同实现。
2. 架构:单模型分层推断
π0.5 保留 π0 的核心结构(VLM 主干 + 流匹配动作专家),增加了双头输出:
高层头(离散自回归):
- 使用 FAST tokenizer 生成自然语言子任务标签(例如"把盘子放进水槽")
- 输入所有 4 路摄像头(正面、背面、2× 腕部)
低层动作专家(流匹配,~300M 参数):
- 交叉注意力 + 因果自注意力交替块
- 10 步去噪生成 50 步(1 秒)动作块,50 Hz 控制
- 输入腕部 + 正面摄像头
推断流程:高层头观察场景 → 预测子任务文本 → 文本作为低层条件输入 → 动作专家输出连续关节动作。
状态/动作空间 18–19 DoF(2× 6-DOF 手臂 + 夹爪 + 全向底盘 + 躯干升降)。
训练损失联合优化:
预训练阶段 (只训离散头),后训练阶段 (加入动作专家)。
3. 异构数据配方
| 数据源 | 标记 | 内容 |
|---|---|---|
| 移动操作野外数据 | MM | ~400小时,~100个家庭 |
| 多环境静态臂数据 | ME | 多样化家庭环境 |
| 跨体型实验室数据 | CE | π0 数据 + Open X-Embodiment |
| 高层子任务标注 | HL | 边界框 + 子任务标签 |
| 网络数据 | WD | CapsFusion、COCO、Cambrian-7M、PixMo、VQAv2 |
| 语言指令示范 | VI | 分步语音教学示范(仅后训练) |
值得注意的一个数字:预训练样本中 97.6% 来自非移动操作数据源——移动操作策略几乎完全由其他数据类型引导学习。
训练流程:预训练 280K 步(所有源,仅离散 FAST 分词)→ 后训练 80K 步(去掉 CE,加入随机初始化的动作专家,联合训练)。
4. 实验结果
测试场景: 6 个训练中从未见过的真实家庭(3 个厨房,3 个卧室),任务包括把物品放进抽屉、放进洗衣篓、把碗盘放进水槽。每任务 10 次试验,按完成子任务比例评分。
OOD 消融(成功率):
| 变体 | OOD 成功率 |
|---|---|
| 完整 π0.5 | 94% |
| 去掉网络数据(WD) | 74% |
| 去掉跨体型数据(CE) | 49% |
| 去掉多环境数据(ME) | 31% |
每种数据源都有独立贡献:网络数据负责物体外观泛化,跨体型数据负责通用鲁棒性,多环境数据负责场景布局迁移。三者中多环境数据的贡献最大——从 31% 到 94% 的差距说明"见过多少个不同家庭"是决定性变量。
环境规模 scaling:训练环境从 3 个增加到 104 个时 OOD 性能稳定提升,104 个环境时接近直接在测试家庭训练的效果。
高层头消融:人类 oracle 高层策略(人提供子任务标签)的性能略低于完整 π0.5——说明模型学到的子任务预测在某些情况下比人工指令更准确。
5. 局限
π0.5 的移动操作平台是专用硬件,普通研究者难以复现。数据采集规模(~400 小时野外数据,~100 个家庭)代价巨大。长程任务的失败模式分析较少——94% 成功率意味着仍有 6% 的失败,这些失败在真实家庭中的分布尚不清楚。
下一代 π*0.6 在 π0.5 基础上引入强化学习,把特定任务成功率进一步推到 90%+ 并支持多小时不间断部署。