跳到主要内容

π0.7:通用机器人模型的进一步整合

博客:π0.7: a true generalist robot brain(Physical Intelligence,2026 年 4 月)。π0.7 是 Physical Intelligence 目前最新的模型。在 π*0.6 里,每个任务都需要单独跑 RECAP 强化学习训练一个专家模型;π0.7 想做的是让一个模型的通用性达到或超过所有那些专家的水平,同时增加可引导控制(steerable control)和跨体型迁移能力。

1. 从专家模型到通用模型​

π*0.6 的 RECAP 训练路径是:为每个任务(浓缩咖啡、叠衣服、装箱子)单独跑 RL 微调,得到 N 个专家。这套流程有明确局限:每新增一个任务都要重跑 RL,模型数量线性增加,维护成本高。

π0.7 的方案是把所有专家的经验蒸馏进一个模型,同时在训练时给数据加上策略元数据标签——不过滤次优轨迹,而是让模型学会在不同质量的数据之间区分并选择最优行为。

2. 架构:四个组件集成​

π0.7 在 π0.5/π*0.6 的 VLM 主干 + 流匹配动作专家基础上,集成了四个组件:

组件功能
高层策略从语言指令规划子任务序列
动作专家生成低层连续关节动作
世界模型推断时生成视觉子目标图像,预测每步执行后的场景状态
观测记忆维护历史观测滚动上下文,支持时序推理

世界模型是 π0.7 新增的模块:高层策略不只输出文字子任务,还预测"完成这步后场景应该长什么样",这个视觉子目标再作为低层动作专家的条件输入,减少歧义。这个思路跟 GR-2 的"视频预测辅助动作预测"、UniPi 的"扩散生成未来视频"是同一大类,但 π0.7 把它压缩到"生成子目标图像"而不是完整视频,成本更低。

3. 可引导控制:多模态提示训练​

π0.7 在训练时对数据同时加注四类元数据:

提示类型内容
语言指令任务级 + 每个子任务描述
Episode 元数据质量评分、速度评分
控制模式标签关节空间 vs 末端执行器控制
视觉子目标图像空间布局规范

这样,即使是 RECAP 强化学习产生的低质量自主 rollout 数据,也可以标注为"低质量、慢速"而非直接丢弃,进入训练混合。推断时世界模型生成子目标图像,实现全自主执行,无需人工提供子任务标签。## 4. 训练数据与 RECAP 蒸馏

训练数据来源:

  • 多机器人遥操作示范数据(多平台)
  • 人类操作视频
  • π*0.6 各专家的 RECAP RL 经验(以策略质量/类型标签蒸馏)
  • DROID 开源数据集(Franka 机械臂)
  • 真实家庭采集数据
  • 大规模视觉-语言预训练数据

π0.7 没有公开具体数据量。RECAP 专家的经验通过策略元数据标签蒸馏进通用模型——相当于把 RL 的优化结果转化为监督学习的训练信号。

5. 实验结果​

vs. π*0.6 各任务专家(吞吐量归一化,专家 = 1.0):

  • 叠衣服(T 恤 + 短裤):π0.7 ≥ 1.0×(相当或更高)
  • 叠衣服(多样化难衣物):π0.7 最高约 2× 专家吞吐量
  • 制作浓缩咖啡:π0.7 ≥ 1.0×
  • 装配箱子:π0.7 最高约 2× 专家吞吐量

跨体型迁移(零样本):

测试平台:双臂 UR5e + Robotiq 平行夹爪——在叠衣服数据中代表性极低的机器人。任务:叠衣服,无任何 UR5e 叠衣服示范。

结果:π0.7 的成功率与有 375 小时平均经验的人类遥操作者在 UR5e 上首次完成该任务的成功率持平。机器人自适应了不同的运动学结构和夹爪类型,调整了操作策略。

6. 组合泛化:语言教学替代遥操作​

π0.7 展示了一个新能力:通过语言逐步引导,无需任何遥操作示范就能学会新任务。

示例:空气炸锅装载任务。训练数据中只有 2 条展示机器人关闭空气炸锅的 episode,没有任何装载食物的数据。结合 DROID 数据集后,模型泛化到把红薯装进空气炸锅。进一步地,高层策略可以仅通过语言教学文字稿(而非视频示范)进行微调——把自然语言中的步骤分解直接转化为策略。

这个方向跟 Gemini Robotics 的 ER 层能力类似:都是想让机器人从语言层的抽象指令中学到具体操作,而不再依赖遥操作数据。

7. 任务列表​

叠衣服、制作浓缩咖啡、装配箱子、空气炸锅装载、蔬菜削皮、玻璃门清洁(使用清洁剂)、厨房电器操作、抽屉开关、台面擦拭。

8. 意义与局限​

π0.7 的方法论意义:用策略元数据标注替代数据过滤,把 RL 专家经验蒸馏进通用模型,避免了"一任务一模型"的运维问题。这套范式如果成立,VLA 的扩展路径就是:更多任务 → 更多专家数据 → 蒸馏 → 更强通用模型,而不是线性增加模型数量。

主要局限:定量评估发布较少,跨体型迁移只有一个案例(UR5e),组合泛化和语言教学只有定性展示。训练数据和权重不开放。