跳到主要内容

π*0.6:从经验中学习的 VLA

论文/博客:π*0.6: a VLA that Learns from Experience(Physical Intelligence,2025)。名字里的星号代表强化学习。π*0.6 的贡献不在架构,而在训练范式:RECAP(Reinforcement learning with Experience and Corrections via Advantage-conditioned Policies),让机器人在真实环境里通过实际失败和人工纠正持续改进,把制作浓缩咖啡的成功率推到 90% 以上,支持多小时不间断部署。

注:Physical Intelligence 在本文之后又发布了 π0.7(2026 年 4 月),引入了可引导控制和跨体型迁移能力,是目前他们最新的模型。

1. 为什么纯模仿学习有天花板​

π0 和 π0.5 都是模仿学习:从人类示范中学。这条路有明确的上限——模型只能和示范一样好。真实部署中的失败模式往往是示范数据里没有的:机械臂轻微偏转、物体滑动、未知光照角度。

直觉上 RL 是解法,但 RL 在精细操作上出了名地难训:

  • 稀疏奖励(成功/失败)在 50 步操作任务里信用分配太难
  • 真实机器人样本昂贵,安全约束多
  • 如果用次优数据,off-policy 更新不稳定

RECAP 的判断是:不过滤数据,给所有数据加优势标注,让策略自己学会区分好坏动作。

2. 骨干架构(5B 参数)​

π*0.6 的基础模型是 π0.6——在 π0.5 基础上略微放大到约 5B 参数,结构族相同(VLM 主干 + 流匹配动作专家)。关键扩展是支持异构提示类型:文本指令、质量标注、优势分数——这是 RECAP 训练的前提。

3. RECAP 算法​

RECAP 混合三种学习信号:

信号类型来源
示范人类遥操作轨迹,离线模仿预训练
纠正真实机器人 rollout 时的人工干预,针对实际失败分布
自主 RL机器人自主运行 + 奖励/价值信号

三阶段训练:

  1. 离线 RL 预训练:在示范 + 纠正数据上,带优势标注训练
  2. 任务 SFT:在目标部署任务上监督微调
  3. 在线 RL:真实机器人 rollout + 额外纠正 + 价值函数更新

价值函数与优势条件​

RECAP 的技术选择:不过滤轨迹,改为训练一个价值函数预测任务完成概率(操作上用负的"剩余步数"表示)。优势定义为每步价值的变化量,反映这一步对完成任务的贡献。

  • 所有数据都保留,次优轨迹同样参与训练
  • 策略以优势值作为输入 token 进行条件化
  • 推断时:模型被提示执行高优势动作
  • 奖励是密集的(每步完成概率变化),避免长程任务稀疏奖励的信用分配问题

纠正数据在这里比较关键:在真实失败分布上采集的人工干预,而非精心设计的模拟失败场景。真实失败的分布和精心设计的完全不同,这直接决定了鲁棒性上限。

4. 实验结果​

任务vs π0.6(纯监督学习基线)
制作浓缩咖啡吞吐量 >2×;成功率 >90%
叠衣服吞吐量大幅提升;泛化到 50 件新衣物
装配箱子吞吐量显著;边角情况处理鲁棒

实际部署:系统支持多小时不间断运行,这是之前 VLA 没有达到的水平。

叠衣服泛化到 50 件新衣物这个数字值得注意——说明 RECAP 不只是在特定任务上过拟合,而是把任务相关的鲁棒性真正学进去了。

5. 与纯模仿学习的关键差异​

维度纯监督学习(π0/π0.5)RECAP(π*0.6)
数据利用仅使用高质量示范所有数据,带优势标注
失败恢复依赖示范覆盖从真实失败中纠正
奖励信号无密集(每步完成概率变化)
上限示范质量超越示范,接近最优
训练代价仅数据采集额外需要真实机器人 rollout

6. 局限​

RECAP 需要真实机器人 rollout 和人工纠正,这意味着在线训练阶段的硬件成本和人工时间成本不低。价值函数的准确性直接影响优势标注质量,当前没有公开讨论价值函数训练稳定性的细节。

π0.7(2026 年 4 月)在此基础上进一步引入了可引导控制(steerable control)和跨体型迁移,代表 Physical Intelligence 目前最先进的能力边界。