跳到主要内容

π0:用流匹配做通用机器人控制

论文:π₀: A Vision-Language-Action Flow Model for General Robot Control(Physical Intelligence,2024)。π0 的核心判断是:RT-2 和 OpenVLA 用离散 token 表示动作这件事,从根本上不适合精细操作——256 区间离散化、自回归单步输出、无法处理高频连续动作序列,这三个问题叠在一起,导致叠衣服、装盒子这类任务直接无法完成。π0 的回答是换掉动作头:用流匹配替代离散 token 生成,VLM 骨干保留。

1. 为什么需要流匹配​

精细操作有三个约束让离散 token 很难受:

  1. 精度要求高:亚毫米级位置控制,256 区间量化误差无法接受
  2. 动作连续且多维:叠衣服需要协调的多关节连续轨迹,自回归逐步生成引入误差累积
  3. 多模态分布:同一任务人类有多种完成方式,单峰高斯噪声的扩散模型比离散分类更合适

流匹配(Flow Matching)和扩散(Diffusion)都建模连续动作分布,但流匹配使用直线最优传输路径:

q(Atτ∣At)=N(τAt, (1−τ)I)q(\mathbf{A}_t^\tau | \mathbf{A}_t) = \mathcal{N}(\tau \mathbf{A}_t,\ (1-\tau)\mathbf{I})

构造噪声动作:Atτ=τAt+(1−τ)ϵ\mathbf{A}_t^\tau = \tau \mathbf{A}_t + (1-\tau)\epsilon,目标向量场:u=At−ϵ\mathbf{u} = \mathbf{A}_t - \epsilon。

直线路径意味着速度场更容易学,推断只需 10 步(DDPM 需要 100+)。

2. 架构:VLM + Action Expert​

总参数约 3.3B,两个子网络共享自注意力但不共享 MLP:

VLM 主干(PaliGemma 3B,预训练权重):

  • 宽度 2048,18 层,16384 FFN,18 头(多查询注意力 MQA)
  • 处理:图像 token + 语言指令 token
  • 保留互联网规模语义知识

Action Expert(~300M,随机初始化):

  • 宽度 1024,FFN 4096
  • 处理:本体感知状态 qtq_t + 带噪动作块 AtτA_t^\tau
  • 动作 token 嵌入:3 层 MLP + 正弦时间步编码 ϕ(τ)\phi(\tau)

embed(a,τ)=W3⋅swish(W2⋅concat(W1⋅a, ϕ(τ)))\text{embed}(a, \tau) = W_3 \cdot \text{swish}(W_2 \cdot \text{concat}(W_1 \cdot a,\ \phi(\tau)))

注意力掩码(三块因果结构):

  1. 图像 + 语言:块内双向,后续 token 可读但不能反向影响
  2. 本体感知 qtq_t:双向,KV 缓存——动作 token 可读,但不重新计算
  3. 噪声动作 AtτA_t^\tau:块内完全双向,可注意前面所有 token

这个设计让 Action Expert 能充分利用 VLM 的语义表征,同时不破坏 VLM 的预训练注意力模式。

3. 训练损失与推断​

训练:

L=E∥vθ(Atτ,ot)−(At−ϵ)∥2\mathcal{L} = \mathbb{E}\left\|\mathbf{v}_\theta(\mathbf{A}_t^\tau, \mathbf{o}_t) - (\mathbf{A}_t - \epsilon)\right\|^2

时间步采样用 Beta 分布 Beta((s−τ)/s; 1.5,1)\text{Beta}((s-\tau)/s;\ 1.5, 1),s=0.999s=0.999,强调低 τ\tau(噪声大)时间步。

推断(前向欧拉积分,10 步):

Atτ+δ=Atτ+δ⋅vθ(Atτ, ot)\mathbf{A}_t^{\tau+\delta} = \mathbf{A}_t^\tau + \delta \cdot \mathbf{v}_\theta(\mathbf{A}_t^\tau,\ \mathbf{o}_t)

关键优化:KV 缓存在 10 次去噪步之间复用(只有动作 token 每步变化),10 步额外开销仅 27ms。

4. 动作分块​

每次推断输出 50 步动作块(H=50H=50),动作 token 之间用双向注意力(非因果),类似 ACT。

推断频率:50 Hz 机器人每 0.5s 推断一次执行 25 步;20 Hz 机器人每 0.8s 执行 16 步。测试了时序集成(Temporal Ensemble)但发现有害,直接用开环块执行。

5. 训练数据​

约 1 万小时机器人示范数据,7 种机器人平台:

平台动作维度
UR5e 单臂7D
双臂 UR5e14D
Franka8D
双臂 ALOHA14D
移动底盘变体16–17D

最大动作维度填充到 18 维(2×6-DOF 手臂 + 2 个夹爪 + 底盘 + 躯干)。

数据集权重:按任务-机器人组合 n0.43n^{0.43} 加权,防止高数量任务主导。语言标注:任务级名称 + 约 2 秒子轨迹片段级标注,用于细粒度语言条件控制。

预训练 700,000 步(全部 68 任务 + 7 平台)。微调数据量按任务复杂度从约 5 小时(简单抓取)到 100+ 小时(叠衣服、移动操作)不等。

6. 推断速度(RTX 4090)​

阶段耗时
图像编码器14ms
观测前向传播32ms
10 次流匹配去噪27ms
总计(本地)73ms
总计(异地部署)86ms

7. 实验结果​

开箱即用泛化(零样本,10 episodes/任务): 叠衬衫、收桌子(易/难)、装袋、烤面包——π0 在所有任务上"远远领先"其他方法。OpenVLA 和 Octo 在大多数精细操作任务上近乎零分。

微调 vs 基线(vs ACT、Diffusion Policy、OpenVLA):

  • π0 微调 1 小时数据的性能,超过基线训练 5 小时的结果
  • 预训练相比从头训练 π0 带来最高 2 倍的提升
  • 这些任务没有其他方法能完成,无法给出数值基线对比

复杂多阶段任务(10 trials,0–1 评分): 叠衣服、移动叠衣服、卸烘干机、收桌子、装箱、打包外卖盒、装鸡蛋——全部超过 50% 平均分。

8. 局限​

数据配比没有理论依据——n0.43n^{0.43} 是启发式的,最优数据混合仍是开放问题。不是所有任务都可靠:即使大量微调后成功率也未达到 100%。正迁移的条件尚不清楚——有些任务从预训练中几乎得不到收益。

π0 的数据集和预训练权重不完全开放,architecture 描述详细但复现需要大量内部数据。后续的 π0.5 进一步解决了开放世界泛化问题,π0.6 在架构和训练上做了进一步改进。