跳到主要内容

Diffusion Policy:用扩散模型生成动作

论文:Diffusion Policy: Visuomotor Policy Learning via Action Diffusion(Chi 等,RSS 2023)。这篇是把扩散模型用到机器人策略上的开山工作。它的观察是:行为克隆效果不好的根本原因往往不是网络容量不够,而是动作的输出分布假设错了。RT-1、BC-Z 这些方法用 MSE 回归或高斯混合来预测动作,都在做单峰或有限模态的假设,而人类示范里同一场景下的合理动作往往是多种完全不同的策略。扩散模型能建模任意形状的分布,把这个问题从根上换掉。

1. 先说 MSE 为什么在模仿学习上会失败​

看一个具体场景:桌上有一个杯子,示范者要绕过一个障碍物去抓它。有的示范从左边绕,有的从右边绕,两条路径都是合理的。

MSE 回归的做法是让网络输出实数动作向量 a^\hat{a},损失是 ∥a^−a∥2\|\hat{a} - a\|^2。在这个场景下,网络的最优输出是所有训练动作的均值——也就是"直接向前走"。但这条中间路径撞上了障碍物,物理上根本不合法。

这就是 MSE 的根本毛病:它假设条件动作分布是单峰高斯,一旦真实分布是多峰的,均值不在任何峰上,学出来的策略在多峰交界处的动作是无效的。

GMM(高斯混合):把输出分布写成有限个高斯的混合,网络预测每个高斯的均值、协方差和权重。理论上能表达多峰,但实践中有两个问题:一是模态数 KK 是预设的,太少表达不了、太多训不稳;二是训 GMM 需要 EM 或者最大似然,跟深度网络的反向传播结合不好。

IBC(Implicit Behavioral Cloning):用能量函数 E(a,o)E(a, o) 定义分布 p(a∣o)∝exp⁡(−E(a,o))p(a | o) \propto \exp(-E(a, o))。理论上能建模任意分布,但推断时需要用 Langevin 采样或者对比学习,训练极不稳定。Chi 论文里的实验显示 IBC 在多任务上成功率经常接近 0。

扩散模型是第四个选项。它绕过了显式建模分布密度这件事,而是学"从噪声一步步去噪到目标动作"的过程。这样即使真实分布是任意奇怪形状(不连通、多峰、有孔),扩散模型也能生成正确的样本。

2. 扩散模型是什么​

在应用到动作之前,先讲清楚 DDPM 到底在做什么。

前向过程(加噪):从一个真实数据 a0a^0(比如一段真实动作)出发,逐步加高斯噪声,经过 KK 步之后变成纯噪声 aK∼N(0,I)a^K \sim \mathcal{N}(0, I)。第 kk 步的加噪写成:

ak=αˉk⋅a0+1−αˉk⋅ϵ,ϵ∼N(0,I)a^k = \sqrt{\bar{\alpha}_k} \cdot a^0 + \sqrt{1 - \bar{\alpha}_k} \cdot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)

αˉk\bar{\alpha}_k 是一个从 1 递减到 0 的调度,k=0k=0 时是原数据,k=Kk=K 时是纯噪声。这个过程是确定性的、可写成解析式的,不需要学习。

反向过程(去噪):目标是学一个网络 ϵθ(ak,k)\epsilon_\theta(a^k, k),输入带噪动作和噪声级别 kk,预测里面加了什么噪声 ϵ\epsilon。训练时任取真实动作 a0a^0、任取一个 kk、任取一个噪声 ϵ\epsilon,用前向过程算出 aka^k,然后要求网络预测出那个 ϵ\epsilon:

L=∥ϵ−ϵθ(ak,k)∥2\mathcal{L} = \|\epsilon - \epsilon_\theta(a^k, k)\|^2

推断(生成新动作):从纯噪声 aKa^K 开始,用训好的 ϵθ\epsilon_\theta 一步步去噪:

ak−1=αk⋅(ak−γk⋅ϵθ(ak,k))+σk⋅N(0,I)a^{k-1} = \alpha_k \cdot (a^k - \gamma_k \cdot \epsilon_\theta(a^k, k)) + \sigma_k \cdot \mathcal{N}(0, I)

其中 αk,γk,σk\alpha_k, \gamma_k, \sigma_k 是调度决定的常数。走完 KK 步就得到一个新样本 a0a^0。

为什么这个能建模多峰分布? 直觉上,去噪过程在每一步都可以选择往哪个峰靠。同一个噪声 aKa^K 走不同的随机数种子会去到不同的峰上——因为每一步反向都带一个小的 σk⋅N(0,I)\sigma_k \cdot \mathcal{N}(0, I) 随机项。所以扩散模型天然是一个从条件分布采样的生成器,不需要显式建模分布密度。

3. 把扩散用到动作上​

Diffusion Policy 把上面的公式套用到动作生成,条件是观测 oto_t(图像和本体感知),生成的是一段动作序列 At=[at,at+1,...,at+Tp−1]\mathbf{A}_t = [a_t, a_{t+1}, ..., a_{t+T_p-1}]。

训练损失:

L=MSE(ϵ, ϵθ(Ot, Ak, k))\mathcal{L} = \text{MSE}(\epsilon,\ \epsilon_\theta(\mathbf{O}_t,\ \mathbf{A}^k,\ k))

跟标准 DDPM 唯一区别是网络多了一个观测输入 Ot\mathbf{O}_t——扩散过程本身是条件的。

噪声调度:用平方余弦调度(Square Cosine Schedule),训练步数 K=100K=100。

推断加速:训练时 100 步 DDPM,推断只需 10 步 DDIM(Denoising Diffusion Implicit Models)。DDIM 是一种把 DDPM 的随机去噪改成确定性 ODE 求解的变体,可以用更大的步长而不牺牲精度。10 步 DDIM 在 RTX 3080 上推断延迟约 100ms,支持 10 Hz 控制。

4. 网络架构(两种版本)​

作者做了两种去噪网络的实现,都是 encoder-decoder 结构。

CNN 版(DP-C):

  • 视觉编码器:从零训练的 ResNet-18。有两个小改动:BatchNorm 换成 GroupNorm(因为 EMA 训练和 BN 冲突),最后一层全局平均池化换成空间 Softmax 池化(保留物体的位置信息)
  • 噪声预测网络:1D 时序卷积。观测和扩散步 kk 通过 FiLM(跟 RT-1 里的用法一样)注入到每层卷积特征

Transformer 版(DP-T):

  • 基于 minGPT 改造
  • 带噪动作序列作为输入 token
  • 扩散步 kk 通过正弦位置编码嵌入为首 token
  • 观测通过每个 Decoder 块的多头交叉注意力注入
  • 动作 token 之间用因果掩码自注意力

两种版本各有优劣:DP-C 训练更稳但对高频动作弱,DP-T 表达能力强但对超参敏感。作者建议先用 DP-C 跑基线。

5. 退缩时域控制(Receding Horizon Control)​

Diffusion Policy 不是每步单独预测动作,而是每次预测一段序列并执行其中一部分。这个思路来自最优控制里的模型预测控制(MPC)。

三个时间参数:

参数含义
ToT_o(观测时域)输入过去 ToT_o 帧观测
TpT_p(预测时域)预测未来 TpT_p 步动作
TaT_a(执行时域)执行 TaT_a 步后重新规划

作者的经验最优是 Ta=8T_a = 8(多数任务)。TaT_a 太小推断次数太多、延迟高;TaT_a 太大就变成开环控制,对新观测反应慢。

热启动(Warm-starting):下次推断时,把上次预测序列的后续部分作为初始点,而不是从纯噪声开始。这样可以减少去噪步数(有时候只需 3–5 步就能收敛),降低感知延迟。

6. 实验结果​

RoboMimic 视觉输入(最优检查点成功率):

方法Square phTransport phToolHang ph
LSTM-GMM0.820.880.68
IBC0.030.000.00
DP-CNN0.981.000.95
DP-T1.000.980.76

IBC 在这套 benchmark 上直接崩掉,验证了能量函数训练不稳定的问题。DP 显著超过 GMM。

Franka Kitchen 多阶段(逐阶段成功率):

方法p1p2p3p4
BET0.990.930.710.44
DP-CNN1.001.001.000.99

Kitchen 是 4 阶段连续任务,任何单阶段失败就整体失败。DP 在 p4 阶段成功率 99%,最佳基线只有 44%。这个差距说明扩散策略在长时程任务上误差累积更小——每一步的动作分布更准,串起来的失败率更低。

真实机器人(N=20 次试验):

任务方法成功率
Push-T(UR5)DP-CNN95%(vs LSTM-GMM 20%)
Mug Flipping(Franka)DP90%(vs LSTM-GMM 0%)
Sauce Spreading(Franka)DP100%(vs LSTM-GMM 0%)
Shirt Folding(双臂)DP75%

跨 15 项任务、4 个基准,DP 相对最佳基线综合平均提升 46.9%。

视觉主干消融(RoboMimic Square PH):

主干从零训练微调预训练
ResNet-18 (IN-21k)94%92%
ViT-B/16 (CLIP)22%98%

有意思的观察:ViT 从零训练极差(22%),但微调预训练 CLIP ViT 是最好的(98%)。原因是 ViT 没有 CNN 的归纳偏置(局部性、平移不变性),小数据集上从零训难以收敛;但一旦有大规模预训练权重,它的表达能力比 ResNet 强。这个结论后来被 Octo 和 OpenVLA 吸收——它们都用预训练视觉编码器。

7. 与 π0 / RDT / CogACT 的关系​

Diffusion Policy 之后,扩散动作头这条线继续演化:

  • Octo:把 DP 的思路做成通用策略,接大规模数据预训练,但扩散头缩到 3 层 MLP
  • π0:换 DDPM 为流匹配。流匹配用直线最优传输路径,训练更稳,推断只需 10 步(DP-DDIM 也 10 步,但流匹配没有随机噪声项)
  • RDT:把扩散网络从 CNN/小 MLP 换成大 DiT(800M),双臂平台上效果明显
  • CogACT:VLM 输出认知特征后接 DiT 扩散动作头

DP 是这一整条线的起点。它没有大规模预训练、没有跨任务泛化、每个任务单独训——这些短板都是后续工作补的。但**"扩散能建模多峰动作分布"这个核心观察**贯穿始终。

8. 局限​

Diffusion Policy 每个任务单独训练,无跨任务泛化。推断延迟比简单方法高(虽然动作块弥补了部分问题)。完全依赖高质量示范,无法从次优轨迹中学习。CNN 版在高频动作变化的速度控制任务上表现偏弱,Transformer 版对超参敏感。

代码见 columbia-ai-robotics/diffusion_policy。