跳到主要内容

ACT:用便宜的双臂机器人学精细操作

论文:Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware(Tony Z. Zhao 等,RSS 2023)。ACT 做的事情很具体:用两个廉价机械臂加 50 条人类示范,训一个 CVAE Transformer,把"插电池"这种毫米级双臂任务做到 96% 成功率。此前所有基线在这个任务上是 0%。这篇之后,"动作分块"(action chunking)成了机器人模仿学习的标配技巧。

1. 精细双臂操作难在哪​

先说清楚为什么这类任务在 ACT 之前没人做出来。

问题一:误差累积。模仿学习里最常见的是单步策略:给当前观测预测下一步动作。看起来自然,但有个隐性问题——每一步的动作预测都有小误差,误差会随时间累积。假设每步的误差是 1mm,50 步之后机械臂可能已经偏离目标 5cm 以上,插电池这种要求毫米对齐的任务直接失败。

数学上这个问题叫协变量偏移(covariate shift):训练时模型看到的是示范者的分布,测试时因为累积误差进入了"稍微偏离示范"的分布——而这个偏离分布的动作策略模型没学过,误差进一步放大。DAgger 一类方法是用在线数据修正这个问题,但需要额外的人类介入,成本高。

问题二:多模态示范。人类操作同一任务时风格不一:有时先把电池的一头对齐再压进去,有时直接从上方插入。这两种策略在中间阶段的动作完全不一样——一个先横着走,一个先垂直下降。单峰分布的 BC(比如 MSE 回归)对这种多模态分布只能取均值,均值动作在物理上往往无效(横着走一半又下降一半是撞死)。

2. ALOHA 硬件​

论文同步发布了 ALOHA 平台,这是很多后续工作的实验基础,值得单独讲。

  • Follower(执行):2× Trossen ViperX,6-DOF,定位精度 5–8mm,臂展 1.5m
  • Leader(示范):2× Trossen WidowX,专门用来遥操作
  • 视觉:4× Logitech C922x(480×640,30fps),双腕加正面加顶部
  • 总造价:约 2 万美元

遥操作的思路是:人手抓住 Leader 机械臂做想让机器人做的动作,Leader 的关节角度实时复制到 Follower 上。这样"人的动作 → 关节角度"的映射由硬件完成,不用手戴任何传感器或写复杂的动作重定向代码。

自由度 2 手 × 7-DOF(6 关节 + 夹爪)= 14。每个任务采集约 50 条示范,实际操作约 10 分钟,含复位约 1 小时。

3. Action Chunking:从单步到块预测​

ACT 的第一个贡献是把策略改成预测动作序列块而非单步动作:

π(at:t+k∣st)\pi(a_{t:t+k} \mid s_t)

块大小 k=100k = 100(50Hz 控制,对应 2 秒)。相当于一次前向传播输出未来 2 秒的所有动作,执行完这 100 步再重新观测和预测。

为什么这样能减少误差累积? 从数学上看,把长度为 TT 的任务用单步策略执行相当于 TT 次独立预测,每次都有可能引入协变量偏移。用块大小 kk 相当于把有效决策次数变成 T/kT/k——决策点少了,累积误差降低。

更直观地讲:块内 100 步动作是一次性预测的,模型在生成第一步时就已经"知道"接下来 99 步要做什么,所以能规划出一条平滑连贯的路径。相比之下单步策略每次只知道下一步,容易走到局部次优、然后需要下一步修正、又引入新误差。

另一个隐性好处:块预测隐式地建模了动作时序相关性。相邻步的动作在数据里是高度相关的(手臂不会突然反向运动),块预测能利用这个先验,单步预测不能。

4. CVAE:解决多模态分布​

CVAE = Conditional Variational Autoencoder。它是 VAE 的条件版本,让生成过程可以条件于观测。ACT 用它来建模示范者的"风格差异"。

先讲最基本的直觉:假设示范里有两种插电池风格,你希望模型能生成任意一种,而不是它们的均值。CVAE 引入一个隐变量 zz 表示"当前样本属于哪种风格",训练时从数据里推断出每条示范对应的 zz,测试时可以选一个 zz 让模型按那个风格生成。

具体到 ACT 的实现,整体结构分三块:

编码器(只在训练时用):BERT 风格 Transformer Encoder,输入 [CLS] + 14 维关节位置 + k 个真实动作,输出风格变量 zz 的均值 μ\mu 和方差 σ2\sigma^2。zz 从 N(μ,σ2)\mathcal{N}(\mu, \sigma^2) 采样(用重参数化技巧保证梯度可传)。规模是 4 层,隐藏维 512,8 头注意力。

解码器(策略网络,训练和推断都用):

  • 视觉主干:4× ResNet-18,各处理一路图像,每路输出 15×20×51215 \times 20 \times 512,拼接为 1200 个视觉 token
  • Transformer Encoder:将视觉 token、关节位置、风格变量 zz 一并编码
  • Transformer Decoder:7 层,以 kk 个可学习 Query 输出 k×14k \times 14 维动作序列

推断时的关键技巧:zz 固定为零向量(先验均值),编码器完全不需要。这样推断时模型输出的是"平均风格"的动作——听起来又变成均值动作了?但关键区别是:训练时因为有 zz 提供风格信息,解码器不需要用输出的多模态性来解释训练数据里的多样性,它可以学到干净的"给定风格 zz 应该输出什么动作"的映射。测试时 z=0z=0 生成的是一个自洽的动作——不是多种风格的平均,而是"没有额外风格信息时的典型动作"。这个差别很微妙但在实验里很关键。

损失函数:

L=LL1+β⋅DKL(qϕ(z∣at:t+k,ot)∥N(0,I))\mathcal{L} = \mathcal{L}_{L1} + \beta \cdot D_{KL}(q_\phi(z \mid a_{t:t+k}, o_t) \| \mathcal{N}(0, I))

第一项是重构损失(预测动作和真实动作的 L1 距离),第二项是 VAE 的标准 KL 正则(把 qϕ(z)q_\phi(z) 拉向先验 N(0,I)\mathcal{N}(0, I))。β=10\beta = 10,优化器 Adam,学习率 1e-5,批大小 8。RTX 2080 Ti 上训练约 5 小时,推断延迟约 0.01 秒,支持 50Hz 实时控制。

5. Temporal Ensemble:平滑执行​

前面说 ACT 每次预测 100 步,执行完再重新预测。但每 2 秒才决策一次不太合理——如果观测在中间有变化(比如物体被碰动了),机器人要等两秒才能反应。

ACT 的做法叫滚动预测 + 时序集成:每一步都重新预测未来 100 步,但每一步只执行第一个动作。这样每步都能利用最新观测,同时享受块预测的时序一致性。

问题是相邻时刻的块预测有重叠区域——第 tt 步预测的第 3 步动作和第 t+2t+2 步预测的第 1 步动作对应同一个物理时刻,但可能预测值不同。用哪个?ACT 用指数加权集成:

at=∑ie−m⋅i⋅At(i)∑ie−m⋅ia_t = \frac{\sum_i e^{-m \cdot i} \cdot A_t^{(i)}}{\sum_i e^{-m \cdot i}}

其中 At(i)A_t^{(i)} 是第 ii 次预测中对时刻 tt 的估计,越新的预测权重越高(ii 越大权重越小,因为 ii 是"往前推了多少步")。mm 是衰减速度超参。

时序集成对最终成功率贡献约 +3.3%。它是块预测和滚动更新之间的桥梁——让两种好处(时序一致性和实时响应)能同时拿到。

6. 实验结果​

真实机器人,50 条人类示范,各任务独立训练约 80M 参数:

任务ACT 成功率最佳基线
插电池(Slot Battery)96%~0%
穿鞋(Put On Shoe)92%0%
拉拉链(Slide Ziploc)88%—
开调料杯(Open Cup)84%0%
贴胶带(Prep Tape)64%0%
穿魔术贴(Thread Velcro)20%0%

基线包括 BC-ConvMLP、BeT、RT-1、VINN。所有基线在最难 4 项任务上成功率均为 0%。

消融关键结论:

  • 去掉 CVAE(z=0z=0 固定训练):人类示范数据成功率从 35.3% 降至 2%
  • k=1k=1(无分块):平均成功率约 1%;k=100k=100:约 44%

这两个消融是 ACT 的核心证据。k=1k=1 vs k=100k=100 的 43 分差距是动作分块的贡献;去掉 CVAE 从 35% 掉到 2% 是多模态建模的贡献。两个都不能少。

7. 局限​

ACT 是任务专用模型,每个任务独立训练,没有跨任务迁移能力。5–8mm 的硬件定位精度对穿魔术贴这类亚毫米任务仍是瓶颈(20% 成功率)。论文没有评估对新物体、新场景的零样本泛化——这是后续 OpenVLA、π0 等工作要解决的问题。

另一个值得注意的限制:50 条示范 × 多任务,人工成本仍然可观,扩展到数百个任务时采集变成瓶颈。这条路通向的是精度,不是泛化。

8. ACT 的影响​

ACT 之后,动作分块几乎是所有后续 VLA 的默认做法:

模型块大小
ACT100
Diffusion Policy8–16
π050
Octo4
RDT16
OpenVLA-OFT8

块大小的选择跟任务频率相关:高频任务(ALOHA 50Hz)用更长的块,低频任务(Bridge 5Hz)用短块。这个技巧的普适性直接来自 ACT 里对协变量偏移的分析。

CVAE 这条线反而没有那么普适——后续工作大多用扩散或流匹配替代 CVAE 来建模多模态。但 ACT 是第一次系统证明"只用 50 条示范能做毫米级双臂精细任务",这个存在性证明本身就重要。

官方实现见 tonyzhaozh/act,ALOHA 硬件文档也在同仓库。