跳到主要内容

Octo:开源通用机器人策略

论文:Octo: An Open-Source Generalist Robot Policy(Octo Model Team,RSS 2024,Berkeley/CMU/Stanford 等联合)。Octo 在 RT-2 之后做了一件重要的事:用 1/600 的参数量(93M vs 55B),开源地复现了类似水平的跨机器人泛化能力,并且微调成本降到单块 A5000 + 约 100 条示范 + 5 小时。这让通用机器人策略从 Google 独占的资源变成了社区可用的基础设施。

1. 架构:三模块 Transformer​

任务标记化器 + 观测标记化器
↓
主干 Transformer(因果掩码注意力)
↓
读出 Token(Readout Tokens)
↓
扩散动作头(20 步 DDPM 去噪)

任务标记化器:

  • 语言指令:冻结的 T5-base(111M)编码,输出 16 个语言嵌入 token
  • 目标图像:与观测图像相同的 Patch 编码器处理
  • 训练时随机将语言条件置零,使模型支持以目标图像替代语言作为任务条件

观测标记化器:

  • 浅层 CNN Patch 编码器,图像划分为 16×16 Patch
  • 第三视角摄像头(256×256)→ 256 个 token
  • 腕部摄像头(128×128)→ 64 个 token
  • 输入过去 2 帧观测历史

主干 Transformer 两种规模:

Octo-SmallOcto-Base
层数1212
注意力头612
隐藏维度384768
参数量27M93M

注意力掩码:观测 token 只关注同时刻及更早的 token;读出 token(类似 BERT 的 [CLS])可关注所有观测和任务 token,但观测 token 不能反向关注读出 token。

扩散动作头: 3 层 MLP(隐藏维 256,含残差连接和层归一化),DDPM 噪声预测,余弦噪声调度,推断时 20 步去噪。关键优化:主干 Transformer 每次预测只推理一次,20 步去噪完全在动作头内部完成,大幅降低推理成本。

2. 训练数据与超参数​

数据: Open X-Embodiment 的 25 个子数据集,80 万条机器人示范轨迹。主要来源:Fractal、Kuka、Bridge(各 17%),BC-Z(9.1%),Stanford Hydra(6.0%)。注意:仅 56% 数据含语言标注,仅 27% 数据有腕部摄像头——这两个数字直接制约了对应能力的上限。

超参数值
优化器AdamW
学习率3×10⁻⁴(逆平方根衰减)
批大小2048
训练步数300,000 步
硬件TPU v4-128 Pod,约 14 小时

微调成本: 单块 A5000(24GB),约 100 条示范,50,000 步,约 5 小时。线性预热 + 余弦衰减。

3. 实验结果​

WidowX 机器人零样本评估:

任务成功率
将胡萝卜放到盘子上80%
将茄子放入锅中90%
将面包放到盘子上70%
平均83%

与 RT-2-X(55B)成绩"相近",但参数量仅为其 0.17%。

零样本泛化细粒度分析:

泛化类型成功率
域内(In-Distribution)85%
新物体80%
新环境40%
新技能5%

新技能(翻转、精密插入等)零样本几乎无能为力——这是最突出的短板。

微调后 vs 从零训练(9 个平台,平均):

方法平均成功率
从零训练(ResNet+Transformer)20%
VC-1(视觉预训练)15%
Octo 微调72%

动作头消融(WidowX,40 次试验):

动作头成功率
MSE 连续头35%
离散化 token 头18%
扩散头(完整版)83%

MSE 头只有 35%——实验直接揭示了 MSE 在多模态分布下的"均值动作"问题:动作迟缓、保守对冲。

4. 与 RT-2、OpenVLA 的差异​

维度OctoRT-2-XOpenVLA
参数量93M55B7B
开源是否是
可微调是(单卡)否是(LoRA)
动作头扩散(20步)离散 token离散 token
任务条件语言 + 目标图像语言语言
推断速度快(单次主干推理)1–3 Hz~6 Hz

Octo 的差异化优势:双模态任务条件(语言 + 目标图像可互换)、消费级 GPU 可微调、扩散动作头对精细操作比离散 token 更准确。

5. 局限​

腕部摄像头数据仅占 27%,微调实验中去掉腕部摄像头反而更好——说明稀疏数据给视觉编码器的监督信号不充分,反而引入噪声。本体感知特征(关节角)加入后性能下降,推测是不同数据集的关节格式差异造成"因果混淆"。新技能零样本约 5% 的成功率说明 Octo 本质上是数据分布内泛化,而非真正的技能组合泛化。

代码、权重、微调脚本见 octo-models/octo。