跳到主要内容

GR-1:用视频预测预训练做机器人策略

论文:Unleashing Large-Scale Video Generative Pre-training for Visual Robot Manipulation(Wu 等,ICLR 2024)。GR-1 想解决的是机器人数据太少的问题。VLA 领域早期的策略要么用几千条机器人示范(ACT、Diffusion Policy),要么用 Google 内部的 13 万条(RT-1),跟 NLP 领域动辄几亿 token 的规模差着好几个数量级。GR-1 的思路是:互联网上有海量人类操作视频,如果在这些视频上做预训练,能不能把物理世界知识迁移到机器人策略上? 具体做法是用 Ego4D 的 3500 小时视频先训一个视频预测模型,再在机器人数据上微调,加动作头。

1. 为什么视频预训练可能有用​

先想清楚这个思路到底赌的是什么。

机器人操作策略需要三种知识:

  1. 视觉理解:识别物体、判断位置和姿态
  2. 物理直觉:知道东西掉下去会摔碎、杯子倒了水会洒
  3. 动作生成:知道怎么协调关节实现意图

前两项是跟具体机器人无关的通用知识。视频里有一个人拿起杯子倒水的过程,这段视频编码了"杯子的重量分布"、"水的流动方向"、"手需要保持稳定"这些物理规律。如果模型能从视频里学到这些规律,机器人微调阶段只需要学第三项——怎么把物理直觉翻译成具体的关节指令。

Ego4D 是 Meta 出品的第一视角视频数据集,3500 小时的人做日常操作。这个数据集本来是给动作识别、视频理解用的,GR-1 把它用作机器人策略的预训练来源。

2. 视频预测能学到什么​

具体的预训练任务是"给定过去几帧和一个语言描述,预测未来某一帧"。数学上:

F^t+Δt=fθ(Ft−k:t,ℓ)\hat{F}_{t+\Delta t} = f_\theta(F_{t-k:t}, \ell)

FF 是图像特征,ℓ\ell 是语言描述,Δt\Delta t 是预测步长。损失是 MSE:

Lpretrain=∥Ft+Δt−F^t+Δt∥2\mathcal{L}_{\text{pretrain}} = \|F_{t+\Delta t} - \hat{F}_{t+\Delta t}\|^2

关键选择:在 MAE 特征空间预测,不是像素。MAE(Masked Autoencoder)是 Meta 的一个自监督预训练模型,把图像 mask 掉一部分让 ViT 还原。训完之后 MAE 的 ViT 输出是一个语义比较集中的特征表示。

在 MAE 特征上预测未来的好处是:

  • 语义比像素更集中:像素预测会让模型分心去还原光照、纹理等对策略无用的细节
  • 训练更容易收敛:MSE 在特征空间比在像素空间更平滑
  • 迁移到机器人策略更好:机器人策略也是在语义特征上做决策,不需要像素细节

作者做过消融:像素预测 vs MAE 特征预测,在 CALVIN 上差 8 分。

3. 架构​

GR-1 是 GPT 风格的因果 Transformer,一个统一骨干加双输出头。

规格值
Transformer 层数12
注意力头数12
隐藏维度384
总参数量195M
可训练参数(微调阶段)46M(编码器冻结)

输入模块:

  • 语言编码器:冻结的 CLIP 文本编码器
  • 视觉编码器:冻结的 MAE ViT
  • Perceiver Resampler:把 ViT 输出的 patch token 数量压缩到固定大小(16 或 32)

Perceiver Resampler 是 Flamingo 里的一个技巧:用一组可学习的 query 通过交叉注意力从大量 patch token 里"抽取"少量信息浓缩的 token。用在这里的目的是把每帧 200+ 的 ViT patch 压到 16 个,减小 Transformer 的序列长度。

输入序列:[语言 token, 历史观测帧的 Resampler token, 历史机器人状态]

双输出头(共享 Transformer 骨干):

  1. 机器人动作头(3 层 MLP):
    • 手臂动作:Smooth-L1 损失
    • 夹爪开合:二元交叉熵损失
  2. 视频预测解码器(Transformer decoder + 线性层):预测未来帧的 MAE 特征,MSE 损失

联合损失:

L=Larm+Lgripper+Lvideo\mathcal{L} = \mathcal{L}_{\text{arm}} + \mathcal{L}_{\text{gripper}} + \mathcal{L}_{\text{video}}

微调阶段保留视频预测损失,不是当作辅助损失就完事——它有具体作用:防止灾难性遗忘。如果微调只用动作 loss,Transformer 骨干会漂离预训练分布,把物理先验忘掉。保留视频 loss 等于持续把骨干"钉"在预训练的表征上。

4. 训练细节​

预训练:

  • 数据:Ego4D,3500 小时,预处理成 3 秒片段,约 80 万段
  • 每段配自然语言描述(原数据集自带)
  • 预测步长 Δt\Delta t:3 秒后的那一帧
  • 硬件规模:报告没详细披露

微调:

  • 数据:CALVIN 或真实机器人示范
  • 解冻 Perceiver Resampler、Transformer 骨干、动作头
  • 冻结 CLIP 和 MAE 编码器
  • 批大小 512,AdamW,余弦衰减,20 epoch
  • 微调阶段预测步长 Δt=3\Delta t = 3(机器人数据帧率更密,3 帧不是 3 秒)

5. 实验结果​

CALVIN ABCD→D(域内多任务)​

CALVIN 是 CALVIN 基准——机器人在一次运行中要完成 1–5 个连续不同任务,评估各阶段完成率和平均完成链长(Avg.Len)。

方法任务1任务5Avg.Len
RT-184%23%2.45
HULC89%38%3.06
GR-195%73%4.21

Avg.Len 从最佳基线 3.06 提到 4.21,主要提升在越后面的任务上——第一个任务大家都能做,越到后面误差越累积,GR-1 的物理先验起到防止累积的作用。

CALVIN ABC→D(零样本跨场景)​

训练环境是 A、B、C,测试环境是 D(不同物体、不同背景):

方法任务1任务5Avg.Len
RT-153%1%0.90
HULC42%1%0.67
MT-R3M53%2%0.93
GR-185%40%3.06

零样本跨场景 Avg.Len 从最佳基线 0.93 跳到 3.06,提升 +229%。这是视频预训练最直接的价值证据——互联网视频看过大量不同场景,学到的表征在跨场景时不容易崩。

只用 10% 训练数据​

方法Avg.Len
HULC1.11
GR-12.00

低数据场景 GR-1 的优势更明显。预训练的物理先验相当于"提供了一个更好的初始化",在数据稀缺时价值更大。这个观察后来被 π0、GR-2、GR00T N1 反复利用。

真实机器人​

评估类型RT-1GR-1
已见物体27%79%
未见实例13%73%
未见类别0%30%
关节物体(如抽屉、门)35%75%

未见类别 30% 是关键数字。RT-1 完全崩掉(0%),GR-1 靠视频预训练保持了一部分泛化能力。

预训练和视频预测的独立贡献(消融)​

配置Avg.Len
无预训练,无视频预测3.33
有视频预测,无预训练3.82
无视频预测,有预训练4.05
完整 GR-14.21

两个改动都有独立贡献:预训练贡献 +0.72,视频预测辅助任务贡献 +0.39。预训练是主要来源,视频预测是次要但仍然有效——这印证了作者的说法:"视频预测在微调阶段主要用来防止灾难性遗忘"。

6. 局限​

人手和机器人夹爪的形态差异。Ego4D 是人手操作视频,机器人是夹爪,两者的运动学、外观都不一样。预训练学到的"抓杯子的时序模式"在夹爪上是不完全对应的。作者也讨论了这一点:微调数据要足够多才能补上这个差距,纯靠预训练不够。

MAE 特征空间预测的限制。当物体被遮挡时,模型无法准确预测被遮挡物体的状态——这个信息在 MAE 特征里就丢了。作者展示的失败案例大多是遮挡场景。

只在 CALVIN 单一平台评估。RT-1 至少在真机上跑,GR-1 主要靠 CALVIN 仿真。真实机器人实验只有一个简单平台,缺乏跨机器人验证(不像 Octo 覆盖 9 个平台)。

机器人数据规模仍远小于 Ego4D。GR-1 的机器人微调数据 24K 轨迹,Ego4D 是 80 万段视频。这两个数字比是 1:33。论文里指出扩大机器人轨迹规模是未来方向——这条路后来被 GR-2 走通。

7. GR-1 的影响​

GR-1 是"视频预训练做机器人策略"这条线的开创性工作。之后的演化:

方法视频预训练目标数据规模
GR-1预测 MAE 特征3500 小时 Ego4D
GR-2预测 ViT 特征3800 万段互联网视频
LAPA预测离散潜动作Something-Something 加 Ego4D
Genie潜动作 + 世界模型大规模视频
UniPi生成未来视频(扩散)混合视频数据

不同做法在预测什么上分歧,但先在视频上预训练再微调机器人这个大范式是 GR-1 建立的。这个范式的价值在数据稀缺场景特别明显——纯机器人数据永远追不上视频数据的规模。

代码见 bytedance/GR-1。