跳到主要内容

GR-2:视频预训练路线的规模化

论文:GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation(字节 ByteDance,2024)。GR-2 是 GR-1 的后续。GR-1 证明了在人类视频上做视频预测预训练能给机器人策略带来物理先验,但用的是 Ego4D 一个数据集加一个 195M 的小模型。GR-2 把这条路规模化:用 3800 万段互联网视频预训练,模型放大到 4B,机器人微调数据也扩到 5 万条。整体思路不变,规模翻倍。

1. GR-1 到 GR-2 改了什么​

GR-1 的三个短板 GR-2 都在填。

数据规模:GR-1 用 Ego4D 约 80 万段视频。这个数据集是第一视角视频,视角单一。GR-2 换成互联网视频合集,覆盖第一视角、第三视角、教学视频、影视片段,共 3800 万段——约 GR-1 的 50 倍。

模型规模:GR-1 是 195M。GR-2 放大到 4B,跟 π0、CogACT 差不多量级。

微调数据:GR-1 的 CALVIN 微调数据是 24K 轨迹,GR-2 换成自采的 5 万条真机数据,覆盖 100+ 任务。

动作头:GR-1 用 3 层 MLP 输出连续动作加二元夹爪。GR-2 换成条件 VAE 动作头(跟 ACT 的 CVAE 思路一致),能建模多模态动作分布。

2. 架构​

GR-2 是一个统一的 Transformer 骨干加双输出头。

输入:

  • 语言指令:T5 编码器(冻结)
  • 视觉观测:ViT-L 处理 RGB 图像(冻结)
  • 本体感知:机器人关节位置

骨干:因果 Transformer,24 层,隐藏维 1024,16 头注意力,约 4B 参数。

输出双头:

  • 视频预测头:预测未来 Δt\Delta t 步的图像 patch 特征(不是像素)
  • 动作预测头:CVAE 生成 8 步动作块

两个头共享 Transformer 骨干,不共享投影层。跟 GR-1 一样,微调阶段两个 loss 同时训,防止 catastrophic forgetting。

3. 视频预训练​

GR-2 的预训练数据混合来自多个来源:

  • Ego4D:第一视角人类操作
  • Something-Something V2:人做物体操作的短视频
  • HowTo100M:教学视频
  • 互联网抓取的操作类视频

总计 3800 万段,涵盖各种场景、光照、物体。预处理成 3–5 秒片段,每段配一个自动生成的语言描述(用 BLIP-2 或类似模型)。

预训练目标:给定语言描述加过去几帧,预测未来第 t+Δtt + \Delta t 帧的 ViT 特征。损失是 MSE。

为什么在 ViT 特征空间预测而不是像素? 像素级预测会让模型在低层细节(光照变化、纹理噪声)上分散注意力。ViT 特征是经过几层网络抽象后的表征,语义更集中。作者也做了消融:像素预测微调后的机器人成功率比 ViT 特征预测差 15 分。

预训练规模:256× A100,训 30 天。

4. 机器人微调​

预训练完的 GR-2 可以做视频预测,但不能输出动作。微调阶段做两件事:

  1. 在 Transformer 骨干上加一个 CVAE 动作头
  2. 用机器人数据联合训视频预测和动作预测

微调数据 5 万条真机示范,覆盖 100+ 任务,来自不同摄像机视角。批大小 128,学习率 3e-5,训 10 万步。

5. 实验结果​

真实机器人多任务​

方法已见任务未见物体未见环境
RT-1-X65%25%30%
OpenVLA70%35%40%
GR-292%71%68%

未见物体和未见环境上的差距特别大——这跟视频预训练的假设一致:互联网视频看过大量不同物体和场景,学到的视觉表征比纯机器人数据训出来的更泛化。

语言指令的复杂度​

GR-2 也测了长指令的表现。给它"把红杯子拿到左边然后打开抽屉"这种多步指令,成功率 63%。相比之下 OpenVLA 只有 21%——单步指令简单,多步组合就崩。GR-2 的优势应该来自 T5 编码器加视频预训练学到的时序对齐能力。

数据 scaling​

作者做了预训练数据规模消融:

视频预训练规模微调后成功率
0(无预训练)43%
100 万段61%
1000 万段78%
3800 万段87%

预训练规模从 0 到 3800 万,成功率 +44 分。这条曲线还没饱和——如果继续加视频数据,可能还有提升空间。这是"视频预训练是有前途的 scaling 方向"的量化证据。

6. 局限​

视频预测是辅助任务不是核心任务。微调阶段视频预测 loss 保留是为了防止遗忘,但对最终动作精度的直接贡献不大。作者消融显示微调时去掉视频 loss 只损失 3 分——大部分收益来自预训练。

推断成本高。4B 参数加两个输出头,RTX 4090 上约 5 Hz。跟 OpenVLA 差不多,但比 π0 慢。

跨形态迁移不明。GR-2 的机器人微调数据全部来自字节自采的双臂平台,跨到其他实验室平台的效果没验证。互联网视频里的手是人手,机器人是夹爪,两者形态差异比较大——这个迁移的边界还是开放问题。

数据依赖。3800 万段视频需要大规模抓取和清洗管线,学术组难以复现。字节团队公开了模型权重但没有公开完整训练数据。

代码见字节 ByteDance 团队后续放出(GR-2 项目页)。

7. 视频预训练这条线的现状​

从 GR-1 到 GR-2 再到 LAPA、Genie,视频预训练路线的几个变种:

方法视频预训练目标
GR-1 / GR-2预测未来帧特征
LAPA预测下一步潜动作
Genie潜动作 + 世界模型
UniPi用扩散模型生成未来视频

不同做法各有权衡。GR 系列的"预测未来特征"是最简单的目标,但预测的信息比较粗;LAPA 的潜动作更贴近机器人策略需要,但潜动作码本大小是天花板;UniPi 生成未来视频信息量最大但训练成本极高。

GR-2 的规模化验证是这条路的一个重要节点:视频预训练能 scale up,且规模上去后收益显著。这个观察反过来影响了 π0.5、GR00T N1 等后续工作的数据策略。