跳到主要内容

RT-2:把 VLM 当机器人策略

论文:RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control(Google DeepMind,2023)。RT-2 想说的事情不复杂:机器人控制的输出是一串数,视觉问答的输出是一串字,两者都是序列生成,都能用同一个 Transformer 做。所以不如直接拿一个训好的视觉-语言模型(VLM),把机器人动作也当成 token 让它输出。

1. 什么是 VLM​

先说清楚 VLM 在 RT-2 之前是干什么用的,才能理解为什么把它接到机器人上算是个新想法。

VLM 的典型任务是视觉问答:输入一张图和一段问题,输出一段答案。比如输入一张猫在沙发上的图和"这只猫在做什么?",输出"猫在沙发上休息"。

架构上 VLM 一般有三部分:

  • 视觉编码器(通常是 ViT)把图片切成 patch,每个 patch 变成一个高维向量
  • 投影层把视觉向量映射到语言模型的 token 嵌入空间
  • 语言模型(PaLM、Llama 之类)把视觉 token 和文字 token 拼起来,自回归生成答案文字

RT-2 想问的是:既然 VLM 能生成任何文字答案,那能不能让它生成"看起来像文字的动作"?只要把机器人动作编码成 token 序列,VLM 就不需要改结构。这个想法在 RT-1 里已经有雏形——动作离散化成 256 bin 整数——但 RT-1 用的是从零训练的 35M 小模型,不带互联网知识。RT-2 的问题是:如果把动作生成塞进一个见过整个互联网的 55B VLM,会不会顺便获得一些常识推理能力("我很累应该喝什么"→ 能量饮料)?

为什么"互联网知识"对物理控制有用?互联网上有关于物体属性(可乐是饮料)、空间关系(水杯在桌子上)、常识(累了要提神)的大量文字。这些知识用传统方法要一条条写进机器人,而预训练 VLM 已经把它们压进了权重。RT-2 要验证这些权重在学动作输出的过程中不会被遗忘。

2. 协同微调​

传统的两阶段做法是先训一个 VLM 理解世界,再单独训一个策略网络控制机器人。RT-2 把两阶段合成一步,叫 co-fine-tuning:同一个 batch 里同时放视觉问答样本和机器人控制样本,共用同一份权重和同一个交叉熵损失。

一个 batch 里两种样本长这样:

样本 A(视觉问答):                        样本 B(机器人控制):
图像: 一只小狗在公园 图像: 桌上有可乐、水、雪碧
文字输入: "图片里的动物是什么?" 文字输入: "把可乐给我"
目标输出: "小狗" 目标输出: "1 128 91 241 5 101 127"

如果不这么做——先在 VLM 数据上训一遍再在机器人数据上微调——语言模型会因为微调阶段的 batch 里没有 VQA 样本,权重漂离预训练分布,把互联网知识忘掉,这就是灾难性遗忘。协同微调等于持续把预训练分布"锚定"住。

数据比例是超参数:机器人数据大约 50%,另一半是原来的 WebLI(从 10 亿图文对里采样的子集)。太多机器人数据会忘掉常识,太少又学不会控制。这个比例是扫出来的,不是理论最优。

3. 架构​

RT-2 用两种 VLM 骨干做实验:

RT-2-PaLI-X(主变体)

  • 视觉编码器:ViT-22B
  • 语言模型:32B UL2(encoder-decoder)
  • 总参数:55B(也有 5B 轻量版)
  • VLM 预训练数据:约 10 亿 WebLI 图文对

RT-2-PaLM-E(对比变体)

  • 视觉编码器:ViT-4B
  • 总参数:12B
  • 特点是 PaLM-E 本身预训练时就带一部分具身 QA 样本

为什么用 55B?主要是当时 DeepMind 有 PaLI-X 现成的 checkpoint,微调比从头训便宜得多。这也是 RT-2 不开源的原因——核心权重是 Google 的内部资产。

4. 动作表示​

RT-2 不改模型结构,把动作直接编码成文本 token。动作空间 8 维:

terminate  Δpos_x  Δpos_y  Δpos_z  Δrot_x  Δrot_y  Δrot_z  gripper
  • terminate:0/1,任务是否完成
  • Δpos:末端位置增量
  • Δrot:末端旋转增量(欧拉角)
  • gripper:夹爪开合度

每一连续维度均匀离散化成 256 bin,动作变成 8 个整数字符串:

"1 128 91 241 5 101 127"

从 VLM 的视角看,这就是 8 个普通的字符 token,跟"你好"、"cat"没本质区别。

Token 分配上两种做法:

  • PaLI-X 直接用词汇表里已有的整数 token(tokenizer 天然会把数字切成字符或数字段)。好处是零改动,坏处是动作 token 和语言里的数字 token 混在一起,模型分不清"输出 128"是动作还是自然语言里的数字。
  • PaLM-E 找到词汇表里使用频率最低的 256 个 token(一些罕见字符、特殊符号),把它们重新映射为动作 token。这样语义解耦,模型学得快。

后来 OpenVLA 沿用了 PaLM-E 的思路,这个技巧成了 VLA 领域的默认做法。

为什么是 256 bin?bin 太少(比如 32)量化误差大;bin 太多(比如 4096)每个 bin 分到的训练样本太少,学不出好分布。256 也是 282^8,对应一个字节,工程上方便。对 30cm 位移,256 bin 意味着大约 1.2mm 精度——抓放够用,精密装配不够。

5. 训练细节​

模型学习率批大小训练步数机器人数据占比
PaLI-X-55B1e-3204880K~50%
PaLI-X-5B1e-32048270K~50%
PaLM-E-12B4e-45121M~66%

机器人训练数据是 RT-1 采的那 13 万条轨迹,没有采新数据。RT-2 的贡献在模型侧,不在数据侧。

55B 只训 80K 步而 5B 训 270K 步,是因为大模型每步梯度信号更充分,学得更快;训太久还会过拟合机器人数据、损失 VQA 能力。步数是靠监控 VQA 基准(VQAv2、OK-VQA)不下降选的。

推断速度:55B 模型 1–3 Hz(云端 TPU),5B 模型约 5 Hz。全部云端部署,机器人本地通过网络调用。慢的原因是自回归生成 8 个动作 token 需要 8 次完整前向,每次前向对 55B 参数意味着几百 GB 显存读写,即便 TPU pod 也压不到 100ms 以下。这个延迟对慢速厨房任务够用,对 ALOHA 那种 50Hz 高频闭环完全不行。

6. 实验结果​

评估规模约 6000 条真实机器人轨迹,含 200+ 已见指令和 280+ 未见指令。

已见/未见任务:

模型已见任务未见任务
RT-192%32%
MOO75%35%
RT-2-PaLI-X-55B91%62%
RT-2-PaLM-E-12B93%62%

已见任务上 RT-2 并没有超过 RT-1(91% vs 92%)——大模型带来的收益完全体现在未见任务上(62% vs 32%)。已见任务的天花板受硬件和数据噪声限制,扩大模型压不下去。规模真正解锁的是分布外泛化。

涌现能力(Emergent Tasks):完全没在机器人训练数据里出现过的指令。

模型符号理解推理人物识别平均
RT-116%16%20%17%
RT-2-PaLI-X-55B82%46%53%60%

论文里的具体例子:

  • "把物体放到数字 3 上"——地上贴了数字 1–9 的贴纸,训练数据里没有数字识别加空间定位的组合,RT-2 能正确定位
  • "我很疲劳,应该拿哪个饮料?"——桌上有可乐、水、雪碧、红牛,RT-2 拿了红牛
  • "用什么工具像锤子一样敲?"——桌上有石头、纸、锤子,锤子被遮挡时 RT-2 选石头

这些能力没有对应的机器人训练样本,是从预训练的互联网知识里迁移过来的。

规模和协同微调消融(未见任务):

规模训练策略成功率
5B从头训练9%
5B协同微调44%
55B仅微调(无 VLM 任务)52%
55B协同微调63%

三个对照分别告诉我们不同变量的贡献:从头训到微调 +35 分(预训练权重的价值),5B 到 55B 的协同微调 +19 分(规模和协同微调合起来的贡献),55B 上加不加 VLM 任务 +11 分(协同微调本身的贡献)。规模和协同微调各自都有独立作用。

7. Chain-of-Thought​

RT-2 支持在动作 token 前先输出一段自然语言规划:

指令:给我一个可以敲钉子的东西
规划:桌上有石头和纸巾。石头硬可以敲。我应该拿石头。
动作:1 132 88 200 5 100 128

训练方式是用现成的 VLM(PaLM)给机器人训练数据自动生成中间推理步骤,然后把 指令 + 规划 + 动作 拼起来当新样本,不需要人工标注。复杂多步任务上有小幅提升,但论文自己说这种推理还比较初级,真正的多步规划要等到后来的 π0.5、GR-2。

8. 局限​

推断延迟是最大问题。1–3 Hz 无法用于需要快速反馈的动态任务(RT-1 本地能到 3–15 Hz)。所有评估都在 Google 内部特定双臂机器人上,跨平台迁移没验证。256 bin 加上没有力控制,对亚毫米级精细操作不够。更麻烦的是规模代价高、不开源、不能二次微调——这三点直接催生了 OpenVLA。

9. RT-2 在 VLA 家谱里的位置​

往前看,RT-2 继承了 RT-1 的离散 token + 端到端 Transformer 思路;往后看,后续 VLA 工作大多是在回答 RT-2 留下的问题:

  • OpenVLA:7B 开源版本,砍规模保留思路
  • π0:换掉离散 token,用流匹配连续输出
  • Octo:93M 小模型,扩散动作头
  • π0-FAST:保留离散 token 但用 DCT 频域压缩
  • LAPA:用潜动作代替显式离散化

都是在处理"55B 太贵、不开源、精度不够"这几个问题。