跳到主要内容

Gemini Robotics:把 Gemini 直接当机器人模型

技术报告:Gemini Robotics: Bringing AI into the Physical World(Google DeepMind,2025)。Gemini Robotics 是 Google 在 Gemini 2.0 之上做的机器人化版本。跟前面的 RT-2、π0、GR-2 都不一样:它不是从头设计一个机器人专用架构,而是直接在 Gemini 2.0 的权重上微调,让通用多模态模型学会输出机器人动作。这个做法的赌注是:足够大的通用多模态模型本身就是一个更好的机器人骨干,专用架构反而是限制。

1. Google 的思路演化​

从 RT-1 到 Gemini Robotics,Google 在这条路上的思路一直在变:

模型骨干机器人化方式
RT-1 (2022)35M 从零训全新设计
RT-2 (2023)PaLI-X 55BVLM 加动作 token(协同微调)
RT-2-X (2023)PaLI-X 55B加 Open X-Embodiment
Gemini Robotics (2025)Gemini 2.0直接微调,无架构改动

思路上的变化是"专用度越来越低"。RT-1 是完全为机器人设计的架构;RT-2 是把 VLM 稍作改动接机器人动作 token;Gemini Robotics 甚至不改架构,直接微调。

背后的假设是:Gemini 2.0 这种前沿多模态模型已经有很强的视觉理解和空间推理能力,专用的机器人架构(比如加深度分支、加动作专家)反而限制了这些能力的发挥。只要把动作输出接上去就行。

2. Gemini Robotics 家族​

技术报告里有两个模型:

Gemini Robotics-ER(Embodied Reasoning):只做视觉-语言推理,不直接输出动作。可以回答"这个杯子应该抓住哪里"、"这个物体有多远"这类具身推理问题。是纯推理层,输出自然语言或结构化对象引用(比如 3D 点坐标)。

Gemini Robotics(VLA 版本):在 ER 基础上加动作输出,端到端做机器人控制。

两者的关系是:ER 是"能理解物理世界的 VLM",VLA 版本是"能理解并操作物理世界"。作者的观点是ER 能力是 VLA 能力的必要条件——如果模型连"杯子的把手在哪个方向"都答不对,让它输出抓取动作也没意义。

3. Gemini Robotics-ER 的能力​

ER 版本没有动作输出,但能做几件传统 VLM 做不好的事:

  • 2D 关键点定位:给一张图和"把水杯的把手指出来",输出图像上的像素坐标
  • 3D 边界框:给一张单目 RGB 图,输出场景里所有物体的 3D 边界框(相机坐标系下 x,y,zx, y, z 加尺寸)
  • 抓取姿态:给一个物体,输出建议的抓取位置和姿态角度
  • 多步规划:给复杂指令,输出分步骤的自然语言计划

这些能力是靠在 Gemini 2.0 上做具身推理数据微调得到的。数据来源没有完全披露,但包含大量带 3D 标注的操作场景。ER 是纯推理,不需要机器人硬件,可以先大规模训练,再拿来接动作头。

4. Gemini Robotics VLA 版本​

VLA 版本在 ER 基础上加动作输出。动作表示细节没有完全公开,从报告看是连续动作输出(可能是流匹配或扩散头),不是离散 token。这跟 π0、CogACT 一致,跟 RT-2 那种离散 token 不同。

推断上有两阶段:

  • 云端 Gemini Robotics-ER:跑在服务器上,负责高层规划和场景理解
  • 本地策略头:接收 ER 输出的规划信息,在机器人本地跑动作生成

这种"云端大脑 + 本地小脑"的两层架构是为了平衡能力和延迟:ER 层强大但慢,本地层快但只需要执行 ER 给出的短期计划。这个设计跟 π0.5 后来的架构思路很像。

5. 泛化能力​

技术报告的重点是泛化——Google 反复强调 Gemini Robotics 在三个维度上的能力:

  • 视觉泛化:光照变化、背景变化、干扰物、物体外观变化
  • 指令泛化:改写指令("pick up the apple" vs "grab that red fruit")都能理解
  • 动作泛化:新的物体空间配置、新的抓取姿态需求

技术报告里给了大量定性视频。定量数据相对比较少,但作者给了一个总体成功率范围:Gemini Robotics 在新场景/新物体的组合上大约达到 50–70%,比 RT-2 的 20–40% 提升明显。

灵活操作方面报告展示了几个复杂任务:

  • 折纸鹤(多步、需要精确姿态)
  • 打扑克(识别牌面 + 精细分牌)
  • 装篮球(协调双手 + 目标定位)

这些任务对模型的具身推理能力要求很高——不只是"抓这个物体",还要理解物体的物理属性和交互方式。

6. Gemini Robotics On-Device​

一个后续版本是 Gemini Robotics On-Device,主打端侧部署:全部在机器人本地运行,不依赖云端。参数量小很多(未公开具体数字,估计 1B 量级),能力比云端版本弱,但延迟更低、隐私更好、断网也能用。

这个版本对应的定位是:云端版本用来做研究、验证能力上限;端侧版本用来实际部署。两个版本并行开发。

7. 局限和未披露的信息​

Gemini Robotics 的技术报告偏 marketing 风格,缺很多技术细节:

  • 动作头架构:报告没说是扩散、流匹配还是什么。只说"connectionist"(连接主义式的)
  • 训练数据:完全没公开数据规模、来源、混合比例
  • 模型规模:Gemini 2.0 家族有 Nano、Flash、Pro 多个尺寸,Gemini Robotics 用的是哪个也没明确
  • 消融:几乎没有做技术消融,只报告最终能力

这些缺失让独立复现基本不可能,也很难对比 Gemini Robotics 和其他 VLA。学术界目前只能作为一个"存在证明"来看——大厂能训出这个水平的 VLA,但具体怎么训的还是黑盒。

API 访问:Google 提供了 Gemini Robotics 的有限 API,可以调用 ER 版本做具身推理。VLA 版本目前只在合作机器人公司(Boston Dynamics、Apptronik)内部使用。

8. 意义​

Gemini Robotics 在 VLA 家谱里代表的方向是**"通用性优先"**:不为机器人做专门设计,直接用最强的通用模型。这跟 π0、Octo 这种"专门为机器人设计的架构"是不同哲学。

这两条路各有优势。通用路线的好处是能借力通用模型的持续进步(Gemini 3 出来就直接换);专用路线的好处是可以针对机器人特性做优化,效率更高。目前谁也没赢——两条路都还在演化。

从工程角度看,Gemini Robotics 也重新提出了一个问题:如果 Gemini 3 / GPT-5 出来后视觉理解和空间推理再上一个台阶,机器人策略架构会不会大幅简化? 这个问题的答案两三年内会揭晓。