Gemini Robotics:把 Gemini 直接当机器人模型
技术报告:Gemini Robotics: Bringing AI into the Physical World(Google DeepMind,2025)。Gemini Robotics 是 Google 在 Gemini 2.0 之上做的机器人化版本。跟前面的 RT-2、π0、GR-2 都不一样:它不是从头设计一个机器人专用架构,而是直接在 Gemini 2.0 的权重上微调,让通用多模态模型学会输出机器人动作。这个做法的赌注是:足够大的通用多模态模型本身就是一个更好的机器人骨干,专用架构反而是限制。
1. Google 的思路演化
从 RT-1 到 Gemini Robotics,Google 在这条路上的思路一直在变:
| 模型 | 骨干 | 机器人化方式 |
|---|---|---|
| RT-1 (2022) | 35M 从零训 | 全新设计 |
| RT-2 (2023) | PaLI-X 55B | VLM 加动作 token(协同微调) |
| RT-2-X (2023) | PaLI-X 55B | 加 Open X-Embodiment |
| Gemini Robotics (2025) | Gemini 2.0 | 直接微调,无架构改动 |
思路上的变化是"专用度越来越低"。RT-1 是完全为机器人设计的架构;RT-2 是把 VLM 稍作改动接机器人动作 token;Gemini Robotics 甚至不改架构,直接微调。
背后的假设是:Gemini 2.0 这种前沿多模态模型已经有很强的视觉理解和空间推理能力,专用的机器人架构(比如加深度分支、加动作专家)反而限制了这些能力的发挥。只要把动作输出接上去就行。
2. Gemini Robotics 家族
技术报告里有两个模型:
Gemini Robotics-ER(Embodied Reasoning):只做视觉-语言推理,不直接输出动作。可以回答"这个杯子应该抓住哪里"、"这个物体有多远"这类具身推理问题。是纯推理层,输出自然语言或结构化对象引用(比如 3D 点坐标)。
Gemini Robotics(VLA 版本):在 ER 基础上加动作输出,端到端做机器人控制。
两者的关系是:ER 是"能理解物理世界的 VLM",VLA 版本是"能理解并操作物理世界"。作者的观点是ER 能力是 VLA 能力的必要条件——如果模型连"杯子的把手在哪个方向"都答不对,让它输出抓取动作也没意义。
3. Gemini Robotics-ER 的能力
ER 版本没有动作输出,但能做几件传统 VLM 做不好的事:
- 2D 关键点定位:给一张图和"把水杯的把手指出来",输出图像上的像素坐标
- 3D 边界框:给一张单目 RGB 图,输出场景里所有物体的 3D 边界框(相机坐标系下 加尺寸)
- 抓取姿态:给一个物体,输出建议的抓取位置和姿态角度
- 多步规划:给复杂指令,输出分步骤的自然语言计划
这些能力是靠在 Gemini 2.0 上做具身推理数据微调得到的。数据来源没有完全披露,但包含大量带 3D 标注的操作场景。ER 是纯推理,不需要机器人硬件,可以先大规模训练,再拿来接动作头。
4. Gemini Robotics VLA 版本
VLA 版本在 ER 基础上加动作输出。动作表示细节没有完全公开,从报告看是连续动作输出(可能是流匹配或扩散头),不是离散 token。这跟 π0、CogACT 一致,跟 RT-2 那种离散 token 不同。
推断上有两阶段:
- 云端 Gemini Robotics-ER:跑在服务器上,负责高层规划和场景理解
- 本地策略头:接收 ER 输出的规划信息,在机器人本地跑动作生成
这种"云端大脑 + 本地小脑"的两层架构是为了平衡能力和延迟:ER 层强大但慢,本地层快但只需要执行 ER 给出的短期计划。这个设计跟 π0.5 后来的架构思路很像。
5. 泛化能力
技术报告的重点是泛化——Google 反复强调 Gemini Robotics 在三个维度上的能力:
- 视觉泛化:光照变化、背景变化、干扰物、物体外观变化
- 指令泛化:改写指令("pick up the apple" vs "grab that red fruit")都能理解
- 动作泛化:新的物体空间配置、新的抓取姿态需求
技术报告里给了大量定性视频。定量数据相对比较少,但作者给了一个总体成功率范围:Gemini Robotics 在新场景/新物体的组合上大约达到 50–70%,比 RT-2 的 20–40% 提升明显。
灵活操作方面报告展示了几个复杂任务:
- 折纸鹤(多步、需要精确姿态)
- 打扑克(识别牌面 + 精细分牌)
- 装篮球(协调双手 + 目标定位)
这些任务对模型的具身推理能力要求很高——不只是"抓这个物体",还要理解物体的物理属性和交互方式。
6. Gemini Robotics On-Device
一个后续版本是 Gemini Robotics On-Device,主打端侧部署:全部在机器人本地运行,不依赖云端。参数量小很多(未公开具体数字,估计 1B 量级),能力比云端版本弱,但延迟更低、隐私更好、断网也能用。
这个版本对应的定位是:云端版本用来做研究、验证能力上限;端侧版本用来实际部署。两个版本并行开发。
7. 局限和未披露的信息
Gemini Robotics 的技术报告偏 marketing 风格,缺很多技术细节:
- 动作头架构:报告没说是扩散、流匹配还是什么。只说"connectionist"(连接主义式的)
- 训练数据:完全没公开数据规模、来源、混合比例
- 模型规模:Gemini 2.0 家族有 Nano、Flash、Pro 多个尺寸,Gemini Robotics 用的是哪个也没明确
- 消融:几乎没有做技术消融,只报告最终能力
这些缺失让独立复现基本不可能,也很难对比 Gemini Robotics 和其他 VLA。学术界目前只能作为一个"存在证明"来看——大厂能训出这个水平的 VLA,但具体怎么训的还是黑盒。
API 访问:Google 提供了 Gemini Robotics 的有限 API,可以调用 ER 版本做具身推理。VLA 版本目前只在合作机器人公司(Boston Dynamics、Apptronik)内部使用。
8. 意义
Gemini Robotics 在 VLA 家谱里代表的方向是**"通用性优先"**:不为机器人做专门设计,直接用最强的通用模型。这跟 π0、Octo 这种"专门为机器人设计的架构"是不同哲学。
这两条路各有优势。通用路线的好处是能借力通用模型的持续进步(Gemini 3 出来就直接换);专用路线的好处是可以针对机器人特性做优化,效率更高。目前谁也没赢——两 条路都还在演化。
从工程角度看,Gemini Robotics 也重新提出了一个问题:如果 Gemini 3 / GPT-5 出来后视觉理解和空间推理再上一个台阶,机器人策略架构会不会大幅简化? 这个问题的答案两三年内会揭晓。