GR00T N1:NVIDIA 的人形机器人基础模型
论文/技术报告:GR00T N1: An Open Foundation Model for Generalist Humanoid Robots(NVIDIA,2025)。GR00T N1 是 NVIDIA 项目 GR00T(Generalist Robot 00 Technology)的第一个公开模型。定位跟前面的 VLA 有几个明显不同:专门针对人形机器人(不是桌面机械臂)、双系统架构(快慢分离)、开源权重(NVIDIA 少见地放出了 2B 参数版本的权重)。
1. 为什么专门为人形做
人形机器人在动作空间上跟桌面机械臂有几个具体不同:
- 自由度多:完整人形有 30+ 自由度(两条 7-DOF 手臂、两条腿、腰、颈、手指),桌面机械臂通常 7-DOF
- 动作耦合强:走路时手臂摆动、上身平衡都要协调,不能像桌面机械臂那样独立控制每个关节
- 高频闭环:平衡控制要求 500Hz+ 反馈,比桌面操作快一个数量级
- 多模态传感:本体感知(IMU、力矩、关节编码器)的重要性比桌面场景大得多
针对这些特点,GR00T N1 做了两个关键设计选择:双系统架构和面向人形的动作表示。
2. 双系统架构
GR00T N1 的架构灵感来自 Kahneman 的《Thinking, Fast and Slow》:
- System 2(慢思考):VLM 骨干,负责视觉理解、语言指令解析、长期规划。频率约 10 Hz。
- System 1(快反应):扩散动作头, 负责生成具体动作块。频率约 120 Hz。
[图像 + 语言 + 本体感知]
↓
Eagle-2 VLM (System 2, 慢, 10Hz)
↓
Cognition Feature
↓
Diffusion Transformer (System 1, 快, 120Hz)
↓
动作块 (16 步 × N 维)
System 2 每 100ms 更新一次认知特征,System 1 拿着最新的认知特征以 120Hz 生成动作。这样 VLM 的高延迟被 System 1 的高频率掩盖——机器人本地控制可以持续以 120Hz 出动作,同时 VLM 慢慢地更新高层意图。
这个思路跟 CogACT 的"认知 + 动作"分离是类似的,但 GR00T N1 明确把两个系统按运行频率分开,而不只是按功能分开。理由是人形 控制对频率敏感,等 VLM 决策不现实。
3. Eagle-2 VLM
System 2 用的是 NVIDIA 自己的 Eagle-2 VLM。选择 Eagle 而不是 Llama、PaliGemma 的原因:Eagle 在多摄像头输入和高分辨率上有优化,适合机器人常见的多路视觉输入。
Eagle-2 的规模有多个版本,GR00T N1 用的是约 2B 参数的版本。视觉编码器是 SigLIP-So400M(约 400M),语言模型是 Qwen2-1.5B。
多摄像头处理:GR00T N1 训练时输入 3–4 路摄像头(头部两路 + 双腕)。Eagle-2 把每路摄像头独立编码后拼在一起作为视觉 token 序列。这跟 Octo 的多摄像头处理方式类似。
4. 动作扩散头
System 1 是一个 DiT(Diffusion Transformer)扩散头,约 300M 参数。跟 CogACT 和 RDT 用的都是类似结构,但 GR00T N1 有两个人形特有的适配:
动作维度自适应:人形机器人可能是不同厂家不同规格(Unitree H1 有 20 自由度,Apptronik Apollo 有 35 自由度)。GR00T N1 的动作头设计成动作维度可变:训练时输入一 个 mask 告诉模型当前平台的动作维度,模型只在那些维度上预测。这跟 RDT 的统一动作空间思路类似,但更灵活。
混合频率:不同关节可能需要不同控制频率。手指精细操作可能要 200Hz,腿部行走可能 500Hz。GR00T N1 的动作头输出的是归一化的关节速度,配合平台专用的低层控制器实现不同频率的执行。
5. 训练数据
GR00T N1 的数据是三层混合:
- 人形示范:NVIDIA 自采加合作伙伴(1X、Apptronik、Boston Dynamics)提供的人形机器人示范,约 5 万小时
- 桌面机器人示范:Open X-Embodiment 精选,约 100 万条
- 人类视频:Ego4D 加互联网操作视频,约 1000 万段(不含动作标签,只做视觉表征预训练)
三种数据的用途不同:
- 人形示范用来学人形特有的动作分布(双臂协调、上下身平衡)
- 桌面示范提供操作技能的广度和多样性
- 人类视频用来预训练视觉表征,扩大对物体和场景的覆盖
为什么要混三种数据? 单靠人形示范数据量不够(5 万小时听起来多,但覆盖任务窄);单靠桌面机器人形态不匹配;单靠人类视频没有动作标签。三种混合是数据量、形态匹配、动作监督三个维度的平衡。
6. 实验结果
仿真评估(NVIDIA 自家的 RoboCasa 环境)
GR00T N1 在 RoboCasa 的移动操作任务上:
| 方法 | 平均成功率 |
|---|---|
| 从零训(RoboCasa 数据) | 21% |
| OpenVLA(仅 OXE 微调) | 15% |
| GR00T N1(预训练 + 微调) | 62% |
跨平台预训练在 RoboCasa 移动操作上有 41 分收益。跟 OpenVLA 的差距主要是形态匹配——OpenVLA 是桌面机械臂训的,用在人形上表现不好。
真机(人形平台)
三个 NVIDIA 内部合作平台(未具名,估计是 1X NEO、Apptronik Apollo 类似的),任务包括抓取、双手协作、递交物体:
| 平台 | 已见任务 | 未见物体 |
|---|---|---|
| Platform A | 82% | 55% |
| Platform B | 75% | 48% |
| Platform C | 68% | 42% |
跨平台泛化(在 A 训后放到 B、C 上)成功率约 40–50%,说明预训练的表征在人形之间有一定迁移。但不是零样本工作——每个平台还是需要一些微调数据。
消融
| 配置 | RoboCasa 平均 |
|---|---|
| 无 System 2(仅扩散头) | 34% |
| 无 System 1(VLM 直接输出动作 token) | 41% |
| 完整双系统 | 62% |
拆开任一系统都掉分。双系统的价值不只是频率解耦,还有分工——System 2 专注理解,System 1 专注生成,两个都做各自的最优比一个网络硬要同时做两件事更好。
7. 开源
NVIDIA 放出了 GR00T N1 2B 版本的权重和 训练代码,这在大厂里比较少见。可以用来:
- 直接在人形平台上做零样本推断
- 用 LoRA 在自己的机器人上微调
- 作为基础模型接自定义动作头
不过训练数据没有完全公开,尤其是人形示范部分是 NVIDIA 内部资产。
8. 局限
GR00T N1 仍需要每个新平台上采数据微调才能有稳定表现,跨平台零样本能力有限。这是所有 VLA 的通病,但人形上因为形态差异大,问题更明显。
System 2 更新频率 10Hz 对某些任务偏低。如果场景快速变化(比如球被抛过来),10Hz 的 VLM 反应可能跟不上,只能靠 System 1 的短期预测。作者也讨论了这一点:目前的解法是让 System 1 的动作块比较长(1–2 秒),给 System 2 留足更新时间。
动作头是扩散,5 步 DDIM 推断在 A100 上约 8ms,虽然快但对 500Hz 平衡控制还是不够。GR00T N1 的解决方案是分层控制:策略层输出目标位姿,低层高频控制器(PID 或 Riccati)负责跟踪。这个分层是标准做法,但也意味着 GR00T N1 不是端到端的低层控制模型。
9. GR00T N1 在人形 VLA 谱系里的位置
人形机器人 VLA 是 2024 年后才开始的方向。目前公开的模型有:
- Helix(Figure AI):双系统架构,商业产品,不开源
- GR00T N1(NVIDIA):双系统 + 部分开源
- Isaac GR00T N1.5(NVIDIA):GR00T N1 的更新,多模态输入更丰富
- π0.5 的人形变体:Physical Intelligence 的人形工作
双系统架构(快慢分离)目前是这个方向的共识——单一大模型跑不到人形所需的频率。真正的差异在System 1 用什么(扩散/流匹配/RL 后处理)和System 2 用什么 VLM(Eagle、PaliGemma、Gemini)。
代码见 NVIDIA/Isaac-GR00T。