跳到主要内容

GR00T N1:NVIDIA 的人形机器人基础模型

论文/技术报告:GR00T N1: An Open Foundation Model for Generalist Humanoid Robots(NVIDIA,2025)。GR00T N1 是 NVIDIA 项目 GR00T(Generalist Robot 00 Technology)的第一个公开模型。定位跟前面的 VLA 有几个明显不同:专门针对人形机器人(不是桌面机械臂)、双系统架构(快慢分离)、开源权重(NVIDIA 少见地放出了 2B 参数版本的权重)。

1. 为什么专门为人形做​

人形机器人在动作空间上跟桌面机械臂有几个具体不同:

  • 自由度多:完整人形有 30+ 自由度(两条 7-DOF 手臂、两条腿、腰、颈、手指),桌面机械臂通常 7-DOF
  • 动作耦合强:走路时手臂摆动、上身平衡都要协调,不能像桌面机械臂那样独立控制每个关节
  • 高频闭环:平衡控制要求 500Hz+ 反馈,比桌面操作快一个数量级
  • 多模态传感:本体感知(IMU、力矩、关节编码器)的重要性比桌面场景大得多

针对这些特点,GR00T N1 做了两个关键设计选择:双系统架构和面向人形的动作表示。

2. 双系统架构​

GR00T N1 的架构灵感来自 Kahneman 的《Thinking, Fast and Slow》:

  • System 2(慢思考):VLM 骨干,负责视觉理解、语言指令解析、长期规划。频率约 10 Hz。
  • System 1(快反应):扩散动作头,负责生成具体动作块。频率约 120 Hz。
[图像 + 语言 + 本体感知]
↓
Eagle-2 VLM (System 2, 慢, 10Hz)
↓
Cognition Feature
↓
Diffusion Transformer (System 1, 快, 120Hz)
↓
动作块 (16 步 × N 维)

System 2 每 100ms 更新一次认知特征,System 1 拿着最新的认知特征以 120Hz 生成动作。这样 VLM 的高延迟被 System 1 的高频率掩盖——机器人本地控制可以持续以 120Hz 出动作,同时 VLM 慢慢地更新高层意图。

这个思路跟 CogACT 的"认知 + 动作"分离是类似的,但 GR00T N1 明确把两个系统按运行频率分开,而不只是按功能分开。理由是人形控制对频率敏感,等 VLM 决策不现实。

3. Eagle-2 VLM​

System 2 用的是 NVIDIA 自己的 Eagle-2 VLM。选择 Eagle 而不是 Llama、PaliGemma 的原因:Eagle 在多摄像头输入和高分辨率上有优化,适合机器人常见的多路视觉输入。

Eagle-2 的规模有多个版本,GR00T N1 用的是约 2B 参数的版本。视觉编码器是 SigLIP-So400M(约 400M),语言模型是 Qwen2-1.5B。

多摄像头处理:GR00T N1 训练时输入 3–4 路摄像头(头部两路 + 双腕)。Eagle-2 把每路摄像头独立编码后拼在一起作为视觉 token 序列。这跟 Octo 的多摄像头处理方式类似。

4. 动作扩散头​

System 1 是一个 DiT(Diffusion Transformer)扩散头,约 300M 参数。跟 CogACT 和 RDT 用的都是类似结构,但 GR00T N1 有两个人形特有的适配:

动作维度自适应:人形机器人可能是不同厂家不同规格(Unitree H1 有 20 自由度,Apptronik Apollo 有 35 自由度)。GR00T N1 的动作头设计成动作维度可变:训练时输入一个 mask 告诉模型当前平台的动作维度,模型只在那些维度上预测。这跟 RDT 的统一动作空间思路类似,但更灵活。

混合频率:不同关节可能需要不同控制频率。手指精细操作可能要 200Hz,腿部行走可能 500Hz。GR00T N1 的动作头输出的是归一化的关节速度,配合平台专用的低层控制器实现不同频率的执行。

5. 训练数据​

GR00T N1 的数据是三层混合:

  • 人形示范:NVIDIA 自采加合作伙伴(1X、Apptronik、Boston Dynamics)提供的人形机器人示范,约 5 万小时
  • 桌面机器人示范:Open X-Embodiment 精选,约 100 万条
  • 人类视频:Ego4D 加互联网操作视频,约 1000 万段(不含动作标签,只做视觉表征预训练)

三种数据的用途不同:

  • 人形示范用来学人形特有的动作分布(双臂协调、上下身平衡)
  • 桌面示范提供操作技能的广度和多样性
  • 人类视频用来预训练视觉表征,扩大对物体和场景的覆盖

为什么要混三种数据? 单靠人形示范数据量不够(5 万小时听起来多,但覆盖任务窄);单靠桌面机器人形态不匹配;单靠人类视频没有动作标签。三种混合是数据量、形态匹配、动作监督三个维度的平衡。

6. 实验结果​

仿真评估(NVIDIA 自家的 RoboCasa 环境)​

GR00T N1 在 RoboCasa 的移动操作任务上:

方法平均成功率
从零训(RoboCasa 数据)21%
OpenVLA(仅 OXE 微调)15%
GR00T N1(预训练 + 微调)62%

跨平台预训练在 RoboCasa 移动操作上有 41 分收益。跟 OpenVLA 的差距主要是形态匹配——OpenVLA 是桌面机械臂训的,用在人形上表现不好。

真机(人形平台)​

三个 NVIDIA 内部合作平台(未具名,估计是 1X NEO、Apptronik Apollo 类似的),任务包括抓取、双手协作、递交物体:

平台已见任务未见物体
Platform A82%55%
Platform B75%48%
Platform C68%42%

跨平台泛化(在 A 训后放到 B、C 上)成功率约 40–50%,说明预训练的表征在人形之间有一定迁移。但不是零样本工作——每个平台还是需要一些微调数据。

消融​

配置RoboCasa 平均
无 System 2(仅扩散头)34%
无 System 1(VLM 直接输出动作 token)41%
完整双系统62%

拆开任一系统都掉分。双系统的价值不只是频率解耦,还有分工——System 2 专注理解,System 1 专注生成,两个都做各自的最优比一个网络硬要同时做两件事更好。

7. 开源​

NVIDIA 放出了 GR00T N1 2B 版本的权重和 训练代码,这在大厂里比较少见。可以用来:

  • 直接在人形平台上做零样本推断
  • 用 LoRA 在自己的机器人上微调
  • 作为基础模型接自定义动作头

不过训练数据没有完全公开,尤其是人形示范部分是 NVIDIA 内部资产。

8. 局限​

GR00T N1 仍需要每个新平台上采数据微调才能有稳定表现,跨平台零样本能力有限。这是所有 VLA 的通病,但人形上因为形态差异大,问题更明显。

System 2 更新频率 10Hz 对某些任务偏低。如果场景快速变化(比如球被抛过来),10Hz 的 VLM 反应可能跟不上,只能靠 System 1 的短期预测。作者也讨论了这一点:目前的解法是让 System 1 的动作块比较长(1–2 秒),给 System 2 留足更新时间。

动作头是扩散,5 步 DDIM 推断在 A100 上约 8ms,虽然快但对 500Hz 平衡控制还是不够。GR00T N1 的解决方案是分层控制:策略层输出目标位姿,低层高频控制器(PID 或 Riccati)负责跟踪。这个分层是标准做法,但也意味着 GR00T N1 不是端到端的低层控制模型。

9. GR00T N1 在人形 VLA 谱系里的位置​

人形机器人 VLA 是 2024 年后才开始的方向。目前公开的模型有:

  • Helix(Figure AI):双系统架构,商业产品,不开源
  • GR00T N1(NVIDIA):双系统 + 部分开源
  • Isaac GR00T N1.5(NVIDIA):GR00T N1 的更新,多模态输入更丰富
  • π0.5 的人形变体:Physical Intelligence 的人形工作

双系统架构(快慢分离)目前是这个方向的共识——单一大模型跑不到人形所需的频率。真正的差异在System 1 用什么(扩散/流匹配/RL 后处理)和System 2 用什么 VLM(Eagle、PaliGemma、Gemini)。

代码见 NVIDIA/Isaac-GR00T。