跳到主要内容

HumanoidBench:人形全身控制的高维 RL 基准

论文:HumanoidBench: Simulated Humanoid Benchmark for Whole-Body Locomotion and Manipulation(Sferrazza 等,RSS 2024)。这是首个系统性覆盖全身运动 + 灵巧操作的仿真人形基准,用统一的 Unitree H1 + Shadow Hand 平台承载了 31 个任务,把 locomotion 社区和 manipulation 社区拉到同一张评测表上。本文按机器人配置、任务分类、层次接口、基线结果、后续影响与已知限制展开。

1. 为什么需要​

过去几年,人形(humanoid)领域的强化学习 benchmark 存在明显割裂:

  • Locomotion 端:DeepMind Control Suite 的 Humanoid-v4、humanoid_CMU、Isaac Gym 的 H1/G1 walking,只考察站立、行走、奔跑等下肢周期步态,上肢往往被固定或简化为 stick arms。
  • Manipulation 端:Meta-World、RLBench、ManiSkill 假设一个固定底座 + 单臂 + 简单 gripper,机器人本体不需要维持平衡,忽略了动量耦合。
  • Loco-manip 空白:真实人形任务(抱箱走路、上台阶开门、翻越栏杆再按按钮)需要同时处理平衡和末端接触,缺乏统一 benchmark 意味着方法难以横向比较。

HumanoidBench 的设计动机就是补上这个空白:一个机器人(H1 全尺寸 + 双 Shadow Hand)、一个物理引擎(MuJoCo MJX)、一套观测/奖励接口,覆盖从纯 locomotion 到纯 dexterous manipulation 的全谱系。

2. 机器人与观测​

平台选用宇树 Unitree H1(1.8 m、约 47 kg),并在两只手腕上安装了 Shadow Dexterous Hand:

部件DoF说明
H1 下肢10左右各 5:hip yaw/roll/pitch、knee、ankle
H1 躯干1waist yaw
H1 上肢8左右各 4:shoulder pitch/roll/yaw、elbow
Shadow Hand ×224 × 2 = 48(含耦合)每只 20 主动 DoF + 4 被动,论文按 24 计
合计~51也提供简化 gripper 版(无 Shadow Hand,约 19 DoF)以降低门槛

观测接口:

通道维度 / 形态是否默认开启
Proprioception关节位置/速度、根节点姿态与线角速度是
Task state目标位置、物体位姿、地形高度等视任务
Egocentric RGB头部相机 64×64 或 128×128可选(visual variant)
Touch / tactileShadow Hand 指尖接触力可选

动作空间为关节 PD 目标(torque 或 position 模式);控制频率 50 Hz,物理 500 Hz。

3. 任务清单​

共 31 个任务,分成 loco 和 manipulation 两大族。奖励均为 dense,成功率使用统一的 success 判据。

3.1 Locomotion(14 个)​

ID任务核心难点
walk平地行走到目标速度基础步态
run高速奔跑动量控制
stand站立不倒平衡
sit坐到椅子上接触过渡
stair上下楼梯落脚点规划
slide斜坡下滑摩擦利用
crawl低矮隧道爬行姿态受限
maze迷宫导航高层规划
pole抓竿保持平衡双手闭链
hurdle跨越栏杆跳跃时机
balance_simple平衡木缓慢通过侧向稳定
balance_hard平衡木快速通过高精度落脚
reach头顶目标 reach全身协同
stand_up从地面站起大范围姿态切换

3.2 Manipulation(17 个)​

ID任务核心难点
push单手推箱力/位置切换
cabinet开柜门长时接触
cube双手立方体重定向灵巧 in-hand
door开推拉门抓握 + 全身位移
basketball投篮弹道控制
window擦玻璃平面轨迹跟踪
spoon舀勺子液体/颗粒(软接触)
kitchen微波炉/水龙头组合多子任务
package抱箱走loco + manip 耦合
powerlift举杠铃大负载全身
truck搬运到卡车长距离 loco-manip
bookshelf_simple单本上架精细定位
bookshelf_hard复杂上架干扰物
insert_small小件插孔高精度
insert_normal常规插孔中等精度
highbar_simple单杠悬垂抓握持续
highbar_hard单杠翻上动力学切换

4. 层次策略接口​

HumanoidBench 显式提供了一套 hierarchical control API,鼓励把 loco 和 task decision 解耦:

  • 低层控制器:预训练的 walking / reaching 策略,输入根节点/末端目标,输出关节 PD 目标。论文提供了基于 DreamerV3 训练的 low_level_walker 和 low_level_reacher checkpoint。
  • 高层任务策略:只需输出末端目标或行走方向,动作维度从 51 降到 ~6,显著缓解探索难度。
  • 接口:环境暴露 low_level_action_space(joint)与 high_level_action_space(cartesian),研究者可自由切换以研究 hierarchical RL、skill reuse、options framework。

这一设计使得后续 skill-based RL(如 HSD、H-GAP)能直接在同一环境上做公平比较。

5. 基线​

作者用统一超参跑了四类主流算法(1e7 步,5 seed):

算法Locomotion 平均成功率Manipulation 平均成功率
PPO0.280.05
SAC0.410.09
TD30.350.08
DreamerV30.630.11

关键结论:

  1. DreamerV3 在 loco 上碾压:world-model based 方法对高维 proprio 观测明显更 sample-efficient,walk / run / stand 均能收敛到 >0.9 success。
  2. Manipulation 全体崩溃:所有 baseline 在 17 个 manip 任务上平均成功率都低于 20%,尤其是 cube in-hand reorientation、insert_small、highbar_hard 长期为 0。作者据此指出 dexterous whole-body 仍是 open problem。
  3. 层次接口能救命:使用预训练 low-level walker 后,package、truck 等 loco-manip 任务成功率提升 3-5 倍,但仍未达 50%。

6. 影响​

发布不到一年,HumanoidBench 已成为人形 RL 的默认试金石,后续代表性工作包括:

工作使用方式
ASAP (Guo et al., 2024)基于 HumanoidBench 环境做 residual policy learning,实现 sim2real
Embrace Collisions (He et al., 2024)复用 H1 + Shadow Hand 模型做 whole-body contact-rich manip
H2O / OmniH2O (He et al., 2024)拿 HumanoidBench 的 loco 子集当预训练场,再迁移到 teleop
HumanPlus (Fu et al., 2024)用 HumanoidBench 的评测协议对比 shadowing policy
HOVER, ExBody2 等在派生环境上做多任务 whole-body tracking

社区已经形成了默认对比模式:新算法先在 HumanoidBench 的 loco 子集上跑通,再讨论 manip 子集或 sim2real 扩展。

7. 限制​

尽管应用广泛,HumanoidBench 仍有明确边界:

  • 单一物理引擎:只支持 MuJoCo MJX,无 IsaacLab / Genesis 版本,GPU 并行度不如 Isaac 系。
  • 接触保真度:MuJoCo 软接触模型对 Shadow Hand 指尖-物体交互仍偏理想化,缺少接触噪声与摩擦漂移。
  • Shadow Hand sim-to-real gap:实机 Shadow Hand 的腱驱耦合、迟滞、传感噪声在仿真中未建模;策略迁移到真机需要显著 domain randomization。
  • 无视觉真实感:egocentric RGB 使用默认 MuJoCo 渲染,无 PBR / ray tracing,视觉策略难以直接迁移。
  • 奖励工程重:31 个任务均使用手工 dense reward,尚不适合评测 reward-free / language-conditioned 方法(尽管后续工作已在补齐)。
  • 单机器人绑定:所有任务只在 H1 上定义,缺少 G1 / Digit / Atlas 等异构对比,morphology transfer 研究需要自行迁移。

即便如此,HumanoidBench 依然是当前唯一同时覆盖 whole-body loco 和 dexterous manip 的公开人形 RL benchmark,是 2024 年之后人形 RL 论文几乎绕不开的一站。