跳到主要内容

RMA:让四足机器人几秒内适应新地形

论文:RMA: Rapid Motor Adaptation for Legged Robots(Kumar 等,UC Berkeley / CMU / FAIR,RSS 2021)。RMA 是 sim-to-real legged locomotion 的经典基线,也是后来 A1、Anymal、Unitree Go 系列真机部署几乎必用的架构模板。

1. 问题设定​

四足机器人在真实世界里要面对的"扰动"远远超出仿真训练时能预设的范围:

  • 地形:草地、沙地、泥泞、碎石、楼梯、冰面,摩擦系数 μ\mu 从 0.1 到 1.2 都可能出现;
  • 载荷:机器人自身可能被要求驮 5 kg 相机、10 kg 快递箱,重心位置与惯性矩阵会显著偏移;
  • 电机响应:不同批次电机的 gear ratio、电流限幅、温漂造成的 torque-to-command 关系并不一致;
  • 磨损:脚垫磨薄、齿轮回差、线束松动,都会让实际动力学与出厂标定漂移。

一个自然的思路是 domain randomization (DR):在仿真里把这些参数全部随机化,让 blind policy π(at∣ot)\pi(a_t | o_t) 学到"对所有可能物理量都平均次优"的行为。但 DR 的代价是保守——为了不摔倒,机器人在硬地上也会像走在冰上一样小步慢移。另一条路线是 online system identification,用力/力矩传感器、IMU 精确估计动力学参数,再喂给 controller。但高精度 F/T 传感器在四足机器人的每条腿上部署既贵又易坏。

RMA 想在两者之间找一个折中:训练时用 privileged information 学一个非保守的 expert,部署时用便宜的 proprioception 隐式做系统辨识。

2. 两阶段框架​

RMA 的核心是把策略拆成"base policy + adaptation module"两部分。

2.1 Phase 1:privileged base policy​

第一阶段在仿真中训练一个可以直接访问环境参数的策略:

at=π(ot,zt),zt=μ(et)a_t = \pi(o_t, z_t), \quad z_t = \mu(e_t)

其中:

符号含义维度(A1 实验)
oto_tproprioception:关节角、关节速度、机身姿态、上一步动作30
ete_tprivileged environment vector:摩擦系数、地面刚度、机身质量、质心偏移、电机 strength、外力扰动、脚下地形高度网格17
ztz_tenvironment latent(extrinsics)8
ata_t12 个关节的 target position(PD 控制的 setpoint)12

μ(⋅)\mu(\cdot) 是一个小型 MLP,把 ete_t 压缩成一个 8 维 latent;π(⋅,⋅)\pi(\cdot, \cdot) 是另一个 MLP,输出 target joint position,再由 1 kHz 的低层 PD 环路跟踪。整个模型端到端用 PPO 训练,环境是 Isaac Gym / RaiSim 中带地形生成器的批量仿真。

2.2 Phase 2:adaptation module​

第二阶段冻结 π\pi 与 μ\mu,只训练一个 adaptation module ϕ\phi:

z^t=ϕ(ot−k:t, at−k−1:t−1)\hat z_t = \phi(o_{t-k:t},\, a_{t-k-1:t-1})

ϕ\phi 把过去 kk 步的 proprioception 与动作历史(k=50k=50,对应 0.5 s)压回 8 维 latent。直觉是:不同的 ztz_t(比如"重载 + 高摩擦"vs"轻载 + 低摩擦")会让同一个 π\pi 输出的动作在物理世界产生不同的关节响应,因此过去 0.5 s 的 proprio-action 轨迹里已经蕴含足够的信号来反推 ztz_t。

ϕ\phi 的结构是 1D CNN(时间维卷积)+ MLP:先把 50×4250 \times 42 的历史压到 3232 维时间特征,再映射到 8 维。

3. 训练细节​

3.1 Phase 1:强化学习​

  • 算法:PPO,clip ϵ=0.2\epsilon = 0.2,GAE λ=0.95\lambda = 0.95。
  • 奖励(简化版):
rt=−wv∥vxcmd−vx∥2+wωrω+wairrair−wτ∥τ∥2−wsmooth∥at−at−1∥2r_t = -w_v \|v_x^{\text{cmd}} - v_x\|^2 + w_\omega r_\omega + w_\text{air} r_\text{air} - w_\tau \|\tau\|^2 - w_\text{smooth}\|a_t - a_{t-1}\|^2

包括线速度跟踪、角速度跟踪、脚部 airtime、能量惩罚、动作平滑。

  • 地形 curriculum:从平地 → 斜坡 → 台阶 → 离散障碍逐渐加难,每个地形有 10 级难度,只有成功率高于阈值才升级。
  • DR 范围:μ∈[0.05,4.5]\mu \in [0.05, 4.5]、机身质量 ±15%、质心偏移 ±10 cm、电机 strength 0.8–1.2、外部推力最大 60 N。

3.2 Phase 2:监督回归​

冻结 π,μ\pi, \mu,让第一阶段策略在同样的随机化仿真里 rollout,收集 (ot−k:t,at−k−1:t−1,zt)(o_{t-k:t}, a_{t-k-1:t-1}, z_t) 三元组,最小化:

L(ϕ)=E[ ∥ϕ(ot−k:t,at−k−1:t−1)−μ(et)∥22 ]\mathcal{L}(\phi) = \mathbb{E}\left[\, \|\phi(o_{t-k:t}, a_{t-k-1:t-1}) - \mu(e_t)\|_2^2 \,\right]

注意目标是 μ(et)\mu(e_t) 而不是 ete_t——RMA 只要求 ϕ\phi 输出的 latent 落在 base policy 期望的分布里,不要求它能显式恢复 friction、mass 等物理量。这一点在实践里非常重要:如果强行回归 ete_t,训练损失会被"不可观测"的分量(比如均质刚性地面下的摩擦系数在静止时基本不可辨识)拖住。

3.3 为什么不端到端​

一个自然的疑问:为什么不直接把 ot−k:to_{t-k:t} 喂给 policy 端到端 PPO?作者的解释是:

  1. credit assignment 更难:PPO 要同时学"如何走路"和"如何从历史中辨识环境",样本效率下降;
  2. latent 有语义:ztz_t 可视化后能看到清晰的 mass / friction 聚类(第 5 节),可作为下游高层规划输入;
  3. 模块化替换:Phase 2 可以在真机数据上继续微调,而不影响 base policy。

4. 部署​

真机上的推理拓扑:

proprio (1 kHz) ──┐
├──> phi (10 Hz) ──> z_hat ──┐
history buffer ───┘ ├──> pi (100 Hz) ──> a_t ──> PD (1 kHz) ──> motor
proprio (100 Hz) ───────────────────────────────┘

关键几点:

  • ϕ\phi 只需要 2–3 Hz 就够了——环境属性变化慢,latent 不必频繁刷新;作者实际用 10 Hz 保守估计。
  • π\pi 以 100 Hz 输出 joint target,底层 1 kHz PD 环路做力矩控制。
  • 不需要外部感知:没有相机、没有 LiDAR、没有 F/T 传感器,只有 IMU + joint encoder,成本 < 100 USD。
  • 收敛时间:从踩上新地形到 latent 稳定大约 1–2 秒,对应 100–200 个 proprio 样本。

5. 实验​

5.1 平台与场景​

Unitree A1(12-DoF、12 kg 机身),在以下环境测试:

场景描述难点
沙地松软、深 5 cm脚下陷、摩擦低
泥地湿黏、脚会粘住抬腿阻力大
楼梯台阶高 12 cm需要精确抬腿
草地 + payload载重 6 kg(50% 机身质量)重心抬高、惯性变化
斜坡15–25°摩擦不对称
塑料膜/油膜μ≈0.1\mu \approx 0.1打滑

5.2 主要结果​

在 A1 硬件上的成功率("走完 5 m 且不摔"):

方法沙地泥地楼梯Payload油膜
DR-only (blind π(ot)\pi(o_t))40%30%55%50%20%
Expert w/ μ(et)\mu(e_t)(假设知道真值)100%90%100%100%80%
System-ID baseline(在线拟合 mass/friction)60%50%70%60%30%
RMA90%80%95%90%70%

RMA 大幅缩小了 blind DR 与 privileged expert 之间的差距。

5.3 Latent 分析​

对 z^t\hat z_t 做 t-SNE,作者发现:

  • 相同 payload 但不同地形的样本沿一条"地形轴"排开;
  • 相同地形但不同 payload 的样本沿另一条正交轴排开;
  • Latent 与真实 ete_t 的部分分量呈单调关系(friction、mass 尤其明显),说明 ϕ\phi 在无监督约束下自发恢复了物理语义。

5.4 消融​

  • 历史长度 kk:k=1k=1 时几乎学不到 latent,k=50k=50 达到最佳,再长收益递减。
  • latent 维度:8 维接近饱和,2 维明显欠拟合,32 维过拟合到仿真特有的偏差。
  • 有无 Phase 2:直接用 π(ot,0)\pi(o_t, 0) 部署,性能退化到 DR-only。

6. 为什么后续工作离不开它​

RMA 之后,legged sim-to-real 领域几乎所有强 baseline 都沿用它的"privileged teacher + proprio student"骨架:

工作在 RMA 之上的扩展
Anymal RL (Rudin et al., CoRL 2021)用大规模并行仿真 + 类 RMA 结构,Anymal-C 平地/山地。
Extreme Parkour (Cheng et al., 2023)加入 depth camera + Transformer teacher,能跳箱子、跨断桥。
DreamWaQ (Nahrendra et al., 2023)把 ϕ\phi 换成 VAE,显式建模 latent 的不确定性。
Neural Volumetric Memory (Yang et al., 2023)把 proprio history 换成 voxelized visual memory,跨地形导航。
Unitree Go2 / H1 官方 policy内部 stack 明确借鉴 RMA 的两阶段训练。
HumanPlus / OmniH2O (2024)人形 whole-body 控制,teacher 用 mocap,student 用 proprio+vision。

可以说 RMA 定义了"Phase 1 学控制,Phase 2 学感知"的默认范式。

7. 局限​

  • 只回归 latent 均值:ϕ\phi 输出点估计,遇到"沙地突然变冰"这种 mode-switch,latent 需要几百毫秒才能追上,期间可能已经摔倒。DreamWaQ、EstimatorNet 用 VAE / ensemble 输出后验分布来缓解。
  • 依赖 privileged ete_t 的选取:ete_t 里没有的维度(比如脚垫磨损、绳索缠绕)在 ztz_t 里也不会出现,真机遇到时仍会失败。
  • 无视觉:纯 proprio 无法预判前方地形,只能"踩到才反应",做不了跨越大坑、跳台阶等前瞻性动作。Extreme Parkour 等工作靠加深度相机弥补。
  • base policy 冻结:Phase 2 无法修正 Phase 1 里学错的行为——如果 base policy 在某种 zz 下本就走不稳,改进 ϕ\phi 也救不回来。
  • 单步 MDP 假设:π(at∣ot,zt)\pi(a_t | o_t, z_t) 是 Markov 的,长期记忆(比如"我刚刚打滑过,得更保守")没有位置,需要靠 recurrent policy 或 world model 补齐。

尽管有这些局限,RMA 的两阶段范式简洁到几乎无法再简化,也因此成为 legged locomotion 领域最坚实的一块基石。任何做四足或人形 sim-to-real 的新工作,几乎都要先复现 RMA、再在它之上加东西。