跳到主要内容

HPT:跨体型异构预训练

论文:Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-training(Lirui Wang 等,MIT,NeurIPS 2024)。HPT 处理的是形态异构性(morphology heterogeneity)问题:不同机器人的关节数、传感器类型、动作空间完全不兼容,直接联合训练根本无法对齐。HPT 的做法是 Trunk-Stem-Head 三段架构——Stem 把异构输入压缩成统一的 16 个 token,Trunk 在这个统一表征上做大规模预训练,Head 负责各自机器人的动作输出。跟 RDT 的"128 维稀疏统一动作空间"是解决同一个问题的另一条路。

1. 跨体型预训练难在哪​

现有方法要么单体型从头训练,要么用浅层的多任务学习。难点在于:

  • WidowX 有 6 个关节,Franka 有 7 个,移动机械臂有 16+ 个
  • 视觉输入通道数、分辨率各不相同
  • 动作空间维度从 4D 到 18D 不等

如果简单拼接输入、共用一个 Transformer,不同维度的数据无法对齐,训练信号会互相干扰。你可以为每个平台各留一份权重,但那样就没有跨体型迁移了。HPT 要解决的是既能共享大部分权重,又不让维度差异污染训练信号。

2. Trunk-Stem-Head 架构​

Stem(体型专用编码器):每种模态都有一个独立的 Stem,负责把异构输入压缩为固定长度的 16 个 token,无论输入维度多大:

  • 本体感知 Stem:MLP → 正弦位置编码 → 交叉注意力 → 16 token
  • 视觉 Stem:冻结 ResNet-18(7×77 \times 7 空间特征)→ 交叉注意力 → 16 token
  • 语言(T5):投影 → 8 token

16 token 是这里的关键选择。作者做过消融,token 数太多(比如 64)Trunk 就学不到跨体型的通用表征——因为每种体型的原始信息都能透传过去;太少(比如 4)表达能力不够。16 是经验上的 sweet spot。

Trunk(共享 Transformer):处理拼接后的 token 序列,对任务和体型都无感知。五种规模:

规模深度宽度注意力头参数量
Small1612883.1M
Base16256812.6M
Large16512850.5M
XLarge3276816226.8M
Huge801024161.1B

Head(体型专用动作解码器):把 Trunk 输出映射到目标机器人的动作空间。

Stem 和 Head 每个体型有自己的一套,Trunk 是共享的。这样跨体型预训练学到的是 Trunk 里的通用表征,微调到新体型只需要重新训 Stem 和 Head。

3. 预训练数据​

默认设置:27 个数据集,16K 条轨迹,批大小 256。 扩展设置:52 个数据集,约 27 万条轨迹,1.55 亿样本,批大小 2048。

数据来源:

  • 41 个来自 Open X-Embodiment(Bridge、DROID、BC-Z、RoboNet、Language Table 等)
  • 7 个仿真数据集(Drake、MuJoCo、Isaac Sim、PyBullet、Sapien、Flex)
  • 3 个人类操作视频(EPIC-Kitchen、PoCo Hammer/Spatula)
  • 1 个部署机器人数据集(FrodoBot-2K)

预训练目标:行为克隆的 Huber Loss(δ=0.1\delta=0.1)。优化器 AdamW,权重衰减 0.05,基础学习率 2e-4,余弦调度。

4. 微调:只训 3MB​

微调时 Trunk 冻结,只重新初始化并训 Stem 和 Head,约 3MB 参数。单体型从头训练基线要 100M+ 参数。

微调超参:学习率 5e-6,批大小 256,2 万步。推断速度:HPT-Base 在 RTX 3070 上 47 Hz,HPT-XLarge 19 Hz。

5. 实验结果​

真实机器人 Sweep Leftover 任务:

方法成功率
从头训练43.3 ± 3.8%
VC-1(视觉预训练)53.3 ± 2.6%
无本体感知微调63.3 ± 2.6%
HPT-Base 微调70.0 ± 3.0%
HPT-XLarge 微调76.7 ± 3.3%

仿真基准(Meta-World、RoboMimic、Fleet-Tools)和 Google EDR 任务上,HPT 预训练相比 Octo、RT1-X、RT2-X 一致领先 20+ 分。

Scaling 观察:数据、模型规模、计算量必须一起增长。只扩大模型不增加数据会很快饱和。作者报告的曲线是模型从 1M 到 1B 参数,数据集 token 从 3200 万到 50 亿,FLOPs 从 0.03 到 31 GFLOPs——三者同步扩大才能拿到持续收益。

6. 跟同期工作的对比​

维度HPTOctoRT-2RDT
核心贡献跨体型对齐架构开源通用策略VLM 协同微调双臂扩散基础模型
本体感知与视觉联合预训练事后拼接基本无128 维稀疏空间
每模态 token 数16256—自适应
微调成本~3MB 参数全量不可微调部分参数
最大规模1.1B93M55B1.2B

HPT 和 RDT 都在处理跨机器人对齐问题,但选了不同的技术路径:HPT 靠"用固定 token 数压缩到统一表征",RDT 靠"用统一的物理可解释稀疏动作空间"。前者依赖 Stem 学到好的压缩,后者依赖 mask 显式管理稀疏性。

代码和预训练权重见 liruiw/hpt。