DiT4DiT
论文:DiT4DiT: Jointly Modeling Video Dynamics and Actions for Generalizable Robot Control,Mondo Robotics + HKUST(GZ)/HKUST,2026 年 3 月。代码和项目页在 dit4dit.github.io。
1. 先说结论
DiT4DiT 是 Video-Action Model 这条线的起点,也是 MotionWAM 的直接技术前身——同一批作者,同一套 dual-DiT + tri-timestep 骨架。它第一次系统性地证明了:视频 DiT 中间层的 denoise 特征,可以当作比 VLM 图文特征更好的策略条件。
LIBERO 平均 98.6%,RoboCasa GR1 50.8%,训练数据比很多 baseline 少一截。Unitree G1 真机上零样本泛化也更强。样本效率提升 10 倍以上,收敛快 7 倍。单卡 A100 上 6 Hz、2.2B 参数,比 GR00T-N1.5(2.7B,13 Hz)小但任务表现更好。
跟 Cosmos Policy 比,DiT4DiT 走的是另一条路:不迭代 denoise 完整未来视频,只读中间 hidden state。频率差一个数量级(6 Hz vs 0.7 Hz),但 RoboCasa 数字略低——两边 setting 不完全一样,不能简单下结论说 hook 一定更差。
2. 问题表述:先预测视频动力学,再反推动作
VLA 学的是直接映射 。DiT4DiT 换成 predict-then-invert:
从 Video DiT 的 velocity network 里截 hidden state, 是未来帧在 flow 步 的中间状态。训练目标是联合分布 。
VLA 的表征来自静态 image-text 预训练,物理动力学全靠有限的 action 数据硬学。视频生成模型反过来,已经在互联网规模数据里编码了时 空结构和隐式物理。DiT4DiT 要做的就是把这个 prior 接到动作预测上,而且是 end-to-end 联合训练,不是多阶段先训 video 再训 action head。
3. 视频生成是 scaling proxy 吗?
在搭完整框架之前,作者先做了一个 proxy objective 对照实验,我觉得这一步很关键。在 RoboCasa-GR1 的 24 个 tabletop 任务上,用同样 2B 规模的 backbone,比较三种自监督预训练信号:
| Proxy 任务 | Backbone | 核心思路 |
|---|---|---|
| Grounding | Qwen3-2B | 物体检测辅助头,学"什么在哪" |
| FLARE-style | Qwen3-2B | VLM query 对齐未来帧 latent |
| Video generation | Cosmos-Predict2.5-2B | 直接学未来帧 flow matching |
三种 setting 都是:预训练 backbone 冻结,只训 action expert。结果是 video generation 收敛最快(最高 7 倍)、样本效率最高(最高 10 倍),最终成功率也最好。Grounding 和 FLARE 那种语义对齐路线,在连续像素级物理动力学上明显吃亏。
这个实验给我的直觉是:robot policy scaling 的瓶颈不一定是 action 标注量,而是 visual dynamics 有没有被预训练喂饱。DiT4DiT 后面的架构设计,基本就是在这个结论上长出来的。
4. Dual-DiT 架构
Video DiT:Cosmos-Predict2.5-2B 初始化(causal video VAE + flow-matching DiT,语言条件来自 Cosmos-Reason1)。观测 和未来帧