π0-FAST:用 DCT 把动作压成 Token
论文:FAST: Efficient Action Tokenization for Vision-Language-Action Models(Physical Intelligence,2025)。这篇的问题是:π0 用流匹配做连续动作输出效果很好,但流匹配不能直接接在自回归 VLM 的输出端——训练时需要单独的动作专家网络,改动比较大。有没有办法让 VLM 保持自回归 token 输出的形式,但输出的 token 又能表达高频精细动作?RT-2、OpenVLA 用 256 bin 离散化的老路子对高频数据(比如 50Hz 的双臂协调)失败了。FAST 用一套基于 DCT 的动作 tokenizer 把动作块压缩成少数几个 token,让自回归 VLA 也能做到 π0 一样的高频控制。
1. 简单离散化为什么在高频数据上不行
先看简单做法有什么毛病。假设一个动作块有 50 步(1 秒 @ 50Hz),每步 7 维(6-DOF 机械臂加夹爪)。RT-2 的做法是每一维每一步独立离散化到 256 bin,一个动作块就是 个整数 token。
第一个问题是 token 太多。VLA 自回归生成 350 个 token,每个 token 一次前向,在 7B 模型上要几秒钟——完全没法做实时控制。
第二个问题更麻烦:高频数据里相邻步的动作差别很小。50Hz 下机械臂 1 帧的位移可能只有 0.5mm,远小于 256 bin 的量化步长 1.2mm。结果就是相邻的动作 token 大部分完全一样,模型学到的其实是"复制上一步",一点信息都没编码进去。
第三个问题是训练信号稀疏。350 个 token 里有信息的可能只有 10 个左右(动作真正变化的时刻),其余都是常数。交叉熵损失对这种极端不平衡不友好。
2. FAST 的做法
FAST 的思路来自信号处理:动作块作为时间序列有很强的平滑性,用离散余弦变换(DCT)到频域之后,能量集中在前几个低频系数上,高频系数大多接近零。压缩视频/JPEG 就是靠这个思路。
具体流程分三步:
1. 每维独立 DCT 2. 量化 + 稀疏化 3. BPE 压缩
[a_1, a_2, ..., a_50] → [c_1, c_2, ..., c_50] → [c_1, c_2, ..., c_10, 0, 0, ...] → BPE tokens
时域动作序列 DCT 频域系数 低频保留、高频截断 可变长 token 序列
第一步(DCT):对每一维动作独立做 DCT,得到 50 个频域系数。低频系数( 之类)编码整体趋势,高频系数编码细节抖动。
第二步(量化 + 稀疏化):用统一的标量量化器把系数离散化,同时把绝对值小于阈值的系数置零。这样一段 350 数的动作块变成一个稀疏整数序列——大部分是 0,只有少数低频位置有非零值。
第三步(BPE):把稀疏整数序列当成"文本",用字节对编码(BPE)学一个词表。BPE 会把常出现的整数组合(比如 [128, 130, 0, 0, 0, 0])合并成单个 token。最终一个 1 秒动作块压缩到 30–60 个 token,比原来的 350 少 5–10 倍。
关键选择:
- DCT 是可逆的,量化和稀疏化损失可控,重构误差约 0.5mm 量级,对多数操作任务够用
- BPE 的词表是从训练数据统计出来的,等于自适应地把"常见动作模式"用短 token 表达,罕见动作用长 token 表达
- 整个 tokenizer 是无参数的(DCT + 固定量化 + BPE 表),不需要联合训练,可以离线做完
3. 用 FAST 训练 π0-FAST
有了 FAST tokenizer 之后,训练 VLA 就简单了:
- 输入:图像 + 语言指令
- 输出:FAST token 序列,用标准自回归交叉熵训练
- 骨干:直接用 PaliGemma-3B(跟 π0 一样,但不需要单独的动作专家)
推断时生成 FAST token,用逆 DCT 恢复成动作块。
参数量:3B,比 π0 的 3.3B 略小(省掉了动作专家)。训练数据跟 π0 一样,约 1 万小时机器人示范。
推断速度上 π0-FAST 比 π0 稍快,因为只有一次自回归生成(π0 需要 10 步流匹配去噪)。7B 模型上大约能到 4 Hz,跟 π0 的 5 Hz 差不多但 token 更少。
4. 实验结果
开箱即用泛化(DROID 数据集微调后测试):
| 模型 | 平均成功率 |
|---|---|
| OpenVLA(256 bin 离散化) | 15% |
| π0(流匹配) | 62% |
| π0-FAST | 60% |
π0-FAST 拿到了跟 π0 差不多的成功率,同时保持了自回归 VLM 的结构。这是 FAST 的主要卖点:不换模型架构就能拿到流匹配级别的动作表达能力。
Token 效率对比(1 秒动作块):
| 方法 | Token 数 |
|---|---|
| 每维每步 256 bin | 350 |
| FAST(DCT + BPE) | 30–60 |
| 流匹配(连续,无 token) | 0 |
高频数据消融:把训练数据从 20Hz 上采样到 50Hz,然后训 VLA。
| 方法 | 20Hz | 50Hz |
|---|---|---|
| 简单离散化 | 45% | 12% |
| FAST | 47% | 44% |
简单离散化在 50Hz 上崩掉了(前面说的"相邻 token 全一样"),FAST 保持稳定。这是 FAST 相对简单离散化的核心优势。
5. 局限
DCT 假设动作在时间上是平滑的,对突然的接触事件(比如撞到物体产生的力反馈)建模不好。这类信号高频分量大,稀疏化会丢掉。
FAST tokenizer 是全局固定的,不能针对特定任务学表达。极端情况下(某个任务的动作分布跟训练集差别很大),tokenizer 的重构误差会显著上升。
BPE 词表大小是超参数,太小压缩率不够,太大 token 稀疏化训练信号又变差。作者的选择是 32K 词表,跟 GPT-2 差不多。
6. FAST vs 流匹配
同样是解决"离散 token 精度不够"的问题,π0 和 π0-FAST 走了两条路:
| 维度 | π0(流匹配) | π0-FAST |
|---|---|---|
| 动作表示 | 连续实数 | 离散 token(DCT + BPE) |
| 网络结构 | VLM + 独立动作专家 | 纯自回归 VLM |
| 推断 | 10 步流匹配去噪 | 一次自回归生成 |
| 与 VLM 集成 | 需要修改架构 | 完全兼容 |
| 训练稳定性 | 需要调 Beta 采样和噪声调度 | 交叉熵,稳定 |
流匹配精度稍高一些,FAST 工程上更简单。Physical Intelligence 官方推荐"研究新场景先用 FAST 跑基线,需要极致性能再上流匹配"。
代码见 Physical-Intelligence/openpi,FAST tokenizer 已经集成到 openpi 库里。