跳到主要内容

FastDriveVLA:自动驾驶 VLA 的 token 剪枝

论文:FastDriveVLA: Efficient End-to-End Driving via Plug-and-Play Reconstruction-based Token Pruning(Jiajun Cao 等,AAAI 2026)。FastDriveVLA 解决的是一个工程问题:把 VLA 用于自动驾驶时,单次推断需要处理 3249 个视觉 token,prefill 延迟 187ms,远超实时驾驶容忍上限。论文的贡献是 ReconPruner——一个插拔式的前景感知 token 剪枝模块,75% 剪枝率下把计算量降低 7.5 倍、延迟降低 3.7 倍,同时规划误差只增加 2.5%。

1. 驾驶场景里的 token 爆炸​

VLA 用于驾驶跟机械臂操作的输入结构不一样。驾驶场景输入分辨率高、多摄像头视角多,一个驾驶场景能生成 3249 个视觉 token。完整处理这些 token:

  • prefill 延迟:187ms(仅 token 预填充阶段)
  • 总 FLOPs:38.2 TFLOPs

187ms 已经超过大多数驾驶系统 100ms 的实时性要求。直接降分辨率会丢失行人、车辆等前景信息,现有 token 剪枝方法(基于视觉 token 相似度或视觉-文字注意力)在驾驶场景下效果差——原因是这些方法无法区分驾驶相关的前景(车辆、行人、路标)和背景(天空、远处风景)。剪掉的往往是重要 token。

2. ReconPruner:前景感知剪枝​

作者的观察是:人类驾驶时注意力集中在前景物体上。ReconPruner 用 MAE 风格的像素重建作为 token 重要性的代理指标,训练模型识别并保留含有前景信息的 token。

对抗重建策略:

  • ReconPruner 被训练为前景区域重建好、背景区域重建差
  • 对抗目标防止模型简单保留所有 token 走捷径
  • 强迫模型发展出前景敏感的评分机制

插拔式设计:

  • ReconPruner 集成到 VLA 的视觉编码器内部
  • 在一个 VLA 上训练完成后,可以无需重训练迁移到其他共享相同视觉编码器的 VLA
  • 对目标 VLA 的模型结构无侵入性修改

3. nuScenes-FG 数据集​

论文随代码发布了配套数据集 nuScenes-FG:

  • 24 万张图像-掩码对,来自 nuScenes 驾驶数据
  • 每张图像标注前景区域掩码(车辆、骑行者、行人、相关路面要素)
  • 专门为对抗重建目标构建,用于训练 ReconPruner 的前景敏感性

4. 速度与精度权衡​

在 Impromptu-VLA 基线(3249 token 输入)上测试不同剪枝率:

剪枝率剩余 tokenFLOPsPrefill 延迟L2 平均误差碰撞率
0%(基线)324938.2T187ms31.83cm0.24%
25%2436——31.80cm0.26%
50%1624——32.10cm0.25%
75%8125.1T51ms32.64cm0.29%

75% 剪枝的收益:

  • FLOPs 降低 7.5 倍(38.2T → 5.1T)
  • Prefill 延迟降低 3.7 倍(187ms → 51ms)
  • Decode 延迟降低 1.3 倍(23ms → 18ms)
  • L2 规划误差仅增加 2.5%(31.83cm → 32.64cm)
  • 碰撞率几乎持平(0.24% → 0.29%)

有意思的一点是 25% 剪枝时性能反而超过未剪枝基线——说明部分背景 token 对驾驶决策是噪声,主动过滤反而有帮助。

5. 跨 VLA 迁移​

ReconPruner 的插拔特性对部署很有意义:在一个 VLA 上训练的 ReconPruner,无需重训练就可以直接用于其他共享相同视觉编码器骨干的 VLA。这意味着:

  • 不需要为每个新模型重新采集 nuScenes-FG 风格的数据
  • 计算成本摊薄到多个下游 VLA
  • 随视觉编码器标准化(如 ViT 系列),适用范围自然扩大

6. 跟操作 VLA 的对比​

FastDriveVLA 和其他 VLA(ACT、π0 等)都属于 VLA,但工程约束完全不同:

维度操作 VLA驾驶 VLA
主要瓶颈动作精度、多模态分布推断延迟、实时性
视觉输入1–4 摄像头,低分辨率多摄像头,高分辨率,长序列
动作频率20–50 Hz10–20 Hz
关键技术动作分块、流匹配Token 剪枝、前景感知

前景感知 token 剪枝的思路理论上也可以用于操作 VLA——操作场景同样有大量背景信息,有效目标物体只占视野的一小部分。类似 OpenVLA-OFT 那种"改推断路径"的工作在操作侧已经有,视觉 token 剪枝可能是下一个方向。

7. 局限​

ReconPruner 的训练需要前景掩码标注(nuScenes-FG),对新场景或新摄像头配置仍需额外标注成本。75% 剪枝率下虽然数值指标下降不多,但对高速场景下的极端情况(突发变道、行人横穿)鲁棒性没有系统评估。论文测试平台限于 Impromptu-VLA,跨 VLA 迁移的实际效果只有定性描述。

代码和 nuScenes-FG 数据集随论文发布。