V-JEPA:把 JEPA 搬进视频
论文:Revisiting Feature Prediction for Learning Visual Representations from Video(Meta FAIR,2024)。结论先行:V-JEPA 不是 I-JEPA 的简单 3D 扩展,masking 策略针对视频的时空冗余做了重新设计——学到的是运动、遮挡、物体持续性的抽象结构,ImageNet 上 frozen 表征的质量甚至超过在 ImageNet 上专门预训练的 I-JEPA。
1. 从 2D block 到 spatio-temporal tube
I-JEPA 在图像上遮 rectangle;视频如果逐帧 random patch masking,predictor 可以偷看相邻帧的同一位置来填洞,任务退化成"帧间复制",学不到真正的时空推理。
V-JEPA 的做法是 tube masking:先在空间上采样若干连续矩形,然后把每个矩形沿整个时间轴延伸,形成 spatio-temporal tube。同一个空间位置在所有帧里同时被遮住,相邻帧的捷径被封死。
默认两套 mask 组合:
- Short-range:8 个小 tube,每个约占单帧 15%。
- Long-range:2 个大 tube,每个约占单帧 70%。
两组 union 之后,平均 masking ratio 大约 90%。predictor 每次只看到约 10% 的 spatio-temporal token,要从极稀疏的 context 去推断被遮 tube 的 latent——任务难度跟 I-JEPA 的大块 semantic masking 是同一哲学。