深度迁移学习
1. 为什么要深 度迁移学习
前几章的 TCA、JDA、CORAL 等方法,虽在浅层特征上有效,但在图像、语音、文本这类高维复杂数据上表现有限。深度神经网络具有强大的表示学习能力,若能在网络中直接完成特征学习 + 分布对齐 + 任务预测三件事,效果与效率都会大幅提升。这就是 深度迁移学习(Deep Transfer Learning, DTL) 。
2. 深度网络的可迁移性
Yosinski 等人的经典实验(NeurIPS 2014)为深度迁移奠定了理论直觉:
- 深度网络的底层特征通用性强 (边缘、纹理、颜色),几乎在所有视觉任务中都可复用;
- 高层特征任务专用性强 (物体类别、语义模式),越靠近输出层越难迁移;
- 存在一个"过渡带" ,是可迁移性最强的位置——大部分方法把分布对齐损失加在这些层上。
这解释了为什么"底层冻结、高层微调"是深度迁移最经典、最有效的策略。