跳到主要内容

迁移学习的基本方法

1. 迁移学习方法的四大类​

在王晋东《迁移学习导论》中,作者沿用了 Pan & Yang 综述中的经典划分方式,把迁移学习方法归为四大类:

  1. 基于样本的方法(Instance-based)
  2. 基于特征的方法(Feature-based)
  3. 基于模型/参数的方法(Model/Parameter-based)
  4. 基于关系的方法(Relation-based)

理解这四类方法,是把握迁移学习整个方法脉络的关键。

2. 基于样本的迁移​

2.1 核心思想​

既然源域和目标域数据分布不同,那我们可以给源域中"更像目标域"的样本以更大的权重,让重加权后的源域分布逼近目标域分布:

min⁡f∑i=1nswi⋅ℓ(f(xis),yis)\min_f \sum_{i=1}^{n_s} w_i \cdot \ell(f(x_i^s), y_i^s)

其中 wiw_i 是样本权重。

2.2 典型算法:TrAdaBoost​

TrAdaBoost 是 AdaBoost 在迁移学习中的扩展。它在训练过程中:

  • 对目标域中被分错的样本 提升权重 (像标准 AdaBoost 那样);
  • 对源域中被分错的样本 降低权重 (因为它们与目标域不匹配)。

这种"反向"的加权策略使得模型逐渐聚焦于目标域。

2.3 密度比估计(Density Ratio Estimation)​

在协变量偏移假设下,最优权重为:

w(x)=Pt(x)Ps(x)w(x) = \frac{P_t(x)}{P_s(x)}

代表算法包括 KMM(Kernel Mean Matching)、KLIEP、uLSIF 等。KMM 直接在 RKHS 中最小化重加权后的源域均值与目标域均值之差:

min⁡w∥1ns∑iwiϕ(xis)−1nt∑jϕ(xjt)∥H2\min_w \left\| \frac{1}{n_s}\sum_i w_i \phi(x_i^s) - \frac{1}{n_t}\sum_j \phi(x_j^t) \right\|^2_{\mathcal{H}}

2.4 适用场景与局限​

  • 适合 :源域与目标域特征空间一致 ,且 分布偏移不太大 。
  • 局限 :当 Ps(x)P_s(x) 在 Pt(x)P_t(x) 的支撑集上取值极小时,权重估计不稳定;无法处理特征空间差异。

3. 基于特征的迁移​

3.1 核心思想​

学到一个特征变换 ϕ(⋅)\phi(\cdot),使得在变换后的空间中,源域和目标域的分布尽可能一致:

Ps(ϕ(X))≈Pt(ϕ(X))P_s(\phi(X)) \approx P_t(\phi(X))

同时保证判别信息被保留(否则会退化为噪声)。

3.2 两种子路线​

  • 特征选择 :从原始特征中挑选出跨域"公共"的、可迁移的子集。代表方法:SCL(Structural Correspondence Learning)。
  • 特征变换 :通过线性/非线性映射构造新的特征空间。代表方法:TCA、JDA、CORAL、GFK 等。

3.3 典型算法一览​

方法核心思想
TCA在 RKHS 中最小化 MMD,得到迁移成分
JDA同时对齐边缘分布和条件分布
BDA动态平衡两种分布的对齐权重
CORAL二阶统计对齐:源、目标协方差矩阵匹配
GFK在 Grassmann 流形上建模域间平滑过渡
DANN通过对抗训练学到域不变特征

3.4 优势​

  • 应用最广泛,效果稳健;
  • 便于与深度学习结合(直接嵌入到网络的中间层)。

4. 基于模型/参数的迁移​

4.1 核心思想​

假设源模型与目标模型在参数层面存在共享结构,通过 共享参数、共享先验、正则约束 等方式实现迁移。

深度学习时代最常见的一种迁移形式——预训练 + 微调(Pretrain + Fine-tune) ——就属于这一类。

4.2 三种做法​

  1. 参数共享(Parameter Sharing) :源、目标模型共享部分参数,其余参数各自训练。多任务学习是典型例子。
  2. 参数复用(Parameter Reuse) :先在源域上训练模型,再直接把参数迁移到目标域并微调。ImageNet 预训练模型即属此类。
  3. 参数约束(Parameter Regularization) :以源模型参数为先验或正则中心: min⁡θt Lt(θt)+λ∥θt−θs∥2\min_{\theta_t} \, \mathcal{L}_t(\theta_t) + \lambda \|\theta_t - \theta_s\|^2 代表方法:L2-SP、EWC(Elastic Weight Consolidation)。

4.3 深度模型的层次可迁移性​

Yosinski 等人(2014)通过著名的层冻结实验发现:

  • 底层特征通用性强 :边缘、纹理、颜色对多种任务都有用;
  • 高层特征任务专用性强 :越靠近输出,与任务越绑定。

因此实际微调时的一般策略是:底层冻结、高层重训 ,越靠近输出层学习率越大。

5. 基于关系的迁移​

5.1 核心思想​

前面三类方法关注的是样本、特征、参数 这些"实体",而基于关系的迁移关注实体之间的 关系 :源域中"教师与学生"的关系,在目标域中可能对应"经理与员工"的关系。

5.2 典型方法​

  • 马尔可夫逻辑网络(MLN) :用一阶逻辑刻画实体间关系,通过迁移逻辑规则完成迁移;
  • 图神经网络中的知识迁移 :迁移图的结构信息、节点关系模式等。

5.3 适用场景​

多用于关系数据、社交网络、知识图谱 等领域,在传统图像/文本任务中相对较少。

6. 四类方法的对比​

类别迁移的对象核心工具优点局限
基于样本源域样本权重密度比估计、Boosting直观、简单只适用于特征空间一致、偏移较小
基于特征特征表示MMD、CORAL、对抗训练应用广、效果好变换设计需谨慎
基于模型模型参数Fine-tune、参数正则深度时代最流行需要预训练模型
基于关系实体间关系逻辑网络、图结构处理结构化知识应用面较窄

7. 方法选择的经验法则​

  • 若源域和目标域数据量都不大,特征空间相同:优先考虑基于样本 或 基于特征 的方法;
  • 若目标任务数据极少:优先考虑预训练 + 微调 ;
  • 若源、目标特征空间不同:考虑异构迁移 或 对抗学习 ;
  • 若关注负迁移风险:先做域相似性度量 ,必要时选择多源迁移 ;
  • 若追求端到端:使用深度迁移网络 ,如 DDC、DAN、DANN。

References​

[1]. 王晋东,陈益强. 迁移学习导论(第二版). 电子工业出版社, 2022.

[2]. Pan S J, Yang Q. A Survey on Transfer Learning. IEEE TKDE, 2010.

[3]. Yosinski J, et al. How Transferable are Features in Deep Neural Networks? NeurIPS, 2014.