8.1 迁移学习概述

迁移学习概述

迁移学习（Transfer Learning）是机器学习中的一种重要方法，旨在将从一个任务或领域中学到的知识迁移到另一个相关的任务或领域中，从而降低对大量标注数据的依赖并加速模型训练。

基本概念

领域与任务

在迁移学习中，需要区分两个基本概念：

• 领域（Domain）：由特征空间 $X$ 和边缘概率分布 $P(X)$ 组成，即 $D=\{X,P(X)\}$。例如，中文新闻文本和英文科技论文属于不同的领域。
• 任务（Task）：由标签空间 $Y$ 和条件概率分布 $P(Y|X)$ 组成，即 $T=\{Y,P(Y|X)\}$。例如，情感分类和主题分类属于不同的任务。

迁移学习的目标

给定源领域 $D_S$ 和源任务 $T_S$、目标领域 $D_T$ 和目标任务 $T_T$，迁移学习的目标是利用 $D_S$ 和 $T_S$ 中的知识，帮助改进 $D_T$ 中 $T_T$ 的预测函数 $f_T(\cdot )$ 的学习效果。

为什么要迁移学习

• 数据标注成本高：在目标领域获取大量标注数据往往代价高昂，迁移学习可以利用已有领域的标注数据。
• 数据稀缺：某些目标任务本身数据量很少，从头训练模型难以获得良好性能。
• 训练效率：迁移学习可以让模型从已有知识出发进行学习，大幅减少训练时间和计算资源。
• 模型泛化：预训练阶段学习到的通用特征表示通常具有更好的泛化能力。

迁移学习的分类

根据源域与目标域的关系以及迁移方式，迁移学习可以分为以下几类：

• 归纳迁移学习（Inductive Transfer Learning）：源任务与目标任务不同，但领域可以相同或不同。
• 直推式迁移学习（Transductive Transfer Learning）：源域与目标域不同，但任务相同。
• 无监督迁移学习（Unsupervised Transfer Learning）：源域和目标域均无标签数据，任务不同。

主流方法

现代深度学习中，预训练-微调（Pretrain-Finetune）是最主流的迁移学习范式：先在大规模通用数据集上预训练模型，再在目标任务的小规模数据上进行微调。此外，多任务学习、领域对抗训练、零样本学习等也是迁移学习的重要分支方法。

链接到

• 上一个知识点：无（本章第一个知识点）
• 下一个知识点：8.2 微调