零样本学习
零样本学习（Zero-Shot Learning, ZSL）是迁移学习的一种极端形式，它要求模型能够识别在训练过程中从未见过的类别。模型需要利用类别之间的语义关联，将从已知类别学到的知识泛化到未知类别。
核心概念
在传统监督学习中，模型只能识别训练集中出现过的类别。而在零样本学习中，训练集和测试集的类别集合是不相交的。例如，模型在训练时见过”马”、“老虎”、“海豚”的图片，但在测试时需要识别”斑马”——它从未在训练中出现过。
零样本学习的关键是利用辅助信息（side information）或语义属性（semantic attributes）来桥接已知类别和未知类别。
工作原理
语义空间
零样本学习需要一个共享的语义空间，其中每个类别（无论是已知还是未知）都有一个对应的语义描述。常见的语义表示方式包括：
- 属性描述：人为定义的类别属性（如”有条纹”、“有翅膀”、“生活在水中”）
- 词向量嵌入：使用预训练的词向量（如 Word2Vec、GloVe）表示类别名称的语义
- 文本描述：使用自然语言描述类别的特征
学习方法
零样本学习通常遵循两个步骤：
- 学习视觉-语义映射：在训练阶段，使用已知类别的图像特征和对应的语义属性，学习一个将视觉特征映射到语义空间的函数。
- 零样本推理：在测试阶段，将未知类别图像的视觉特征映射到语义空间，然后与所有未知类别的语义描述进行相似度比较，选择最匹配的类别作为预测结果。
传统零样本学习 vs 广义零样本学习
- 传统零样本学习（Conventional ZSL）：测试样本只来自未知类别，模型只需将样本分类到未知类别中。
- 广义零样本学习（Generalized ZSL, GZSL）：测试样本可能来自已知类别或未知类别，模型需要同时处理两种情况，这更具挑战性——模型往往倾向于将未知类别样本误分类为已知类别。
挑战与局限
- 领域偏移：已知类别和未知类别之间存在分布差异，学到的视觉-语义映射可能无法很好地泛化到未知类别。
- 枢纽点问题：语义空间中的某些嵌入（如词向量）可能是一些类别的”枢纽”——它们与许多其他类别都很接近，导致分类歧义。
- 属性不完整：语义属性通常无法完整描述类别的所有判别特征，导致信息损失。
- 语义鸿沟：视觉特征和语义特征之间的差异（视觉外观 vs 抽象描述）使得映射学习本身具有挑战性。
与迁移学习的关系
零样本学习是迁移学习的极端特例，它要求在没有目标类别任何样本的情况下进行知识迁移。广义上看，零样本学习不仅迁移了特征表示能力，还迁移了类别之间的语义关系结构，使得模型能够”推理”出从未见过的概念。
链接到
- 上一个知识点：8.4 自我学习
- 下一个知识点：8.6 领域对抗训练