深度自编码器

深度自编码器(Deep Autoencoder)是一种利用深度神经网络进行无监督特征学习的模型。它通过学习一个恒等映射(identity mapping),在输出端尽可能重建输入数据,从而在中间层获得数据的压缩表示。

模型架构

自编码器由两个核心部分组成:

编码器(Encoder)

将高维输入数据通过逐层非线性变换映射到低维的隐藏表示(latent representation/embedding)。编码过程可以看作是一种数据压缩和特征提取:

解码器(Decoder)

将低维的隐藏表示反向映射回原始数据空间,尽可能还原输入。解码过程可以看作是一种数据重建:

训练目标

训练深度自编码器的目标是最小化输入与输出之间的重构误差。常用的损失函数包括均方误差(MSE)或二元交叉熵:

简单来说,深度自编码器就是运用深度神经网络,同时训练编码和解码两个组成,使得原输入可以通过编码得到向量,接着向量通过解码得到尽可能还原输入的输出,通过输出和输入比对计算损失,进行训练。

应用场景

数据降维

自编码器可以作为非线性降维方法,学习比PCA更强大的数据压缩表示。

特征学习

自编码器可以在无监督条件下学习到有用的数据特征表示,这些表示可以迁移到下游任务。

异常检测

训练自编码器重建正常样本后,对于异常样本,重建误差会显著增大,从而检测出异常。

图像去噪

去噪自编码器(Denoising Autoencoder)通过训练从加噪的输入重建原始清晰图像,实现图像去噪功能。

常见变体

  • 稀疏自编码器:在损失函数中加入稀疏惩罚项,使隐藏层中的大部分神经元处于抑制状态
  • 变分自编码器(VAE):引入概率视角和正则化,使隐藏表示具有良好结构,可作为生成模型
  • 栈式自编码器:多层自编码器堆叠,逐层预训练以学习更深层次的特征表示

链接到