深度自编码器
深度自编码器(Deep Autoencoder)是一种利用深度神经网络进行无监督特征学习的模型。它通过学习一个恒等映射(identity mapping),在输出端尽可能重建输入数据,从而在中间层获得数据的压缩表示。
模型架构
自编码器由两个核心部分组成:
编码器(Encoder)
将高维输入数据通过逐层非线性变换映射到低维的隐藏表示(latent representation/embedding)。编码过程可以看作是一种数据压缩和特征提取:
解码器(Decoder)
将低维的隐藏表示反向映射回原始数据空间,尽可能还原输入。解码过程可以看作是一种数据重建:
训练目标
训练深度自编码器的目标是最小化输入与输出之间的重构误差。常用的损失函数包括均方误差(MSE)或二元交叉熵:
简单来说,深度自编码器就是运用深度神经网络,同时训练编码和解码两个组成,使得原输入可以通过编码得到向量,接着向量通过解码得到尽可能还原输入的输出,通过输出和输入比对计算损失,进行训练。
应用场景
数据降维
自编码器可以作为非线性降维方法,学习比PCA更强大的数据压缩表示。
特征学习
自编码器可以在无监督条件下学习到有用的数据特征表示,这些表示可以迁移到下游任务。
异常检测
训练自编码器重建正常样本后,对于异常样本,重建误差会显著增大,从而检测出异常。
图像去噪
去噪自编码器(Denoising Autoencoder)通过训练从加噪的输入重建原始清晰图像,实现图像去噪功能。
常见变体
- 稀疏自编码器:在损失函数中加入稀疏惩罚项,使隐藏层中的大部分神经元处于抑制状态
- 变分自编码器(VAE):引入概率视角和正则化,使隐藏表示具有良好结构,可作为生成模型
- 栈式自编码器:多层自编码器堆叠,逐层预训练以学习更深层次的特征表示

链接到
- 上一个知识点:5.4 GRU
- 下一个知识点:无(本章最后一个知识点)
- 相关知识点:10.1 变分自编码器、7.1 序列到序列模型