变分自编码器

变分自编码器（Variational Autoencoder, VAE）是一种基于变分推断的深度生成模型，由Kingma和Welling于2013年提出。VAE结合了自编码器的结构和概率图模型的框架，能够学习数据的潜在分布并生成新的样本。

基本思想

VAE的目标是学习一个生成模型，使得从潜在变量 $z$ 到数据 $x$ 的映射能够产生与真实数据分布相似的输出。与标准自编码器不同，VAE并不直接学习确定的编码向量，而是学习潜在变量的概率分布。

编码器将输入 $x$ 映射到潜在空间上的概率分布 $q_{ϕ} (z ∣ x)$ 。通常假设该分布为对角高斯分布：

q_{ϕ} (z ∣ x) = N (z; μ_{ϕ} (x), σ_{ϕ}^{2} (x))

编码器输出均值 $μ$ 和对数方差 $lo g σ^{2}$ ，而不是直接输出 $z$ 。

解码器从潜在变量 $z$ 重建数据，建模条件概率 $p_{θ} (x ∣ z)$ ：

p_{θ} (x ∣ z) = N (x; μ_{θ} (z), σ_{θ}^{2} (z)) （对于连续数据）

VAE的损失函数包含两部分：重建损失和KL散度正则项。

VAE通过最大化证据下界（Evidence Lower Bound, ELBO）来优化：

L (θ, ϕ; x) = E_{z \sim q_{ϕ} (z ∣ x)} [lo g p_{θ} (x ∣ z)] - D_{K L} (q_{ϕ} (z ∣ x) ∥ p (z))

第一项 重建损失：鼓励解码器准确重建输入数据
第二项 KL散度：鼓励编码器输出的后验分布 $q_{ϕ} (z ∣ x)$ 接近先验分布 $p (z)$ （通常为标准正态分布 $N (0, I)$ ）

为了使梯度能够通过采样过程反向传播，VAE引入了重参数化技巧。将采样过程分解为：

z = μ + σ ⊙ ϵ, ϵ \sim N (0, I)

这样随机性来自于外部的噪声 $ϵ$ ，而 $μ$ 和 $σ$ 可以正常接受梯度更新。

特点：

应用：