连续KL散度
KL散度（Kullback-Leibler Divergence）可以自然地推广到连续概率分布。对于两个概率密度函数 f(x) 和 g(x)，连续KL散度定义为：
连续KL散度保留了离散KL散度的基本性质：非负性（，当且仅当 几乎处处成立时取等）、以及对于变量替换的不变性。这意味着尽管微分熵依赖于坐标系，但两个分布之间的KL散度是坐标无关的，这是KL散度相对于微分熵的一个重要优势。
在信息论中，连续KL散度被广泛用于衡量两个连续分布之间的差异程度。例如，在变分推断中，通过最小化近似分布与真实后验分布之间的KL散度来寻找最优近似；在统计检验中，KL散度可用于衡量观测分布与假设分布之间的拟合程度。需要注意的是，当 g(x) 在某个区域为零而 f(x) 在该区域非零时，KL散度会发散至无穷大，因此使用时需确保 g(x) 的支持集包含 f(x) 的支持集。