KL散度
KL散度（Kullback-Leibler Divergence），又称相对熵（Relative Entropy），是信息论中衡量两个概率分布 P 和 Q 之间差异的重要工具。对于离散随机变量，KL散度定义为 ，其中 p(x) 和 q(x) 分别为 P 和 Q 的概率质量函数。
KL散度刻画了使用分布 Q 来近似真实分布 P 时所损失的信息量，或者说从 P 到 Q 的”额外不确定性”代价。KL散度具有方向性：D(P||Q) 的期望加权是基于真实分布 P(x) 的，这意味着我们重点关注在真实数据 P 出现概率高的地方，模型预测 Q 是否拟合得好。因此 D(P||Q) 衡量的是 Q 相对于 P 的相似程度，而非反之。
KL散度满足非负性（Gibbs不等式），即 ，当且仅当 时等号成立。KL散度不满足对称性和三角不等式，因此并非严格意义上的距离度量。从KL散度的视角出发，互信息可以理解为随机变量 X 与 Y 联合分布与乘积分布之间的KL散度，即 ，这揭示了互信息本质上衡量的是变量间的非线性相关性。
相关笔记
链接到
- 上一个知识点：1.9 交叉熵
- 下一个知识点：无（本章最后一个知识点）