KL散度凹凸性

KL散度 $D (p ∥ q)$ 作为概率分布对 (p, q)的函数，具有重要的凸性性质：KL散度关于 (p, q)是凸函数。这意味着对任意两组概率分布 $(p_{1}, q_{1})$ 和 $(p_{2}, q_{2})$ 以及 $λ \in [0, 1]$ ，有 $D (λ p_{1} + (1 - λ) p_{2} ∥ λ q_{1} + (1 - λ) q_{2}) \leq λ D (p_{1} ∥ q_{1}) + (1 - λ) D (p_{2} ∥ q_{2})$ 。

这里的 $λ p_{1} + (1 - λ) p_{2}$ 和 $λ q_{1} + (1 - λ) q_{2}$ 是概率分布向量的线性插值，它们本身也是有效的概率分布。KL散度关于 (p, q)的凸性是证明互信息凹凸性的关键中间步骤。

这一凸性性质在实际应用中也有重要意义：在优化问题时，凸性保证了局部最优即全局最优，使得基于梯度下降的优化方法能够可靠地找到最优解。