熵的凹凸性

信息熵 $H (p)$ 作为概率分布 p的函数，具有重要的凹性性质：熵关于概率分布是凹函数。这意味着对任意两个概率分布 $p_{1}$ 、 $p_{2}$ 和 $λ \in [0, 1]$ ，有 $H (λ p_{1} + (1 - λ) p_{2}) \geq λ H (p_{1}) + (1 - λ) H (p_{2})$ 。

熵的凹性表明，混合两个概率分布所得到的系统的平均不确定性，不低于原两系统不确定性的加权平均。换言之，混合增加了不确定性。

熵的凹性的一个重要推论是：在所有具有相同取值个数的概率分布中，均匀分布的熵最大。这是因为均匀分布是概率单纯形中”最平均”的分布，其不确定性最大。这一结论在通信系统中具有重要意义——最大熵对应着最大的信息传输能力。