2.3 log-sum不等式

log-sum不等式

log-sum不等式（Log-Sum Inequality）是信息论中一个基础且强有力的不等式。设 $a_i$和 $b_i$（$i=1,\dots ,n$）为非负实数，则log-sum不等式表述为：$\sum a_i\log (a_i/b_i)\ge (\sum a_i)\log (\sum a_i/\sum b_i)$。该不等式建立了逐项比值对数之和与整体比值对数之间的关系，其中等号成立当且仅当所有 $a_i/b_i$的比值相等。

log-sum不等式的证明有两种常见途径。第一种利用函数 f(x) = log x 的凹性，通过Jensen不等式推导得到；第二种利用函数 f(x) = x log x 的凸性进行证明。两种方法本质上等价，均依赖于函数的凹凸性以及Jensen不等式。这一不等式的核心价值在于，它将个体项的比值信息聚合为一个整体的比值信息，从而简化了对概率分布差异的分析。

log-sum不等式在信息论中有许多重要应用。最著名的应用之一是证明均匀分布具有最大熵：在给定取值范围的条件下，均匀分布的熵最大。具体而言，利用log-sum不等式可以建立任意分布 p与均匀分布 u之间的不等式关系：$H(p)\le H(u)$。此外，log-sum不等式还常用于证明KL散度的凸性、信息不等式（Information Inequality）以及信道容量中的相关结论，是信息论中不可或缺的分析工具。

链接到

• 上一个知识点：2.2 Jensen不等式
• 下一个知识点：2.4 KL散度凹凸性