2.1 函数凹凸性

函数凹凸性

函数的凹凸性（Convexity / Concavity）是信息论中许多重要不等式的基础。对于一个定义在区间上的函数 f，若对于任意两点 $x_1$和 $x_2$以及任意 $\lambda \in [0,1]$，满足 $f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x_1)+(1-\lambda )f(x_2)$，则称 f为凸函数（Convex Function）。直观上，凸函数图像上任意两点间的弦位于函数图像的上方，或者说函数图像上的点始终位于其切线的上方。反之，若不等号反向，即 $f(\lambda x_1+(1-\lambda )x_2)\ge \lambda f(x_1)+(1-\lambda )f(x_2)$，则称 f为凹函数（Concave Function）。

判断函数的凹凸性可以通过二阶导数进行：若 $f^{\prime \prime }(x)\ge 0$，则 f为凸函数；若 $f^{\prime \prime }(x)\le 0$，则 f为凹函数。在信息论中，常见的凸函数包括 $x\log x$（$x>0$）和负对数 $-\log x$（$x>0$）等，而 $\log x$本身是凹函数。这一性质直接影响了信息论中熵、KL散度和互信息等核心量的凹凸性特征。

函数凹凸性的判定在信息论中具有重要的应用价值。例如，熵作为概率分布的函数呈现出凹性，这意味着概率分布越均匀，熵越大；而KL散度作为概率分布的函数则呈现出凸性，这一性质保证了优化问题的良好结构性，使得在信息论框架下许多问题能够获得全局最优解。

链接到

• 上一个知识点：无（本章第一个知识点）
• 下一个知识点：2.2 Jensen不等式