Jensen不等式
Jensen不等式（Jensen’s Inequality）是信息论和概率论中最重要的不等式之一，它建立了凸函数与期望之间的桥梁。对于凸函数 f和随机变量 X，Jensen不等式表述为：。换言之，凸函数在随机变量期望处的取值不大于随机变量函数值的期望。当 f为凹函数时，不等号反向，即 。
该不等式的核心意义在于：随机变量函数的期望通常不等于随机变量期望的函数，其大小关系取决于函数的凹凸性。从直观上理解，凸函数对输入值的变化具有放大效应，因此对随机变量进行凸变换后再取期望，结果不小于先取期望再进行凸变换。这一性质使得我们可以将复杂随机系统的分析简化为对期望值的分析，极大地简化了计算和推理过程。
Jensen不等式在信息论中有着广泛的应用。例如，利用Jensen不等式可以证明相对熵（KL散度）的非负性：，其中等号成立当且仅当 。此外，熵的上界、互信息的非负性、数据处理不等式（Data Processing Inequality）以及log-sum不等式的证明等，都离不开Jensen不等式的支撑。正是由于Jensen不等式的存在，信息论中的诸多核心量才具备了良好的序关系和优化特性。
链接到
- 上一个知识点：2.1 函数凹凸性
- 下一个知识点：2.3 log-sum不等式