微分熵
微分熵（Differential Entropy）是将香农熵从离散随机变量推广到连续随机变量的概念。对于一个概率密度函数为 f(x) 的连续随机变量 X，其微分熵定义为：
其中积分遍及 X 的所有可能取值。与离散熵不同，微分熵可以为负值，这是因为连续随机变量在任意单点上的概率密度可以大于 1（例如在极窄的分布中），导致对数项出现负值。当微分熵为负时，表明分布已经集中在比单位区间更小的范围内，这也是”微分熵”前加上”微分”二字的缘由——它依赖于坐标的尺度。
微分熵衡量的是连续随机变量的不确定性或信息集中程度。值越大表示分布越分散，不确定性越高；值越小表示分布越集中，确定性越高。然而需要特别注意的是，微分熵不具备离散熵的绝对意义——它依赖于坐标系的选取，变量替换会导致微分熵的值发生改变。正因为这一特性，微分熵更多地用于衡量相对差异，而非作为绝对的”信息量”度量。
链接到
- 上一个知识点：无（本章第一个知识点）
- 下一个知识点：7.2 连续KL散度