自信息

自信息量（Self-information）是信息论中最基础的概念，用于衡量单个随机事件所包含的信息量。对于一个概率为 p(x) 的事件 x，其自信息量定义为 $I (x) = - lo g p (x)$ 。底数通常取 2，此时单位为比特（bit）；若取自然对数，单位为纳特（nat）。

自信息量的核心直觉是：事件发生概率越小，其携带的信息量越大。这是因为小概率事件的发生带来了更大的”意外”或”不确定性消除”。例如，“太阳从东边升起”这一确定性事件（p=1）的自信息量为 0，不提供任何新信息；而”明天彩票中头奖”这一极小概率事件一旦发生，则包含了巨大的信息量。

信息量本质上反映了事件发生前后”不肯定程度”的减少量。事件发生前，其不确定性越大（概率越小），发生后所消除的不确定性就越多，因此信息量也越大。自信息量满足可加性：两个独立事件同时发生的信息量等于各自信息量之和。