信息熵
信息熵（Entropy）是信息论的核心概念，衡量一个随机变量 X 的平均不确定性。对于概率分布 p(x)，熵定义为 ，即所有可能事件自信息量的概率加权平均。
熵刻画了随机变量的不可预测性或随机性程度。熵越大，表示随机变量的取值越不确定，即每次观测所能获得的平均信息量越大。例如，均匀分布的骰子（每个面概率均为 1/6）的熵大于偏置骰子，因为前者的结果更难以预测。
熵具有重要性质：熵非负，且当且仅当随机变量为确定性分布时熵为零。熵是概率分布 p 的函数，与随机变量的具体取值无关。在信息论中，熵还为数据压缩提供了理论下限——编码一个信源所需的平均比特数至少等于其熵。
相关笔记
