联合熵

联合熵（Joint Entropy）是信息熵在随机向量上的推广，衡量多个随机变量构成的系统的整体不确定性。对于二维随机向量 (X,Y)，联合熵定义为 $H (X Y) = - \sum\sum p (x y) lo g p (x y)$ 。

联合熵表示联合观测 X 和 Y 所需的平均信息量。当 X 与 Y 相互独立时，联合熵等于各自熵之和： $H (X Y) = H (X) + H (Y)$ 。当 X 与 Y 存在依赖关系时，联合熵小于各自熵之和，因为已知一个变量的信息会减少对另一个变量的不确定性。

联合熵与熵、条件熵之间存在链式关系： $H (X Y) = H (X) + H (Y ∣ X) = H (Y) + H (X ∣ Y)$ 。这一关系是理解随机变量间信息传递方式的基础，在数据分析、特征选择等领域有广泛应用。