1.8 平均互信息

平均互信息

平均互信息（Average Mutual Information）是互信息量在随机变量层面的推广，衡量两个随机变量 X 和 Y 之间平均意义上的相互依赖程度。其定义为 $I(X;Y)=\sum \sum p(xy)\log (p(xy)/(p(x)p(y)))$，即联合分布与边缘分布乘积之间对数比值的概率加权平均。

平均互信息与信息熵之间存在多种等价关系：$I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)$。这些关系表明，平均互信息既表示 X 的熵在已知 Y 后的减少量，也表示联合熵中因变量关联而带来的节省量。当 X 与 Y 独立时，$I(X;Y)=0$；当 X 与 Y 完全相关时，$I(X;Y)=H(X)=H(Y)$。

平均互信息具有非负性（$I(X;Y)\ge 0$）、对称性（$I(X;Y)=I(Y;X)$）等优良性质。从KL散度的视角来看，平均互信息是联合分布 $P(XY)$与乘积分布 $P(X)P(Y)$之间的KL散度，因此它度量的是 X与 Y之间的非线性相关性——不同于线性相关系数仅捕捉线性关系，平均互信息能够捕捉任意形式的统计依赖关系。

相关笔记

链接到

• 上一个知识点：1.7 互信息量
• 下一个知识点：1.9 交叉熵