7.3 连续互信息

连续互信息

互信息（Mutual Information）同样可以推广到连续随机变量。对于联合概率密度函数为 f(x,y) 的连续随机变量对 (X,Y)，其互信息定义为：

$$I(X;Y)=\iint f(x,y)\log \frac{f(x,y)}{f(x)f(y)}dxdy$$

其中 f(x) 和 f(y) 分别为 X 和 Y 的边缘概率密度函数。连续互信息可以理解为联合分布与边缘分布乘积之间的KL散度，即 I(X;Y) = D(f(x,y) || f(x)f(y))。

与微分熵不同，连续互信息具有坐标不变性——对 X 和 Y 分别做可逆变换不会改变互信息的值。这是因为互信息本质上描述的是两个变量之间的统计依赖关系，这种关系不受各自坐标尺度的影响。连续互信息同样非负，且当且仅当 X 与 Y 独立时为零。这些性质使得连续互信息成为衡量连续变量之间关联程度的可靠工具，在信息论、机器学习和信号处理等领域有广泛应用。

链接到

• 上一个知识点：7.2 连续KL散度
• 下一个知识点：7.4 高斯分布与熵