7.5 变量替换

变量替换

在连续信息论中，变量替换（Change of Variables）对微分熵有重要影响。对于连续随机变量 X 和可逆线性变换 A（即 A 为可逆矩阵），变换后的随机变量 Y = AX 的微分熵满足：

$$h(AX)=h(X)+\log |\det (A)|$$

其中 |det(A)| 表示变换矩阵 A 的行列式的绝对值。这一公式揭示了微分熵在可逆线性变换下的变化规律：微分熵的变化量等于变换的缩放因子的对数。直观上，若变换压缩了空间（|det(A)| < 1），微分熵减小；若变换扩展了空间（|det(A)| > 1），微分熵增大。

这一性质直接体现了微分熵与离散熵的本质区别——微分熵依赖于坐标系的选取和度量方式。对于非线性可微变换，上述公式推广为 h(g(X)) = h(X) + E[log |det(J)|]，其中 J 为变换的雅可比矩阵。由于KL散度和互信息在变量替换下保持不变，在实际应用中通常使用这些不变度量来避免坐标选择带来的歧义。

链接到

• 上一个知识点：7.4 高斯分布与熵
• 下一个知识点：7.6 量化