高斯分布与熵
在连续信息论中，高斯分布具有极其重要的地位——在给定方差约束的条件下，高斯分布的微分熵最大。对于一个均值为 、方差为 的一维高斯分布 ，其微分熵为：
该值是所有具有相同方差的连续分布中微分熵的最大值。这一最大熵性质与离散情形下的均匀分布相对应：在离散情形中，均匀分布在给定取值范围内使熵最大；在连续情形中，高斯分布则在给定二阶矩约束下使微分熵最大。这一性质可以通过变分法和拉格朗日乘子法严格证明。
对于 n维高斯随机向量 ，其微分熵为 ，其中 为协方差矩阵。这一结果在高斯信道容量分析中至关重要——因为高斯分布能够最大化熵，因此在功率受限的信道中，高斯输入分布能使互信息达到最大，从而取得信道容量。