3.8 马尔可夫信源

渐进等分性

渐进等分性（Asymptotic Equipartition Property, AEP）是信息论中最核心的定理之一。它指出：对于离散无记忆信源，当序列长度 $n$ 趋于无穷大时，序列的自信息量几乎必然地趋近于 $nH(X)$。换言之，样本自信息量依概率收敛于信源的熵。

从数学上看，AEP 的表达式为：

$$-\frac{1}{n}\log P(X_1,X_2,\dots ,X_n)\stackrel{p}{\to }H(X)$$

这意味着对于足够大的 $n$，观测到的序列 $\mathbf{x}$ 的概率 $P(\mathbf{x})$ 大约等于 $2^{-nH(X)}$。这一结论直接源于大数定律：由于各符号独立同分布，$\log P(X_i)$ 的算术平均值依概率收敛于其期望值 $H(X)$。

AEP 是信息论中诸多重要结论的基础，包括典型集的定义、信源编码定理的证明，以及数据压缩的理论极限的确定。没有 AEP，许多关于极限性能的论断将无从建立。

相关笔记

链接到

• 上一个知识点：3.7 遍历性
• 下一个知识点：3.9 典型集