3.11 SMB定理

SMB定理

香农-麦克米伦-布雷曼定理（Shannon-McMillan-Breiman Theorem，简称 SMB 定理）是信息论中渐进等分性（AEP）从独立同分布信源到平稳遍历信源的重要推广。对于离散无记忆信源，AEP 指出 $-\frac{1}{n}\log P(X_1,\dots ,X_n)$ 依概率收敛于 $H(X)$。而对于一般平稳遍历信源，SMB 定理保证 $-\frac{1}{n}\log P(X_1,\dots ,X_n)$ 几乎必然收敛于极限熵 $H_{\infty }$。

SMB 定理的核心含义在于：左侧 $-\frac{1}{n}\log P(X_1,\dots ,X_n)$ 是对实际观测序列计算得到的平均自信息量，而右侧的极限 $H_{\infty }$ 是理论计算的平均熵，即熵率。该定理建立了”实际观测”与”理论期望”之间的联系，表明对任何平稳遍历信源，在足够长的序列上，实际观测到的平均自信息量几乎必然接近于理论熵率。

SMB 定理在实际应用中具有重要意义。它保证了典型集的概念可以推广到具有记忆的平稳信源，为信源编码定理的证明提供了理论依据。无论信源的记忆结构多么复杂，只要它是平稳遍历的，其典型序列集的渐进性质与独立同分布情形类似：典型序列的概率近似相等，典型集的基数约为 $2^{n{H}_{\infty }}$，且典型序列的总概率趋近于 $1$。这为数据压缩和编码速率分析提供了坚实的理论基础。

链接到

• 上一个知识点：3.10 极限熵
• 下一个知识点：无（本章最后一个知识点）