3.10 遍历性

极限熵

极限熵（entropy rate）是离散平稳信源在序列长度趋于无穷大时，每个符号的平均信息熵。对于平稳信源 $\{X_i{\}}_{i=1}^{\infty }$，定义 $n$ 长序列的平均熵为 $H_n=\frac{1}{n}H(X_1,X_2,\dots ,X_n)$，极限熵即为 $H_{\infty }={\lim }_{n\to \infty }{H}_n$。当该极限存在时，它描述了信源在渐进意义下每个符号携带的平均信息量。

对于平稳信源，当长度 $n$ 趋近无穷大时，平均熵 $H_n$ 与条件熵 $H(X_n\mid X_1,X_2,\dots ,X_{n-1})$ 趋近于同一极限值，即极限熵 $H_{\infty }$。条件熵 $H(X_n\mid X_1,\dots ,X_{n-1})$ 表示在已知前 $n-1$ 个符号的条件下，第 $n$ 个符号的剩余不确定性——即”记忆”带来的不确定性。平均熵则将长度为 $n$ 的序列的总不确定性平均分摊到每个符号上。两者在 $n\to \infty$ 时收敛于相同的值。

极限熵的一个重要性质是：对于具有有限记忆的平稳信源，例如记忆长度为 $m$ 的马尔可夫信源，当 $n$ 充分大时，极限熵等于 $m$ 阶条件熵 $H(X_{m+1}\mid X_1,X_2,\dots ,X_m)$。这意味着当信源有记忆限制时，其极限熵是一个常数，该常数反映了转移过程带来的不确定性，同时也是序列中平均每个字符的不确定性。一般地，有 $H_{\infty }\le \cdots \le H(X_3\mid X_1,X_2)\le H(X_2\mid X_1)\le H(X_1)$，即条件越多，不确定性越小。

链接到

• 上一个知识点：3.9 典型集
• 下一个知识点：3.11 SMB定理