3.4 渐进等分性

离散平稳信源

离散平稳信源是指其统计特性不随时间平移而改变的信源。严格来说，信源 $\{X_i{\}}_{i=1}^{\infty }$ 称为平稳的，若对任意正整数 $m,n$ 和任意整数 $k$，有 $P(X_1=x_1,\dots ,X_m=x_m)=P(X_{1+k}=x_1,\dots ,X_{m+k}=x_m)$。这意味着任意有限维联合概率分布关于时间原点具有平移不变性。平稳信源的一个直接推论是各时刻的边缘分布相同：$P(X_i)=P(X_j)$ 对任意 $i,j$ 成立。

离散无记忆信源一定是平稳信源，因为无记忆信源各时刻独立同分布，显然满足平移不变性。但平稳信源不一定是无记忆信源——平稳信源可以具有记忆，即符号之间存在统计依赖关系，只要这种依赖关系是时不变的即可。例如，平稳马尔可夫信源就是具有记忆的平稳信源。

平稳信源的重要性在于它的极限熵存在且具有良好的数学性质。对于平稳信源，条件熵序列 $H(X_n\mid X_1,\dots ,X_{n-1})$ 是单调非增的且存在极限，该极限与平均熵序列的极限相等，都等于极限熵 $H_{\infty }$。若信源具有有限的记忆长度 $m$，即当前符号只依赖于前 $m$ 个符号，则极限熵简化为 $H_{\infty }=H(X_{m+1}\mid X_1,\dots ,X_m)$，这使得计算变得可行。

链接到

• 上一个知识点：3.3 扩展信源
• 下一个知识点：3.5 马尔可夫信源