3.6 离散平稳信源

稳态分布

稳态分布是马尔可夫链理论中的重要概念。对于一个平稳马尔可夫信源，设其状态转移概率矩阵为 $\mathbf{P}$，其中元素 $p_{ij}=P(X_{n+1}=j\mid X_n=i)$。若存在一个概率分布向量 $\mathbf{\pi }=({\pi }_1,{\pi }_2,\dots ,{\pi }_r)$ 满足 $\mathbf{\pi }\mathbf{P}=\mathbf{\pi }$，且 ${\sum }_{i=1}^r{\pi }_i=1$，则称 $\mathbf{\pi }$ 为该马尔可夫链的稳态分布。其意义是：一旦系统进入该分布，之后所有时刻的分布都将保持不变。

求马尔可夫链的平稳分布，即求转移矩阵 $\mathbf{P}$ 对应于特征值 $\lambda =1$ 的左特征向量。由于 $\mathbf{P}$ 每一行元素之和为 $1$，根据佩龙-弗罗贝尼乌斯定理，其最大特征值的模长必然为 $1$，故特征值 $1$ 一定存在。实际计算时，由于分布向量为左向量不便处理，可将 $\mathbf{P}-\mathbf{I}$ 转置后转化为右向量问题，再通过高斯消元求解，最后利用归一化条件得到唯一的稳态分布。

稳态分布与极限熵密切相关。当马尔可夫链达到稳态时，极限熵即状态转移时的条件熵：

$$H_{\infty }=H(X_{m+1}\mid X_1,\dots ,X_m)=-\sum _{i=1}^r{\pi }_i\sum _{j=1}^r{p}_{ij}\log p_{ij}$$

其中 ${\pi }_i$ 为稳态分布中状态 $i$ 的概率，$p_{ij}$ 为从 $i$ 转移到 $j$ 的概率。需要注意的是，存在稳态分布并不保证系统的遍历性——例如两个状态 $A$ 和 $B$ 周期性地互相转移，$\mathbf{\pi }=[0.5,0.5]$ 是其稳态分布，但系统不满足遍历性，因为其不具有非周期性。遍历性要求从任意状态出发经过足够多步后都能到达其他任意状态，且出现状态的极限概率与初始状态无关。

链接到

• 上一个知识点：3.5 马尔可夫信源
• 下一个知识点：3.7 遍历性