3.5 典型集

马尔可夫信源

马尔可夫信源是一类重要的有记忆离散信源，其特点在于当前输出符号的概率只依赖于有限个历史符号。具体地，$m$ 阶马尔可夫信源满足 $P(X_n\mid X_{n-1},X_{n-2},\dots ,X_1)=P(X_n\mid X_{n-1},\dots ,X_{n-m})$，即当前符号 $X_n$ 只依赖于其前面的 $m$ 个符号，而与更早的历史无关。这种性质称为 $m$ 阶马尔可夫性。当 $m=1$ 时，即为最简单的马尔可夫信源，下一时刻的状态只依赖于当前状态。

平稳马尔可夫信源由初始分布和各时刻的一步转移概率完整描述。对于平稳马尔可夫链，转移概率与时间无关，因此只需知道初始概率分布 ${\mathbf{\pi }}^{(0)}$ 和转移概率矩阵 $\mathbf{P}$ 即可完全确定信源的统计特性。平稳条件保证 ${\mathbf{\pi }}^{(0)}\mathbf{P}={\mathbf{\pi }}^{(0)}$，即初始分布本身就是稳态分布，所有时刻的边缘分布都相同。

对于平稳马尔可夫信源，极限熵等于状态转移时的条件熵。在稳态下，有：

$$H_{\infty }=\underset{n\to \infty }{\lim }H(X_n\mid X_{n-1},\dots ,X_{n-m})=-\sum _{i=1}^r{\pi }_i\sum _{j=1}^r{p}_{ij}\log p_{ij}$$

其中 ${\pi }_i$ 为状态 $i$ 的稳态概率，$p_{ij}$ 为从状态 $i$ 转移到状态 $j$ 的概率。该式表明马尔可夫信源的极限熵完全由转移矩阵和稳态分布决定，反映了信源记忆中保留的不确定性。

链接到

• 上一个知识点：3.4 离散平稳信源
• 下一个知识点：3.6 稳态分布