5.1 马尔可夫过程

马尔可夫过程

基本定义与马尔可夫链

马尔可夫链（Markov Chain）是描述随机过程依赖关系的基本模型，在信息论中主要用于刻画随机变量之间的条件独立关系。三个随机变量 $X,Y,Z$ 构成马尔可夫链 $X\to Y\to Z$，当且仅当 $Z$ 的条件分布仅依赖于 $Y$，而与 $X$ 条件独立。数学上，条件独立性可以表示为：

$$p(z|x,y)=p(z|y),\forall x,y,z$$

联合概率分布相应地分解为：

$$p(x,y,z)=p(x)p(y|x)p(z|y)$$

这一分解形式揭示了信息在马尔可夫链中的单向流动特性：信息从 $X$ 流向 $Y$，再从 $Y$ 流向 $Z$，不存在直接从 $X$ 到 $Z$ 的信息通道。等价地，$p(x,z|y)=p(x|y)p(z|y)$，即在给定 $Y$ 的条件下，$X$ 和 $Z$ 相互独立。

多个随机变量的推广

马尔可夫链的概念可以自然地推广到多个随机变量的情形。随机变量序列 $\{X_i{\}}_{i=1}^n$ 构成马尔可夫链，当且仅当每个变量在给定前一个变量后与更早的变量条件独立：

$$p(x_k|x_{k-1},x_{k-2},\dots ,x_1)=p(x_k|x_{k-1}),\forall k$$

联合概率分布可以分解为：

$$p(x_1,x_2,\dots ,x_n)=p(x_1)\prod _{i=2}^{n}p(x_i|x_{i-1})$$

这一性质被称为马尔可夫性（Markov Property），是马尔可夫过程的核心特征。对于离散时间离散状态的马尔可夫链，转移概率 $p_{ij}=P(X_{n+1}=j|X_n=i)$ 构成转移概率矩阵 $P$，满足 ${\sum }_j{p}_{ij}=1$。$n$ 步转移概率由 Chapman-Kolmogorov 方程给出：

$$p_{ij}^{(n)}=\sum _k{p}_{ik}^{(m)}{p}_{kj}^{(n-m)},0<m<n$$

在信息论中的核心地位

在信息论中，马尔可夫链是数据处理不等式的基本前提条件。对于马尔可夫链 $X\to Y\to Z$，数据处理不等式 $I(X;Z)\le I(X;Y)$ 成立，其本质正是马尔可夫性所保证的条件独立性。此外，马尔可夫链还满足以下重要性质：

1. 互信息的单调性：$I(X;Z)\le I(X;Y)$ 且 $I(X;Z)\le I(Y;Z)$，即中间节点总是包含最多的信息。

2. 数据处理视角：任何 $Y$ 到 $Z$ 的映射（确定性或随机性）都会在 $X\to Y\to Z$ 的框架下被刻画，这是信息论分析一切信息处理系统的基本范式。

3. 熵的链式法则：对于马尔可夫链，条件熵满足 $H(X,Y,Z)=H(X)+H(Y|X)+H(Z|Y)$。

实际应用与扩展

在通信系统中，信源编码、信道传输和译码过程通常构成一个马尔可夫链。标准的通信模型可以描述为：

$$\text{信源}W\to \text{编码器}\to X^n\to \text{信道}\to Y^n\to \text{译码器}\to \hat{W}$$

其中每个箭头表示一个条件概率映射。这一链式结构是信道编码定理分析的基础框架。

在更广泛的图模型（Graphical Model）中，马尔可夫链的概念被推广为马尔可夫随机场（Markov Random Field, MRF）和贝叶斯网络（Bayesian Network）。这些模型利用条件独立性关系来分解高维联合概率分布，极大地简化了概率推断和学习的复杂度。在信息论研究中，马尔可夫链不仅是分析信息流的基本工具，也是研究信源编码、信道容量、率失真理论和网络信息论等核心问题的数学基础。此外，隐马尔可夫模型（Hidden Markov Model, HMM）将马尔可夫链与观测模型相结合，在语音识别、自然语言处理和生物信息学等领域有着广泛的应用。

链接到

• 上一个知识点：无（本章第一个知识点）
• 下一个知识点：5.2 数据处理不等式