3.2 离散无记忆信源

离散无记忆信源

离散无记忆信源是最简单的信源模型，其各时刻输出相互独立且服从相同的概率分布。设信源为 $\{X_i{\}}_{i=1}^{\infty }$，其中每个 $X_i$ 取值于同一符号集 $\mathcal{X}=\{a_1,a_2,\dots ,a_q\}$，且满足 $P(X_i=a_j)=p_j$ 对所有 $i$ 成立，同时不同时刻的随机变量相互独立。因此，一个长度为 $n$ 的序列 $\mathbf{x}=(x_1,x_2,\dots ,x_n)$ 出现的概率为 $P(\mathbf{x})={\prod }_{i=1}^{n}P(x_i)$。

对于离散无记忆信源，其信息熵为 $H(X)=-{\sum }_{j=1}^q{p}_j\log p_j$。由于各时刻独立同分布，$n$ 长序列的总熵为 $nH(X)$。离散无记忆信源的一个重要性质是渐进等分性，即当 $n$ 充分大时，几乎所有按概率生成的长序列都具有近似相同的自信息量 $nH(X)$。这意味着信源的信息熵率等于单符号熵 $H(X)$。

离散无记忆信源虽然简单，但它是研究更复杂信源的基础。通过对离散无记忆信源进行扩展（即考虑其 $N$ 次扩展信源），可以进一步分析数据压缩的极限和编码定理。香农第一定理（无失真信源编码定理）指出，对离散无记忆信源进行无失真编码时，平均码长可以任意接近 $H(X)$，但不能低于 $H(X)$。

链接到

• 上一个知识点：3.1 信源概念
• 下一个知识点：3.3 扩展信源