3.3 扩展信源

扩展信源

扩展信源是将原始信源的符号扩展为固定长度序列后得到的新信源。设原始离散无记忆信源为 $X$，其符号集为 $\mathcal{X}$，概率分布为 $P(X)$。则 $X$ 的 $N$ 次扩展信源记为 $X^N$，其输出为长度为 $N$ 的序列 $\mathbf{x}=(x_1,x_2,\dots ,x_N)$，其中每个 $x_i$ 独立同分布于 $P(X)$。扩展信源的符号集大小为 $|\mathcal{X}{|}^N$，序列 $\mathbf{x}$ 的概率为 $P(\mathbf{x})={\prod }_{i=1}^{N}P(x_i)$。

扩展信源的信息熵满足 $H(X^N)=NH(X)$，即扩展信源的熵是原始信源熵的 $N$ 倍。这是因为独立同分布序列的联合熵等于各分量熵之和。扩展信源在研究信源编码和渐进等分性时扮演着重要角色——通过增大 $N$，可以使平均码长更接近信源熵 $H(X)$，从而获得更好的压缩效率。

扩展信源的一个关键应用在于证明信源编码定理。通过对扩展信源进行编码，可以使编码速率任意接近信源熵 $H(X)$。同时，扩展信源也将单符号的分析问题转化为块序列的分析问题，为利用大数定律和渐进等分性提供了便利。在实际系统中，块编码正是基于扩展信源的思想，将长序列分割为固定长度的块进行编码传输。

链接到

• 上一个知识点：3.2 离散无记忆信源
• 下一个知识点：3.4 离散平稳信源