6.5 噪声信道编码定理

噪声信道编码定理

噪声信道编码定理（Noisy Channel Coding Theorem），亦称香农第二定理，是信息论的核心定理之一。该定理对存在噪声的信道给出了一个确定性结论：对于任意给定的信道，若信息传输速率R小于信道容量C，则存在编码方案使得译码错误概率可以任意小；反之，若R大于C，则无论采用何种编码方案，错误概率都无法趋近于零。定理的严格数学表述如下：对于离散无记忆信道 $(\mathcal{X},p(y|x),\mathcal{Y})$，如果 $R<C$，则对任意 $\epsilon >0$，存在码长为 $n$、速率为 $R$ 的码本和译码方案，使得最大错误概率 $P_e^{(n)}<\epsilon$；如果 $R>C$，则对任意码长为 $n$、速率为 $R$ 的码本，平均错误概率 $P_e^{(n)}$ 远离零。

定理的证明依赖于联合典型集的概念和随机编码技术。可达性证明的思路是：从 $2^{nR}$ 个随机生成的码字中，每个码字的每个符号独立采样自使互信息最大化的输入分布。接收端采用联合典型译码——仅当接收序列与某个码字构成联合典型对时才输出该码字，否则宣布错误。利用联合典型集的三条基本性质：（1）正确码字与接收序列以概率趋近于1构成联合典型对；（2）任意错误码字与接收序列构成联合典型对的概率约等于 $2^{-nI(X;Y)}$；（3）联合典型序列对的总数约等于 $2^{nH(X,Y)}$。综合这些性质可以得到当 $R<C$ 时平均错误概率的可达上界：

$$P_e^{(n)}\le 2^{-n(C-R-\epsilon )}+{\epsilon }_n$$

其中 ${\epsilon }_n\to 0$，表明当 $n\to \infty$ 时错误概率指数级衰减到零。

噪声信道编码定理的革命性意义在于它从根本上回答了通信理论的核心问题——噪声并非可靠通信的不可逾越障碍。在香农之前，通信界普遍接受的观念是：增加传输速率必然导致误码率上升，要获得任意小的误码率必须以零速率为代价。香农的发现表明，在信道容量之下存在一个非零的”好速率”区域，在该区域内可以通过编码实现任意可靠的通信。这一定理奠定了数字通信系统的理论基础，指引了Turbo码、LDPC码和极化码等逼近容量限的信道编码方案的设计方向，其影响也延伸到了数据压缩、网络信息论和量子通信等领域。

链接到

• 上一个知识点：6.4 对称信道
• 下一个知识点：6.6 信道编码定理证明