6.3 信道容量

信道容量

信道容量是信息论中刻画信道传输能力最基本的概念，由Shannon在其1948年的开创性论文中严格定义。对于一个离散无记忆信道（DMC），其输入为随机变量X，输出为随机变量Y，信道容量C定义为在所有可能的输入分布p(x)上，互信息I(X;Y)的最大值：

$$C=\underset{p(x)}{\max }I(X;Y)=\underset{p(x)}{\max }\sum _{x\in \mathcal{X}}\sum _{y\in \mathcal{Y}}p(x)p(y\mid x)\log \frac{p(y\mid x)}{p(y)}$$

其中p(y|x)是信道的转移概率分布，表征了信道的噪声特性。信道容量的物理意义是：信道能够可靠传输信息的最快速率，单位为比特每信道使用。信道容量的计算本质上是一个凸优化问题——互信息I(X;Y)是输入分布p(x)的凹函数，因此最大值存在且唯一。对于一般的DMC，可以采用Blahut-Arimoto算法迭代求解。对于特定的重要信道模型，则有解析表达式：二进制对称信道（BSC）的容量为 $C=1-H_b(p)$，其中 $p$ 是误比特率；二进制擦除信道（BEC）的容量为 $C=1-\alpha$，其中 $\alpha$ 是擦除概率。

信道容量具有重要的数学性质，包括凸性（对输入分布凹，对转移分布凸）、数据处理不等式下的单调性（级联信道的容量不会超过任一子信道的容量）以及反馈不会增加容量的结论。对于连续信道，最著名的结果是加性高斯白噪声（AWGN）信道的容量公式：$C=B{\log }_2(1+\text{SNR})$，其中 $B$ 为带宽，$\text{SNR}$ 为信噪比。这一公式揭示了带宽和信噪比之间的折中关系，是现代通信系统设计的基础。信道容量概念的提出彻底改变了通信理论的研究范式——从追求具体编码方案的性能上界，转向研究通信系统可达的极限性能。

链接到

• 上一个知识点：6.2 联合典型集
• 下一个知识点：6.4 对称信道