信源信道分离编码
信源信道分离定理（Source-Channel Separation Theorem）是信息论中最深刻和最重要的结论之一。该定理断言：在渐进意义下，信源编码和信道编码可以分开设计、分别优化，而不会损失整体最优性。具体而言，将信源压缩到率失真函数 所确定的码率后，通过信道容量为 的信道进行传输，只要满足 ，就可以在接收端以不超过 的失真重构信源。反之，若 ，则不存在任何编码方案能够达到失真 。这一结论保证了级联的信源编码-信道编码结构在渐进意义上与联合编码同样最优。
分离编码定理的形式化描述。 设离散无记忆信源 ，失真度量 ，率失真函数为 。信道为离散无记忆信道，转移概率 ，信道容量 。分离定理断言：当且仅当 时，存在信源信道编码方案使得在信道上以任意小的错误概率传输，且接收端的期望失真不超过 。必要性（仅当部分）的证明基于数据处理不等式和信息论链式法则。考虑从信源到重构的任意编码方案，其整体传输过程满足：
其中 为信源符号数， 为信道使用次数。由此可得 ，在传输速率匹配时即 。充分性（当部分）的证明则显式构造了两级编码结构：信源编码器将 个信源符号压缩为 个索引之一，信道编码器将每个索引映射为 个信道输入符号。当 时，信道编码的差错概率可以任意小，信源编码的失真可以控制在 以内，整体级联系统达到要求。
联合编码与分离编码的关系。 分离定理指出在渐进意义下两种方式等价，但在非渐进场景中两者存在差异。联合编码（Joint Source-Channel Coding, JSCC）将信源符号直接映射到信道输入符号，绕过显式的比特管道抽象。在有限码长场景下，联合编码可能优于分离编码，因为分离编码需要在信源编码和信道编码两端分别付出冗余代价。对于非遍历信源或信道状态时变的场景，联合编码也具有更大的灵活性。然而，分离定理的核心贡献在于提供了一种模块化的系统设计方法：通信系统的设计者可以独立地设计和优化信源编码器和信道编码器，而不必担忧两者之间的交互影响。这一设计范式在现代通信系统中得到了广泛应用，例如蜂窝网络中将音视频压缩（H.264/H.265、AAC 等）与信道编码（LDPC 码、Turbo 码、Polar 码）独立选型，互联网协议栈中将应用层的压缩与传输层的纠错分别处理。分离编码带来的模块化优势使得通信系统的标准化和演进得以解耦，不同模块可以由不同专业团队独立优化。
率失真函数 的凸性质与分离定理的联系。 的凸性保证了时间共享（time-sharing）操作的最优性：若两种编码方案分别达到 和 ，则可以通过交替使用两者达到凸组合 。这一性质使得率失真函数的定义域和值域构成凸集，为分离定理中码率与失真的权衡分析提供了数学基础。从更宏观的视角看，分离定理揭示了通信系统的两个基本约束——信源熵与信道容量之间的内在联系，它将通信问题优雅地分解为两个独立的子问题：尽可能紧凑地表示信源，以及尽可能可靠地在信道上传输数据。
链接到
- 上一个知识点：无（本章第一个知识点）
- 下一个知识点：10.2 联合编码