9.1 率失真理论

率失真理论

率失真理论（Rate-Distortion Theory）研究在保证失真不超过给定阈值 $D$ 的前提下，对信源进行压缩所能达到的最小码率 $R$。其核心问题是确定率失真函数 $R(D)$，该函数描述了码率与失真之间的最优权衡关系。率失真函数定义为在所有满足平均失真约束 $\mathbb{E}[d(X,\hat{X})]\le D$ 的条件分布 $p(\hat{x}|x)$ 中，互信息 $I(X;\hat{X})$ 的最小值：

$R(D)={\min }_{p(\hat{x}|x):\mathbb{E}[d(X,\hat{X})]\le D}I(X;\hat{X})$

其中 $X$ 为信源符号，$\hat{X}$ 为重构符号，$d(x,\hat{x})$ 为失真度量。率失真函数 $R(D)$ 是 $D$ 的非增凸函数，当 $D=0$ 时，$R(0)\le H(X)$，等号在无失真压缩时成立。当 $D$ 增大到 $D_{\max }$ 时，$R(D_{\max })=0$，此时无需传输任何信息即可满足失真要求。$D_{\max }$ 通常取 ${\min }_{\hat{x}}\mathbb{E}[d(X,\hat{x})]$，即选择使期望失真最小的固定重构符号。

率失真理论与信道编码理论之间存在深刻的对偶关系。信道编码定理关注在给定信道转移概率 $p(y|x)$ 的条件下，通过优化输入分布 $p(x)$ 来最大化互信息，即信道容量 $C={\max }_{p(x)}I(X;Y)$。而率失真理论则关注在给定信源分布 $p(x)$ 和失真度量 $d(x,\hat{x})$ 的条件下，通过优化条件分布 $p(\hat{x}|x)$ 来最小化互信息。两者优化方向恰好相反：信道编码需要最大化保留信息以对抗信道噪声，率失真则需要最小化保留信息以实现高效压缩。正是这种对偶性奠定了信源信道分离定理的理论基础。率失真函数具有凸函数性质，这意味着通过时间共享（time-sharing）两种不同的编码方案，可以线性组合它们的率和失真，从而填充率失真曲线上的任意点，这一性质保证了率失真优化问题的凸性，使得全局最优解可以通过凸优化方法求得。

从几何角度理解，率失真理论可以直观地解释为”球覆盖”问题。设信源序列 $X^n$ 位于高维空间中，每个码字 ${\hat{X}}^n$ 对应一个”失真球”：满足 $\frac{1}{n}{\sum }_{i=1}^{n}d(X_i,{\hat{X}}_i)\le D$ 的序列均可用该码字以可接受的失真表示。率失真函数 $R(D)$ 即计算覆盖整个典型信源序列集所需的最少失真球数量，亦即 $\frac{1}{n}\log N_{\min }(n,D)$，其中 $N_{\min }(n,D)$ 为最小覆盖球数。这一几何观点与信道编码中的球包（sphere packing）论证结构相似，但优化目标不同。在信道编码中，我们希望在噪声球不重叠的前提下尽可能多地放置码字；在率失真中，我们希望在覆盖所有信源序列的前提下尽可能少地使用码字。对于均方误差失真下的高斯信源，率失真函数有闭式表达式 $R(D)=\frac{1}{2}\log \frac{{\sigma }^2}{D}$（其中 $0\le D\le {\sigma }^2$），这一公式在高斯信源的压缩编码中起着基准性的作用。率失真理论在实际编码系统中具有广泛的应用，从语音编码中的矢量量化到图像视频编码中的率失真优化量化，再到感知编码中利用人类听觉/视觉掩蔽效应设计的失真度量，率失真框架为各类有损压缩系统的设计和性能评估提供了统一的理论基础。

链接到

• 上一个知识点：无（本章第一个知识点）
• 下一个知识点：9.2 率失真函数