9.2 率失真函数

率失真函数

率失真函数（Rate-Distortion Function）是率失真理论的核心概念，描述了在允许一定失真的前提下，对信源进行压缩所需的最小码率。设信源随机变量 $X$ 服从分布 $p(x)$，重构符号为 $\hat{X}$，失真度量 $d(x,\hat{x})$ 刻画了原始符号与重构符号之间的代价。率失真函数定义为在所有满足平均失真不超过 $D$ 的条件分布 $p(\hat{x}|x)$ 中，互信息 $I(X;\hat{X})$ 的最小值：

$R(D)={\min }_{p(\hat{x}|x):\mathbb{E}[d(X,\hat{X})]\le D}I(X;\hat{X})$

率失真函数具有以下重要性质。首先，$R(D)$ 是失真阈值 $D$ 的非增凸函数，当 $D=0$ 时，$R(0)\le H(X)$，等号在无失真压缩时成立。其次，存在一个最大失真 $D_{\max }$，使得当 $D\ge D_{\max }$ 时 $R(D)=0$，此时无需传输任何信息即可达到失真要求。$D_{\max }$ 通常取 ${\min }_{\hat{x}}\mathbb{E}[d(X,\hat{x})]$，即选择与信源最匹配的固定重构符号所对应的期望失真。

率失真函数与信道容量之间存在深刻的对偶关系。信道容量 $C={\max }_{p(x)}I(X;Y)$ 刻画了在给定信道下能够可靠传输的最大信息量，而率失真函数 $R(D)$ 刻画了在给定失真下需要传输的最小信息量。信道编码定理关注在噪声信道中如何最大化保留信息，率失真理论则关注在允许损失的前提下如何最小化所需的信息。两者共同构成了信息论中信源信道分离定理的理论基础。对于连续信源，率失真函数通常通过率失真理论中的下界公式进行估计，例如对于均方误差失真下的高斯信源，有 $R(D)=\frac{1}{2}\log \frac{{\sigma }^2}{D}$。

链接到

• 上一个知识点：9.1 率失真理论
• 下一个知识点：9.3 率失真定理证明