5.2 数据处理不等式

数据处理不等式

基本定义

数据处理不等式（Data Processing Inequality, DPI）是信息论中最重要的不等式之一，它揭示了信息在传递和处理过程中的一个基本规律——任何对数据的处理都不能增加其中包含的信息量。具体而言，对于构成马尔可夫链 $X\to Y\to Z$ 的三个随机变量，有：

$$I(X;Z)\le I(X;Y)$$

其中 $X\to Y\to Z$ 表示 $Z$ 的条件分布仅依赖于 $Y$，而与 $X$ 条件独立，即 $p(x,y,z)=p(x)p(y|x)p(z|y)$，等价于 $p(z|x,y)=p(z|y)$。该不等式表明，无论 $Y$ 到 $Z$ 的映射是确定性的还是随机性的，$Z$ 中关于 $X$ 的信息量都不可能超过 $Y$ 中关于 $X$ 的信息量。类似地，也有 $I(X;Z)\le I(Y;Z)$。

证明与推广

数据处理不等式的证明可以直接由互信息的链式法则和条件互信息的非负性导出：

$$I(X;Y,Z)=I(X;Y)+I(X;Z|Y)=I(X;Z)+I(X;Y|Z)$$

由于 $X\to Y\to Z$ 构成马尔可夫链，有 $I(X;Z|Y)=0$，因此：

$$I(X;Y)=I(X;Z)+I(X;Y|Z)\ge I(X;Z)$$

其中 $I(X;Y|Z)\ge 0$，等号成立当且仅当 $X$ 和 $Y$ 在给定 $Z$ 的条件下独立。数据处理不等式还可以推广到KL散度的形式：对于马尔可夫链 $X\to Y\to Z$，以及任意两个分布 $p(x)$ 和 $q(x)$，有：

$$D(p(y)\Vert q(y))\ge D(p(z)\Vert q(z))$$

其中 $p(z)={\sum }_{y}p(z|y)p(y)$，$q(z)={\sum }_{y}p(z|y)q(y)$。这说明在随机映射下，分布之间的区分性（KL散度）也不会增加。

在通信系统中的应用

在通信系统中，数据处理不等式有着直接而深刻的应用。考虑一个典型的通信模型：信源 $W\to$ 编码器 $\to$ 信道输入 $X^n\to$ 信道 $\to$ 信道输出 $Y^n\to$ 译码器 $\to$ 估计 $\hat{W}$。这一过程构成马尔可夫链 $W\to X^n\to Y^n\to \hat{W}$，因此有：

$$I(W;\hat{W})\le I(W;Y^n)\le I(W;X^n)\le H(W)$$

这意味着接收端的任何后处理（如译码、均衡、去噪）都不能增加信道传输的信息量，信道容量 $C={\max }_{p(x)}I(X;Y)$ 是系统性能的根本上限。数据处理不等式也因此成为信道编码定理中逆定理证明的核心工具之一。

在统计学习与隐私保护中的应用

在统计学习中，数据处理不等式表明特征工程和特征提取过程不可能创造出比原始数据更多的信息。对于任何特征映射 $f:\mathcal{X}\to \mathcal{Z}$，有 $I(Y;Z)\le I(Y;X)$，其中 $Y$ 是预测目标。这意味着分类器性能的最终上限由原始数据中目标变量的信息量决定，任何特征变换都只能维持或减少这一信息量。这一结论对理解过拟合、正则化以及表示学习的基本局限具有重要指导意义。

在隐私保护领域，数据处理不等式揭示了数据扰动的隐私保护机制。通过向数据中添加噪声或进行某种随机化处理，可以降低敏感信息与处理后数据之间的互信息。设 $X$ 为敏感数据，$Y$ 为发布的数据，$Z$ 为攻击者推测的结果，则由 $X\to Y\to Z$ 有 $I(X;Z)\le I(X;Y)$。这为差分隐私等信息论隐私度量提供了理论基础。从更一般的意义上说，数据处理不等式体现了信息论中的一个基本信条——信息只会衰减，不会创造，这一结论对整个信息科学具有基础性的指导意义。

链接到

• 上一个知识点：5.1 马尔可夫过程
• 下一个知识点：5.3 充分统计量