条件熵

条件熵（Conditional Entropy） $H (X ∣ Y)$ 衡量在已知随机变量 Y的条件下，随机变量 X的平均不确定性。其定义为 $H (X ∣ Y) = - \sum\sum p (x y) lo g p (x ∣ y)$ ，即在 Y的每个取值下 X的熵的加权平均。

条件熵反映了已知 Y 后 X 剩余的不确定性，因此也称为”含糊度”或”疑义度”。若 Y 完全决定 X，则 $H (X ∣ Y) = 0$ ；若 Y 与 X 独立，则 $H (X ∣ Y) = H (X)$ ，即知道 Y 并不能降低 X 的不确定性。

条件熵与信息熵的关系是 $H (X ∣ Y) = H (X Y) - H (Y)$ ，说明知道 Y 后 X 的不确定性等于联合系统的总不确定性减去 Y 自身的不确定性。这一关系直观地体现了”信息即不确定性的减少”这一哲学。