条件自信息
条件自信息量(Conditional Self-information)衡量在已知某一事件 y 发生的条件下,另一事件 x 发生所包含的信息量。其定义为 ,其中 p(x|y) 为条件概率。
条件自信息量反映了在已有部分信息的情况下,剩余不确定性的度量。已知的条件越充分,p(x|y) 越接近 1,条件自信息量就越小;反之,若已知条件并未降低不确定性,则条件自信息量接近无条件时的自信息量。
条件自信息量与联合自信息量、自信息量之间存在重要关系:。即联合事件的信息量等于先发生事件的信息量加上后发生事件在已知前事件条件下的信息量。这一关系是链式法则的核心体现,在信息论中广泛使用。
相关笔记
