互信息量
互信息量（Mutual Information）衡量的是从事件 y 中获取了多少关于事件 x 的信息量。其定义基于自信息量与条件自信息量之差：。互信息量反映了事件 y 的发生为事件 x 带来的信息增益。
互信息量具有三条重要性质。性质一（对称性）：，即 x 与 y 之间相互提供的信息量相等。性质二： 当且仅当 x 与 y 相互独立，此时两个事件之间不提供任何互信息。性质三：互信息量可正可负——正值表示 y 的发生增加了 x 的确定性，负值则表示 y 的发生反而降低了 x 的确定性，即提供了误导信息。
互信息量满足链式法则变种：。该式表明，事件 yz 同时出现后对 x 提供的信息量，等于 z 单独出现对 x 提供的信息量，加上在已知 z 的条件下 y 出现对 x 提供的信息量。这一递推关系是信息论中链式法则在事件层面的具体体现。