二分分布
二分分布（dyadic distribution）是指所有符号的概率均为 2 的负整数次幂的概率分布，即每个概率值可表示为 的形式，其中 为正整数。具有这种性质的分布称为二分（dyadic）的，它在前缀码理论中具有特殊地位。
对于二分分布，Huffman 编码能够达到最优的整数码长，且平均码长恰好等于熵值 。这是因为此时每个符号的最优码长 已经是整数，无需取整操作，因此不存在因取整带来的效率损失。二分分布的构造方法与一般的 Huffman 编码过程一致：将所有符号按概率从小到大排序，反复合并概率最小的两个节点，最终得到一棵二叉树。在二分分布中，由于概率的特殊结构，每一步合并操作都能自然地保持概率值的二分性质。
二分分布的重要性在于，它是理解编码极限和构造最优编码的关键桥梁。任何概率分布虽然不一定是二分的，但可以通过适当的扩展和近似转化为二分分布来处理。这也是 Shannon 编码和算术编码等方案的理论基础——通过累积分布将任意概率分布映射到二分分布上进行处理，从而实现接近熵界的压缩效果。
链接到
- 上一个知识点：4.5 Shannon编码
- 下一个知识点：4.7 哈夫曼编码