量化
量化（Quantization）是将连续随机变量转换为离散随机变量的过程，是连接连续信息论与离散信息论的桥梁。对连续随机变量 X，将其取值空间划分为若干区间，每个区间用一个代表值（通常是该区间的中点或质心）替代，从而得到离散随机变量 Q(X)。
量化的核心问题在于：给定量化级数 N，如何选择划分区间和代表值以最小化量化误差。信息论视角下，量化精度与微分熵之间存在紧密联系——量化后的离散熵近似等于微分熵减去量化精度的对数：，其中 为量化步长。当 趋近于零时，量化后的熵趋近于微分熵加上一个发散的项，这反映了连续变量需要无限精度才能被完整描述的事实。
在率失真理论中，量化是信源编码的基本手段。均匀量化器在输入分布均匀时最优，而非均匀量化器（如基于Lloyd-Max算法的量化器）可以根据输入分布自适应地调整区间宽度——在概率密度高的区域使用更细的量化步长，在概率密度低的区域使用更粗的步长，从而在给定比特率下获得更低的失真。