典型集
典型集是渐进等分性（AEP）的核心概念，它描述了当信源扩展次数 足够大时，概率最集中的那些序列所形成的集合。对于离散无记忆信源 ，给定一个小的正数 ，长度为 的典型集 定义为满足以下条件的序列 的集合：
典型集的核心性质包括：典型集中序列的概率近似相等，且其对数概率接近 ；当 充分大时，信源生成典型序列的概率趋近于 ；典型集中包含的序列数量大约为 。具体地，典型集的基数满足 。
典型集的重要意义在于它揭示了数据压缩的理论极限。 越小，典型集相对于全集的比例也越小，这意味着信源的可压缩性越强。反过来，信源平均信息熵越小，信源的不确定性越少，则越容易压缩。无论采用何种编码方法，每个符号平均最少需要 个比特来表示，这由典型集的基数的下界所保证——任何大小小于典型集下界的集合，其概率都将收敛到 ，无法覆盖大多数概率集中区域。