6.2 联合典型集

联合典型集

联合典型集（Jointly Typical Set）是单信源典型序列概念向多随机变量的推广，是信道编码定理证明中的核心分析工具。考虑一对离散随机变量 $(X,Y)$，服从联合分布 $p(x,y)=p(x)p(y|x)$。对于长度为 $n$ 的序列对 $(x^n,y^n)$，联合典型集 $A_{\epsilon }^{(n)}$ 定义为所有满足以下三个不等式条件的序列对的集合：

$$\left|-\frac{1}{n}\log p(x^n)-H(X)\right|<\epsilon ,\left|-\frac{1}{n}\log p(y^n)-H(Y)\right|<\epsilon ,\left|-\frac{1}{n}\log p(x^n,y^n)-H(X,Y)\right|<\epsilon$$

其中p(x^n) = \prod_{i=1}^n p(x_i)，p(y^n) = \prod_{i=1}^n p(y_i)，p(x^n, y^n) = \prod_{i=1}^n p(x_i, y_i)。这三个条件分别保证了x^n是X的典型序列、y^n是Y的典型序列，且(x^n, y^n)是联合典型序列。联合典型集的大小约为2^{nH(X,Y)}，并且处于方体中的序列数量满足：|A_\varepsilon^{(n)}| \leq 2^{n(H(X,Y)+\varepsilon)}，对于足够大的n有|A_\varepsilon^{(n)}| \geq (1-\varepsilon)2^{n(H(X,Y)-\varepsilon)}。

联合典型集具有三个关键性质，它们是信道编码定理证明的基础。性质一（联合AEP）：当序列对(x^n, y^n)服从联合分布p(x^n, y^n)时，其落入联合典型集的概率随着n的增大趋近于1。性质二（联合典型序列计数）：联合典型集中序列对的数量以2^{nH(X,Y)}为指数增长。性质三（独立分布下的概率）：如果x^n和y^n分别服从边际分布p(x^n)和p(y^n)且相互独立（即联合分布为p(x^n)p(y^n)），那么(x^n, y^n)落入联合典型集的概率依概率收敛于2^{-nI(X;Y)}。这一性质可以在数学上表述为：

$$\mathrm{Pr}\left((X^n,Y^n)\in A_{\epsilon }^{(n)}\mid X^n\sim p(x^n),Y^n\sim p(y^n)\text{ 独立}\right)\le 2^{-n(I(X;Y)-3\epsilon )}$$

性质三的直观解释是：当两个序列独立生成时，它们在概率上几乎不可能偶然形成联合典型对，且这一不可能性随码长n的增加呈指数级增强。正是这一性质保证了随机编码中错误码字几乎不可能被误判为与接收序列构成联合典型对。联合典型集的概念已经被推广到多用户信息论中的多终端联合典型集，是分析广播信道、多址接入信道和认知无线电信道等复杂通信系统性能的基本工具。

链接到

• 上一个知识点：6.1 通信系统模型
• 下一个知识点：6.3 信道容量