3.1 信源概念

信源概念

信源是信息论中最基本的概念之一。一个离散信源可以用一个符号集合及其对应的概率分布来描述，即信源对应于一个具有确定概率分布的随机变量。在数学上，离散信源表示为随机变量 $X$，其取值于有限符号集 $\mathcal{X}=\{a_1,a_2,\dots ,a_q\}$，每个符号 $a_i$ 出现的概率为 $p_i=P(X=a_i)$，满足归一化条件 ${\sum }_{i=1}^q{p}_i=1$。信源的信息熵定义为 $H(X)=-{\sum }_{i=1}^q{p}_i\log p_i$，它度量了信源每个符号所携带的平均信息量，反映了信源的不确定度。

信源的核心特性在于其输出服从概率规律而非确定性规律，这一特性使得信源输出中蕴含的信息可以被度量和处理。信息论研究的主要目标之一就是建立信源的数学模型，分析其统计特性，从而设计最优的编码和传输方案。信源的信息熵 $H(X)$ 给出了无损压缩的理论下限，即每个符号平均至少需要 $H(X)$ 个比特来表示。

根据信源输出符号之间的依赖关系，离散信源可以分为无记忆信源和有记忆信源两大类。无记忆信源各时刻输出相互独立，而有记忆信源中符号之间存在统计依赖关系，典型的如马尔可夫信源。信源模型的选取直接影响编码策略、压缩效率和传输性能的分析。

链接到

• 上一个知识点：无（本章第一个知识点）
• 下一个知识点：3.2 离散无记忆信源