第2章信源及其信息量

《第2章信源及其信息量》由会员分享，可在线阅读，更多相关《第2章信源及其信息量（128页珍藏版）》请在文档大全上搜索。

1、第1页2022-6-12.1 信源的数学模型和分类信源的数学模型和分类2.2 离散信源的熵与互信息离散信源的熵与互信息2.3 熵的性质熵的性质2.4 离散信源序列的熵离散信源序列的熵2.5 连续信源的熵与互信息量连续信源的熵与互信息量2.6 信源的相关性与冗余度信源的相关性与冗余度本章重点：信源的统计特性和数学模型、各类信源的本章重点：信源的统计特性和数学模型、各类信源的 信息测度信息测度熵及其性质。熵及其性质。第2页2022-6-12.1 信源的数学模型和分类信源的数学模型和分类 从幅度和时间上，可以将信源分为两大类：从幅度和时间上，可以将信源分为两大类： 离散信源和连续信源。离散信源和连续

2、信源。产生消息的信源符号在幅度和时间上都是离散的产生消息的信源符号在幅度和时间上都是离散的(和信号与系统中和信号与系统中的概念不同的概念不同)，即符号数量是可数的或者是有限的，这样的信源是，即符号数量是可数的或者是有限的，这样的信源是离散信源离散信源。 如果信源的符号在时间上或者在幅度上是连续的，这类信源就是如果信源的符号在时间上或者在幅度上是连续的，这类信源就是连续信源连续信源 。注意：注意：对信号进行取样，将之转换为时间上离散的信号序列，但对信号进行取样，将之转换为时间上离散的信号序列，但是由于该信号序列的幅度取值是连续的，所以这样的信源仍然是是由于该信号序列的幅度取值是连续的，所以这样的

3、信源仍然是连续信源连续信源。 如果对序列进行量化编码，就得到数字信号序列，时间和幅度都如果对序列进行量化编码，就得到数字信号序列，时间和幅度都是离散的信号，这样的信源就是是离散的信号，这样的信源就是离散信源离散信源。 在信息处理中，经常采用取样、在信息处理中，经常采用取样、 量化编码技术将量化编码技术将连续连续(模拟模拟)信号转化为数字信号进行处理，如图信号转化为数字信号进行处理，如图2.1所示。所示。 从信息论的角度而言，就是将连续信源转化为离散信源。从信息论的角度而言，就是将连续信源转化为离散信源。 根据消息之间是否相互关联，可以将信源划分为有记忆根据消息之间是否相互关联，可以将信源划分为

4、有记忆信源和无记忆信源。信源和无记忆信源。 图图2.1 数字信号获取数字信号获取第3页2022-6-12.1信源的数学模型与分类第4页2022-6-1 2.1信源的数学模型与分类信源输出的符号是相互依赖、信源输出的符号是相互依赖、 相互关联的，即先后输出的符号之相互关联的，即先后输出的符号之间具有一定的联系，这样的信源称为间具有一定的联系，这样的信源称为有记忆信源有记忆信源；有记忆信源需要用符号序列或者矢量加以描述。有记忆信源需要用符号序列或者矢量加以描述。 信源发出的符号之间是相互独立的，这样的信源就是信源发出的符号之间是相互独立的，这样的信源就是无记忆信源无记忆信源。无记忆信源可以用单个的

5、独立变量，即单个符号表示，也可以用无记忆信源可以用单个的独立变量，即单个符号表示，也可以用符号序列表示符号序列表示。总之，不同的信源输出消息规律不同，使用的描述模型也是不同总之，不同的信源输出消息规律不同，使用的描述模型也是不同的，可以根据消息不同的随机性质对信源进行分类的，可以根据消息不同的随机性质对信源进行分类。第5页2022-6-12.1.1 信源输出的消息由随机变量描述信源输出的消息由随机变量描述 几种不同的消息构成互不相容的基本事件集合，记几种不同的消息构成互不相容的基本事件集合，记作集合作集合A。123456111111( )666666aaaaaaXp x且各个事件发生的概率满足

6、且各个事件发生的概率满足61( )1iip a 如果骰子是均匀的，那么每个消息出现的概率是相如果骰子是均匀的，那么每个消息出现的概率是相等的，都为等的，都为1/6，用一个随机变量，用一个随机变量X加以描述，此时信源加以描述，此时信源的模型或者概率空间为的模型或者概率空间为 若集合若集合A包含了包含了6个消息符号，可以分别用符号个消息符号，可以分别用符号ai(i=1，2，6)表示。表示。2.1信源的数学模型与分类第6页2022-6-1信源可用一个概率空间完全描述，即如果各个符号出现的概率一信源可用一个概率空间完全描述，即如果各个符号出现的概率一定，那么信源就确定了；反之，如果信源一定，那么各个符

7、号出定，那么信源就确定了；反之，如果信源一定，那么各个符号出现的概率就确定了，所以信源的消息符号及其概率分布完整地描现的概率就确定了，所以信源的消息符号及其概率分布完整地描述了信源的特性。述了信源的特性。如果信源输出的消息数量是有限或者可数的，而且每次只输出符如果信源输出的消息数量是有限或者可数的，而且每次只输出符号集中的一个消息，这样的信源称为号集中的一个消息，这样的信源称为简单离散信源简单离散信源。 简单离散信源简单离散信源是是无记忆无记忆的，用一维离散随机变量加以描述，假设的，用一维离散随机变量加以描述，假设信源符号数量为信源符号数量为r，这种信源的数学模型可以用下列离散概率空间，这种信

8、源的数学模型可以用下列离散概率空间加以描述加以描述1212.()().()( )rraaaXp ap ap ap x且满足且满足1( )1riip a2.1信源的数学模型与分类第7页2022-6-1如果信源的输出是单个符号消息，消息的数量是不可数的，即输如果信源的输出是单个符号消息，消息的数量是不可数的，即输出消息的取值是连续的，这样的信源称为出消息的取值是连续的，这样的信源称为简单的连续信源简单的连续信源。简单的连续信源可用一维连续随机变量来描述消息，对应的数学简单的连续信源可用一维连续随机变量来描述消息，对应的数学模型为连续概率空间：模型为连续概率空间： 其中，其中，(a，b)分别表示消息

9、符号的取值范围，而分别表示消息符号的取值范围，而R表示实数，表示实数，p(x)表示随机变量的概率密度函数。表示随机变量的概率密度函数。 以上讨论的信源都是简单情况，即信源每次只是输出一个消息，以上讨论的信源都是简单情况，即信源每次只是输出一个消息，所以使用一维概率空间加以描述。所以使用一维概率空间加以描述。( , )( )( )Xa bp xp x( )( )XRp xp x或者或者 且满足且满足( )d1bap xx ( )d1Rp xx 或者或者 2.1信源的数学模型与分类第8页2022-6-12.1信源的数学模型与分类2.1.2 信源输出的消息由随机矢量描述信源输出的消息由随机矢量描述

10、信源输出的消息就是一个符号序列，可用二维随机矢量描述该信信源输出的消息就是一个符号序列，可用二维随机矢量描述该信源，即源，即如果离散信源输出的消息是由一系列符号组成的，这样的信源称如果离散信源输出的消息是由一系列符号组成的，这样的信源称为为多维离散信源多维离散信源。 多维多维离散信源用离散信源用N维随机矢量维随机矢量X=(X1，X2，XN)描述，描述，N维随机维随机矢量也称为矢量也称为N维随机序列。维随机序列。 一般说来，随机序列的统计特性比较一般说来，随机序列的统计特性比较复杂，分析起来比较困难。复杂，分析起来比较困难。 12( )0.80.2Xaap x其中，其中，a1、 a2分别表示白色

11、球和黑色球。分别表示白色球和黑色球。 211122122( ,)( ,)(,)(,)8079802020 8020 19( )100 99100 99100 99100 99a aa aa aa aXp x第9页2022-6-12.1.2 信源输出的消息由随机矢量描述信源输出的消息由随机矢量描述 如果信源输出的随机序列的统计特性与时间的推移无关，那么该如果信源输出的随机序列的统计特性与时间的推移无关，那么该序列是序列是平稳平稳的。的。平稳随机序列分析相对简单，在实际中，为了分析问题方便起见，平稳随机序列分析相对简单，在实际中，为了分析问题方便起见，假设分析的序列都是平稳的。假设分析的序列都是平