信息论第5章 无失真信源编码
《信息论第5章 无失真信源编码》由会员分享，可在线阅读，更多相关《信息论第5章 无失真信源编码（93页珍藏版）》请在文档大全上搜索。
1、1第第5 5章章 无失真信源编码无失真信源编码2编码的意义编码的意义通信的基本问题通信的基本问题：如何高速、高质地传送信息。如何高速、高质地传送信息。高速和高质鱼和熊掌。高速和高质鱼和熊掌。编码讨论的问题编码讨论的问题：（1 1）质量一定，如何提高信息传输速度（提高编码效率或压缩比）质量一定，如何提高信息传输速度（提高编码效率或压缩比）- 信源编码（本章讨论问题）信源编码（本章讨论问题）（2 2）信道传输速度一定，如何提高信息传输质量（抗干扰能力）信道传输速度一定，如何提高信息传输质量（抗干扰能力） -信道编码（下一章讨论）信道编码（下一章讨论）3信源输出的符号序列,需要变换成适合信道传输的符
2、号序列,一般称为码序列.对信源输出的原始符号按照一定的数学规则进行的这种变换称为编码.完成编码功能的器件称为编码器.接收短有一个译码器完成相反的功能.5.1 编码器4编码编码：信息的组织方式：信息的组织方式编码的实质编码的实质：对信源的原始符号按一定：对信源的原始符号按一定的数学规则进行的数学规则进行变换变换。编码的目的编码的目的：提高信息传输的有效性（信源编码）；提高信息传输的有效性（信源编码）；提高信息传输的可靠性。（信源或信道提高信息传输的可靠性。（信源或信道编码）编码） 5几个术语：几个术语：信源符号信源符号：信源输入：信源输入S=s1,s2,sq码符号码符号 (码元码元)：X=x1,
3、x2,xr码字码字Wi： 由由xj (j=1,2,r)组成的长度为组成的长度为 li 的序列，的序列，Wi与与si一一对应。一一对应。码字长度码字长度 (码长码长)： Wi的长度的长度li码码 (码书码书)：码字：码字Wi的集合的集合C=W1,W2,Wq 编码器编码器：将信源符号：将信源符号si变换成变换成Wi的设备的设备6信源编码信源编码信源编码信源编码：把信源符号：把信源符号si映射为码字映射为码字Wi的的过程。过程。 无失真编码无失真编码：映射是一一对应、可逆的。：映射是一一对应、可逆的。无失真信源编码无失真信源编码：尽可能精确的再现信：尽可能精确的再现信源的输出源的输出 信源编码基本思
4、想信源编码基本思想：尽可能缩短出现概：尽可能缩短出现概率大的信源符号的码率大的信源符号的码 7通信的根本问题是将信源的输出，经信道传输在接收端精确的或近似地重现出来，因此要首先解决两个问题： 第三章中已经回答了第一个问题,这一章要讨 论的是第二个问题.信源编码器如下图所示:89101112定长码和变长码13奇异码和非奇异码14N次扩展码151617说明:本章我们讨论的都是同价码同价码,即每个码元符号所占的传输时间是相同的.显然,对同价码而言,定长码中每个码字的传输时间是相同的,而变长码中每个码字的传输时间不一定相等.185.2 分组码定义：19奇异性2021唯一可译性22即时性2324一个码，
5、若其中所有码字均处于终端节点，即端点上，则该码为非续长码。2526不超过终端节点也叫端点。272829该树的该树的5 5个个终端节点终端节点W1,W2,W3W1,W2,W3,W4,W5,W4,W5分分别表示别表示5 5个个二进制码二进制码字字0 0，100100，111111，10101010，10111011按树图法构成的码一定满足即时码的充要条件，因为从根到叶所走的按树图法构成的码一定满足即时码的充要条件，因为从根到叶所走的路径各不相同，而且中间节点不安排为码字，所以一定满足对前缀的路径各不相同，而且中间节点不安排为码字，所以一定满足对前缀的限制。限制。30各节点（包括树根）长出的树枝树等
6、于r31325.35.3定长码定长码（51）33若令N1，则有qlrlog即lrq （52）（53）与51式一致。式53表示平均每个原始信源符号所需要的码符号个数，对于定长码，平均每个原始信源符号至少需要用 个码符号变换。qrlog343536定理5.3.137其中前一部分被视为正定理，后一部分被视为逆定理。其中前一部分被视为正定理，后一部分被视为逆定理。383940编码效率4142435.45.4变长码变长码变长码是在码符号序列长度N不大时就能编出效率很高而且无失真的信源码。要实现无失真的信源编码，变长码必须是唯一可译码唯一可译码。变长码要满足唯一可译码的条件，它必须是非奇异码非奇异码，而且
7、任意有限长N次扩展码也是非奇异的。为能即时进行译码，变长码还必须是即时码即时码。445.4.1 码的分类和主要编码方法45464748495.4.2 Kraft不等式50注意：仅仅是存在！5.4.2 克拉夫特不等式 与麦克米伦不等式 克拉夫特（kraft）不等式515253定理定理5.4.3 若存在一个码长为若存在一个码长为l1，l2，lq的惟一可译码，则一定存在具有相同码的惟一可译码，则一定存在具有相同码长的即时码。长的即时码。若存在一个码长为若存在一个码长为l1，l2，lq的惟一可译码的惟一可译码 满足满足Kraft不等式（定理不等式（定理5.4.2） 存在具有相同码长的即时码（定理存在具
