信息论,失真函数

《信息论,失真函数》由会员分享，可在线阅读，更多相关《信息论,失真函数（43页珍藏版）》请在文档大全上搜索。

1、4.1 失真度与信息率失真函数失真度与信息率失真函数4.2 离散信源的信息率失真函数离散信源的信息率失真函数4.3 连续信息的信息率失真函数连续信息的信息率失真函数4.4 保真度准则下的信源编码定理保真度准则下的信源编码定理第第4章章 信息率失真函数信息率失真函数4.1.1 4.1.1 失真度与平均失真度失真度与平均失真度4.1.2 4.1.2 信息率失真函数信息率失真函数4.1.3 4.1.3 信息率失真函数的性质信息率失真函数的性质1nxxX1myyY)/(ijxyp对任一对任一),(jiyx指定一个指定一个非负数非负数0),(jiyxd),(.),(),(.),(.),(),(),(.)

2、,(),(212221212111mnnnmmyxdyxdyxdyxdyxdyxdyxdyxdyxdD失真矩阵失真矩阵失真函数失真函数4.1.1 失真度与平均失真度失真度与平均失真度x1 y1x2y2xnynjiajiyxdji0),(aaaaaaa.0.011a汉明失真汉明失真0111011102)(),(ijjixyyxd2平方误差失真函数平方误差失真函数nimjjiiiijiyxdxypxpyxdED11),()/()(),(平均失真度平均失真度允许失真DD 4.1.2 信息率失真函数信息率失真函数DD D失真许可的试验信道试验信道: )/(DDxypPijD调整调整 使使R DPDR

3、D);(min)()/(YXIDRDijPxyp定义域定义域1D是允许平均失真度是允许平均失真度nijijiyxdxpD1min),(min)(当失真矩阵的每一行至少有一个零元素时，信源的当失真矩阵的每一行至少有一个零元素时，信源的平均失真度为零。平均失真度为零。最小值最小值0minD时，时，R(0)=H(X)4.1.3 信息率失真函数的性质信息率失真函数的性质)()/(jijypxyp令令mjjjypnijiimjjypnimjjijiypDypyxdxpypDyxdypxpjjj1)(11)(11max)()(min),()()(min),()()(minjnijiiDyxdxp1),()

4、(最大值最大值当当R(D)=0时，对应的平均失真最大时，对应的平均失真最大0);(YXImmnmnnDDDyxdyxdyxdyxdyxdyxd.211221111),(.),(.),(.),(),(.),(假定所有Dj中，Ds最小，令sjsjypj01)(jjDDminmax下凸性下凸性2 连续和单调递减性连续和单调递减性3DH(X)R(D)maxDDD 4.2 离散信源的信息率失真函数离散信源的信息率失真函数4.2.1 信息率失真函数的计算信息率失真函数的计算4.2.2 二元离散信源的信息率失真二元离散信源的信息率失真函数的计算函数的计算DijjiiPxypyxdxp)/(),(),(nim

5、jjijijiypxypxypxpYXI11)()/(ln)/()();(DD nixypmjij, 2 , 1 1)/(1),()/()(11jiijinimjyxdxypxpDniijijxypxpyp1)/()()(4.2.1 信息率失真函数的计算信息率失真函数的计算)()()();(11nimjjiijiD,yxdxypxpSyxI令mjijixypu1 1)(0)(ij/xyp0)()(S)()(ln)(ijiijijiu,yxdxpypxypxp0ln),()()/(lnijjijyxSdypxypi)(lniiixpu令令),()()/(jyixjiijSdeypxyp1ijij

6、imjyxSdeyp得1),()(12niiijjjyixSdexpypyp1),()()()(3将（1）式对j求和将（1）式两边乘以p(xi),再对j求和将（2）式代入（3）式)()(Sfypj代入（2）式求出 )(Sfi),()()()(11),(jijijiiyxdeypxpSDnimjyxSd4)()(ln)()()(),(11),(jjijijijiiypeypeypxpSRyxSdnimjyxSdniiixpSSD1ln)()(5)(ijxyp求出mjyxSdjyxSdjijjijieypeypxyp1),(),()()()/(得和代入将);()(YXIDxypijSdDdRnii