CH7保真度准则下信源编码ppt课件

《CH7保真度准则下信源编码ppt课件》由会员分享，可在线阅读，更多相关《CH7保真度准则下信源编码ppt课件（30页珍藏版）》请在装配图网上搜索。

1、 2012.12第第7章章 保真度准则下的信源编码保真度准则下的信源编码7.1 失真度和平均失真度7.2 信息率失真函数及其性质7.3 二元信源和离散对称信源的R(D)函数 7.4 保真度准则下的信源编码定理 7.5 联合有失真信源信道编码定理 2012.127.1 7.1 失失真真度和平均失度和平均失真真度度 在实际生活中，人们不一定要求完全无失真的恢复消息，也就是允许有一定的失真。那么在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，也就是，允许一定程度失真的条件下，如何能快速的传输信息，这就是本章所要讨论的问题。本章所讨论的内容是量化、数模转换、频带压缩和数据压缩的理论基础。20

2、12.12 7.1.1 失真度信源信源编码信道编码信道信道译码信源译码信宿干扰 根据信道编码定理，我们可以把信道编码、信道和信道解码等价成是一个没有任何干扰的广义信道，这样收信者收到消息后，所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一个信道。7.1 7.1 失失真真度和平均失度和平均失真真度度 2012.12信源信宿试验信道 我们称此信道为试验信道。现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。为此，我们首先讨论失真的测度。设信源变量为 ，其概率分布为 12,.rUu uu1()().()rP uP uP u对于每一对(u,v)，

3、我们指定一个非负的函数(,)0ijd u v称为单个符号的失真度或称失真函数）接收端变量为 ，12,.sVv vv 2012.12 失真函数用来表征信源发出一个符号 ，而在接收端再现成符号 所引起的误差或失真。d 越小表示失真越小，等于0表示没有失真。由于信源U有r个符号，信道输出V有s个符号，所以 有rs个，这rs个非负的函数可以排列成矩阵形式，即iujv111212122212(,)(,).(,)(,)(,).(,)(,)(,).(,)ssrrrsd u vd u vd u vd u vd u vd u vd u vd u vd u vD我们称它为失真矩阵D，它是r s阶矩阵。(,)ijd

4、 u v 2012.12例1：离散信源r=s），0(,)1ijijiju=vd u vuv当当失真矩阵为：01.110.1.11.0D这种失真成为汉明失真。汉明失真矩阵D通常为方阵，且对角线上的元素为0。即对于二元对称信源r=s=2），在汉明失真定义下，失真矩阵为0110D0,1,0,1UV 2012.12例2：删除信源1sr0(,)1(1/2()ijijd u vijj=sijjsi除以外的所有 和所有）所有对于二元删除信源r=2,s=301/2111/20D 2012.12例3：对称信源r=s，失真度定义为：2(,)()ijjid u vvu当r=s=3时，014101410D0,1,2,

5、0,1,2UV如果信源符号代表信源输出信号的幅度值，那么，这一种就是以方差表示的失真度。上式意味着较大的幅度差值要比较小的幅度差值引起的失真更为严重，称这种失真为平方误差失真。2012.127.1.2 平均失真度平均失真度(,)ijDE d u v若已知试验信道的传递概率，则平均失真度为：,11()(,)()()(,)rsijiijU VijDP uv d u vP u P vu d u v 若平均失真度 不大于我们所允许的失真D，即 ，我们称此为保真度准则。DDD凡满足保真度准则的这些试验信道称为D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合，用符号 表示。DB此值是描述某一信

6、源在某一次实验信道传输下的失真大小，是总体上描述整个系统的失真情况。2012.127.2 7.2 信息率失信息率失真真函函数数及其性及其性质质 7.2.1 信息率失真函数信息率失真函数 当信源和失真函数给定后，我们总希望在满足保真度准则当信源和失真函数给定后，我们总希望在满足保真度准则下，使信源必须传输给收信者的信息传输率下，使信源必须传输给收信者的信息传输率R尽可能地小。尽可能地小。把信源的压缩编码的过程看成一个信道，从这个信道的接收把信源的压缩编码的过程看成一个信道，从这个信道的接收端来说，就是在满足保真准则下，寻找平均互信息的最小值。端来说，就是在满足保真准则下，寻找平均互信息的最小值。

7、因此，在因此，在D失真许可的试验信道集合失真许可的试验信道集合 中找一个信道，使平中找一个信道，使平均互信息均互信息 取极小值。这个最小值就是在取极小值。这个最小值就是在 的条件下，的条件下，信源必须传输的最小平均信息量。信源必须传输的最小平均信息量。即即DB()()min (;)jiDP v uBR DI U VDD 这就是信息率失真函数或简称率失真函数,它的单位是比特/信源符号、哈特莱/信源符号或奈特/信源符号。(;)I U V 2012.12 留意：在研究R(D)时，我们引用的条件概率 并没有实际信道的含义。只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反映的仅

8、是不同的有失真信源编码或信源压缩。所以 改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率为最小。研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给用户的信息量最小，也即是用尽可能少的码符号来传送信源消息，以提高通信的有效性。()P vu 2012.12 7.2.2 信息率失真函数的性质信息率失真函数的性质 1.R(D)的定义域是的定义域是max(0,)D (1)和m inDmin()R D ，即不允许有失真，这要求失真矩阵中每行至少有一个为0。R(0)的最小值为H(U)，即信息传输率至少为信源的信息熵例：011/2101/2Dmin11()mi

9、n(,)()00rriijijiiDP ud u vP um in0D 2012.12 满足最小失真度的试验信道是一个无噪无损信道：100010P(2)maxmax()DR D和因为D越大，R(D)越小，最小为0，当D再大时，R(D)也只能为0，此时，发送与接收统计独立，即：()()P v uQ v失真度函数变为：,()()(,)U VDP u Q v d u v此时(0)(;)()RI U VH U 2012.12 所以，就是在R(D)=0的情况下，求 的最小值max(),min()()(,)Q vU VDP u Q v d u v当 时，而当 时maxDD()0,R D minmaxDDD

10、()()0H UR DmaxDD上式可改写为max()()min()()(,)min()()Q vQ vVUVDQ vP u d u vQ v d v 可以这样选 ，当 最小时，取 等于1，那么：()Qv()Qv()d vmaxmin()min()(,)VVUDd vP u d u vmin1()min(,)riijjiDP ud u vmaxmin()(,)jiijvViDP u d u v 2012.123.R(D)函数的单调递减性和连续性2.R(D)是允许失真度D的下凸函数即对于任意 有 12max01,D DD1212(1)()(1)()RDDR DR D 2012.127.3 7.3

11、 二元信源和离散二元信源和离散对称对称信源的信源的R(D)R(D)函函数数 7.3.1 二元对称信源的二元对称信源的R(D)函数函数 设二元信源U=0,1，其分布概率 ，(),1P u12而接收变量v=0,1，设汉明失真矩阵为：0110D 因而最小失真度 。并能找到满足该最小失真度的试验信道，且是一个无噪无损信道，其信道矩阵为：min0D1001P(0)(;)()RI U VH 2012.12maxmin()(,)VUDP u d u vmin(0)(0,0)(1)(1,0);(0)(0,1)(1)(1,1)VPdPdPdPdmin(1),要达到最大允许失真度，唯一确定 0101P此时，可计算

12、得信息传输率max()(;)0R DI U V 一般情况下，当 时，max0DD,()(,)U VDE dp uv d u v(0,1)(1,0)EP uvP uvP 2012.12此时，选取任一信道使 ，得平均互信息DD(;)()()()()I U VH UH U VHH U V根据费诺不等式，当r=2时有()()()EH U VH PH D所以有(;)()()I U VHH D即当 ，二元信源的信息率失真函数()()()R DHH D比特/信源符号max0DD 2012.12例：0.40.2D 综上所述，在汉明失真条件下，二元对称信源的信息率失真函数()()0()0HH DDR DD()(

13、0.4)(0.2)0.249R DHH比特/信源符号 2012.12 2012.12对于不同w值可以得出一组R(D)的曲线，如下图，可以看出，对于给定的平均失真度D，信源分布越均匀（w值接近1/2），R(D)越大，可压缩性越小；反之，信源分布越不均匀，R(D)越小，可压缩性越大。2012.12 对于离散对称信源，在汉明失真条件下：1loglog(1)()01()101rDrH DDrR DDr 7.3.2 离散对称信源的离散对称信源的R(D)函数函数 2012.127.4 7.4 保保真真度准度准则则下的信源下的信源编码编码定理定理 对于有失真信源编码来说，在允许一定失真的情况下，信源输出信息

14、率最少可减少到信息率失真函数R(D)，有可能是多个信源符号符号序列对应一个码字码字序列）。有失真信源编码定理就是关于信息率和失真关系的一个极限定理，也称香农第三定理，保真度准则下的离散信源编码定理。2012.127.4 7.4 保保真真度准度准则则下的信源下的信源编码编码定理定理 定理7.1 保真度准则下的信源编码定理香农第三定理）设R(D)为一离散无记忆信源的信息率失真函数，并且有有限的失真测度。对于任意的 ，以及任意足够长的码长n，则一定存在一种信源编码C，其码字个数为0,0,0D()n R DMe而编码后码的平均失真度()d CD如果用二元编码，R(D)取比特为单位，则上式M可写成：()

15、2n R DM 2012.12定理告诉我们：对于任何失真度 ，只要码长n足够长，总可以找到一种编码C，使编码后的每个信源符号的信息传输率即而码的平均失真度定理说明：在允许失真D的条件下，信源最小的、可达的信息传输率是信源的R(D)。log()MRR Dn0D()RR D()d CD 2012.12 定理7.2信源编码逆定理不存在平均失真度D，而平均信息传输率 的任何信源编码。即对任意码长n的信源码C，若码字个数 ，一定有()RR D()2n R DM()d CD 该定理告诉我们：如果编码后平均每个信源符号的信息传输率 小于信息率失真函数 ，就不能在保真度准则下再现信源的消息。R()R D 20

16、12.12保真准则下的信源编码定理的说明：保真准则下的信源编码定理的说明：1、它也是一个极限存在定理，不能像无失真信源编码定理那样从证明过程中引出概率匹配的编码方法。2、没有给出如何寻找这种最佳编码方法，一般只能从优化的思路去求最佳编码，至今尚无合适的可实现的编码方法来接近R(D)这个极限。常用的有失真信源编码有量化编码、预测编码、变换编码。2012.127.5 7.5 联联合有失合有失真真信源信道信源信道编码编码定理定理 定理7.3（信息传输定理离散无记忆信源S的信息率失真函数为R(D)，离散无记忆信道的信道容量C，若满足()CR D 则信源输出的信源序列能在此信道输出端重现，其失真小于等于

17、D。定理定理7.4（信息传输定理离散无记忆信源（信息传输定理离散无记忆信源S的信息率失的信息率失真函数为真函数为R(D)（比特（比特/信源符号），每秒钟输出信源符号），每秒钟输出 个信源个信源符号，离散无记忆信道的信道容量符号，离散无记忆信道的信道容量C比特比特/信道符号），每信道符号），每秒输出秒输出 个信道符号，若满足个信道符号，若满足 1/sT1/CT()CSCR DTT 则信源输出的信源序列能在此信道输出端重现，其失真小于等于D。2012.12 定理定理7.5（信息传输定理的逆定理离散无记忆信源（信息传输定理的逆定理离散无记忆信源S的的信息率失真函数为信息率失真函数为R(D)，每秒钟输出，每秒钟输出 个信源符号，离散个信源符号，离散无记忆信道的信道容量无记忆信道的信道容量C，每秒输出，每秒输出 个信源符号，若满足个信源符号，若满足 1/sT1/CT()CSCR DTT则在信道输出端不能以失真小于等于D再现信源输出的序列。以上信息传输定理及逆定理就是联合有失真信源信道编码定理。它与定理6.7是一致的。2012.1230作业nP301n n 7.3 7.5