《信源的率失真函数》PPT课件

第第7章章 信源的率失真函数信源的率失真函数第第7章章 信源的率失真函数信源的率失真函数教学内容和要求教学内容和要求理解保真度准则和测试信道理解保真度准则和测试信道理解单符号离散信源的率失真函数，掌握二进制理解单符号离散信源的率失真函数，掌握二进制信源、等概率信源的率失真函数信源、等概率信源的率失真函数理解单符号连续信源的率失真函数，掌握高斯信理解单符号连续信源的率失真函数，掌握高斯信源的率失真函数源的率失真函数第第7章章 信源的率失真函数信源的率失真函数7.1 保真度准则和测试信道保真度准则和测试信道1、失真度、失真度/失真函数失真函数定义定义)x,x(d)x,x(dx x XxxXjiji或的非负函数间或收到的消息与等效信源或发出的消息信源ji1ji0)x ,x(dji汉明失真度汉明失真度常用于离散信源常用于离散信源表示表示第第7章章 信源的率失真函数信源的率失真函数全部全部NN个失真度个失真度失真矩阵失真矩阵)x ,x(d.)x ,x(d)x ,x(d.)x ,x(d.)x ,x(d)x ,x(d)x ,x(d.)x ,x(d)x ,x(dDNN2N1NN22212N12111汉明失真矩阵汉明失真矩阵0.11.1.011.10D第第7章章 信源的率失真函数信源的率失真函数平方误差失真函数平方误差失真函数常用于连续信源常用于连续信源2)x x()x ,x(d第第7章章 信源的率失真函数信源的率失真函数2、平均失真度、平均失真度失真度失真度/失真函数的数学期望失真函数的数学期望定义定义N1iN1jjijiji)x ,x(d)x x(P)x ,x(dED表示表示 babax dxd)x ,x(d)x x(p)x ,x(dED第第7章章 信源的率失真函数信源的率失真函数3、保真度准则、保真度准则平均失真度不大于给定的允许失真平均失真度不大于给定的允许失真D定义定义表示表示DD第第7章章 信源的率失真函数信源的率失真函数4、测试信道、测试信道定义定义满足保真度准则的所有数据处理信道满足保真度准则的所有数据处理信道表示表示DD:)X/X(P)X/X(PD离散信源的测试信道离散信源的测试信道第第7章章 信源的率失真函数信源的率失真函数全部全部NN个测试信道转移概率个测试信道转移概率测试信道矩阵测试信道矩阵)x/x (P.)x/x (P)x/x (P.)x/x (P.)x/x (P)x/x (P)x/x (P.)x/x (P)x/x (P)X/X(PNND2ND1NDN2D22D12DN1D21D11DD连续信源的测试信道连续信源的测试信道DD:)x/x (p)x/x (pD测试信道转移概率密度函数测试信道转移概率密度函数第第7章章 信源的率失真函数信源的率失真函数7.2 离散信源的率失真函数离散信源的率失真函数信源固定时，保真度准则下平均互信息的最小值，信源固定时，保真度准则下平均互信息的最小值，用用R(D)表示表示定义定义信源固定时，信源固定时，对于测试信道转移概率对于测试信道转移概率 严格下凸严格下凸总能找到一种总能找到一种 ，使，使 在在保真度准则下达到最小保真度准则下达到最小)X;X(I)X;X(I)X/X(PD)X/X(PD)X;X(Imin)D(R)X/X(PD表示表示第第7章章 信源的率失真函数信源的率失真函数测试信道的测试信道的N个约束条件个约束条件N,2,1i1)x/x (PN1jijD保真度准则的约束条件保真度准则的约束条件D)x ,x(d)x x(PDN1iN1jjiji条件极值限制下的和在DDN,2,1i1)x/x (P)X;X(IN1jijD第第7章章 信源的率失真函数信源的率失真函数1)x/x (PD)x ,x(d)x/x (P)x(P S)X/X(H)X(H)x/x (P1)x/x (PD)x ,x(d)x/x (P)x(P S)X;X(I)x/x (PN1lklDkN1kN1llkklDkijDN1lklDkN1kN1llkklDkijD令第第7章章 信源的率失真函数信源的率失真函数)x/x (Plog)x/x (P)x(P)x (Plog)x (P)x/x (PN1kklDN1lklDkN1lllijDN,2,1jN,2,1i01)x/x (PD)x ,x(d)x/x (P)x(P SN1lklDkN1kN1llkklDk第第7章章 信源的率失真函数信源的率失真函数)x(P)x/x (P)x(P)x/x (P)x (P)x/x (PiN1kkjDkijDjijD注意到elog)x(P)x (Plog)x(P)x (Plog)x (P)x/x (PijilN1llijDelog)x(P)x/x (Plog)x(P)x/x (Plog)x/x (P)x(P)x/x (PiijDiN1kklDN1lklDkijD)x ,x(d)x(SPD)x ,x(d)x/x (P)x(P S)x/x (PjiiN1kN1llkklDkijD第第7章章 信源的率失真函数信源的率失真函数iN1lklDkijD1)x/x (P)x/x (PN,2,1jN,2,1i0)x ,x(d)x(SP)x/x (Plog)x(P)x (Plog)x(PijiiijDijiN,2,1jN,2,1i0)x(P)x ,x(Sd)x (P)x/x (PlogiijijijD)x(Plogiii记第第7章章 信源的率失真函数信源的率失真函数N,2,1jN,2,1i02log)x (P)x/x (Ploglog2log)x (P)x/x (Plog)x ,x(SdijijDi)x ,x(SdjijDjijiN,2,1jN,2,1i2)x (P)x/x (P)x ,x(SdjiijDjiN,2,1jN,2,1i2)x (P)x/x (P)x ,x(SdijijDji第第7章章 信源的率失真函数信源的率失真函数对对j求和求和N,2,1i2)x (P1N1j)x ,x(Sdjiji乘乘P(xi)对对i求和求和N,2,1j12)x(PN1i)x ,x(SdiijiN,2,1j2)x (P)x(P)x (PN1i)x ,x(SdjiijjiN,2,1i/12)x (PiN1j)x ,x(Sdjji第第7章章 信源的率失真函数信源的率失真函数率失真函数及达到率失真函数的测试信道率失真函数及达到率失真函数的测试信道N,2,1jS12)x(P)1(in1i)x ,x(Sdiiji的求含由N,2,1i)x (PS/12)x (P)2(jin1j)x ,x(Sdjji的求含由N,2,1jN,2,1i2)x (P)x/x (PS)3()x ,x(SdjiijDji的含N1ijijDN1jijDi)x (P)x/x (Plog)x/x (P)x(P)D(RS)4(的含第第7章章 信源的率失真函数信源的率失真函数N1iN1jjiijDiN1iN1jiijDij)x ,x(SdjiN1iN1jijDi)x ,x(Sd)x/x (P)x(Plog)x/x (P)x(P)x (P2)x (Plog)x/x (P)x(PjiiN1iilog)x(PSDN1iN1jjiijDiS)x ,x(d)x/x (P)x(PDDS)5(求的由含N,2,1jN,2,1i)x/x (P)D(RS)6(ijD和的不含第第7章章 信源的率失真函数信源的率失真函数1、二进制信源的率失真函数、二进制信源的率失真函数21pp1p)X(PxxX21不失一般性，设二进制信源0110D失真矩阵2,1jS12)x(P)1(i21i)x ,x(Sdiiji的求含由1)p1(2p12)p1(p2S1S21)21)(p1(1)21(p1S2S1第第7章章 信源的率失真函数信源的率失真函数)21)(p1()x (P2)x (P)21(p2)x (P)x (PSSSS2121SS2SS1212p)p1()x (P212)p1(p)x (P2,1i)x (PS/12)x (P)2(ji21j)x ,x(Sdjji的求含由第第7章章 信源的率失真函数信源的率失真函数SS2S12DS2S11D2)21(p2p)p1()x/x (P)21(p2)p1(p)x/x (P)21)(p1(2p)p1()x/x (P2)21)(p1(2)p1(p)x/x (PS2S22DSS2S21D2,1j2,1i2)x (P)x/x (PS)3()x ,x(SdjiijDji的含第第7章章 信源的率失真函数信源的率失真函数21iiilog)x(PSD)D(RS)4(的含SSSS211logSD)p(H211logSD)p1log()p1(plogp)21)(p1(1log)p1()21(p1logpSD第第7章章 信源的率失真函数信源的率失真函数S)x ,x(d)x/x (P)x(PDDS)5(21i21jjiijDi求的由含SSSS2SSS2SSS2S212221212)21)(p1(2)p1(p)p1(2)21(p2p)p1(pDS211D1D1DlogS2D1DS第第7章章 信源的率失真函数信源的率失真函数)D(H)p(H)D1log()D1(DlogD)p(H)D1log(D1DlogD)p(H2,1j2,1i)x/x (P)D(RS)6(ijD和的不含S211logSD)p(H)D(R第第7章章 信源的率失真函数信源的率失真函数)D21(p)Dp1(D2)21(p2p)p1()x/x (P)D21(p)Dp)(D1()21(p2)p1(p)x/x (PSS2S12DS2S11D)D21)(p1()Dp1)(D1()21)(p1(2p)p1()x/x (P)D21)(p1()Dp(D2)21)(p1(2)p1(p)x/x (PS2S22DSS2S21D第第7章章 信源的率失真函数信源的率失真函数0)D(H)p(H)D(RR(D)D0.50.25p=0.25p=0.5010.8110)p(R)D(RpDD)p(H)0(R)D(R0DDmaxmaxminmin，当，当第第7章章 信源的率失真函数信源的率失真函数允许失真允许失真D=1/8时的率失真函数及达到率失真函数时的率失真函数及达到率失真函数的测试信道的测试信道4/34/1)X(P10X二进制信源0110D失真矩阵例例1)bit(267.087log8781log8143log4341log41)D(H)p(H)D(RD=1/8时时第第7章章 信源的率失真函数信源的率失真函数12543418581)D21(p)Dp1(D)x/x (P12743418187)D21(p)Dp)(D1()x/x (P12D11D363543438587)D21)(p1()Dp1)(D1()x/x (P36143438181)D21)(p1()Dp(D)x/x (P22D21D第第7章章 信源的率失真函数信源的率失真函数2、等概率信源的率失真函数、等概率信源的率失真函数等概率信源等概率信源011101110D失真矩阵第第7章章 信源的率失真函数信源的率失真函数1N12N12N112N12N1N1NS2S1SNS21N,2,1i2)1N(1NSiN,2,1jS12)x(P)1(iN1i)x ,x(Sdiiji的求含由第第7章章 信源的率失真函数信源的率失真函数N,2,1i)x (PS/12)x (P)2(jiN1j)x ,x(Sdjji的求含由N2)1N(1)x (P2)x (P2)x (PN2)1N(12)x (P2)x (P)x (PSNS2S1SSNS21N,2,1jN1N2)1N(1 2)1N(1)x (PSSj第第7章章 信源的率失真函数信源的率失真函数N,2,1jN,2,1i2)x (P)x/x (PS)3()x ,x(SdjiijDji的含项，共项，共)1N(Nji2)1N(12Nji2)1N(11)x/x (PSSSijD第第7章章 信源的率失真函数信源的率失真函数N1iiilog)x(PSD)D(RS)4(的含S2)1N(1NlogSDN1iN1jjiijDiS)x ,x(d)x/x (P)x(PDDS)5(求的由含SSSS2)1N(12)1N()1N(N2)1N(12N1D)D1D1N1log(S2)1N(D1DSS2)1N(11D1第第7章章 信源的率失真函数信源的率失真函数S2)1N(1NlogSD)D(R)D(H)1Nlog(DNlog)D1log()D1(DlogD)1Nlog(DNlog)D1(Nlog)D1D1N1log(DN,2,1jN,2,1i)x/x (P)D(RS)6(ijD和的不含第第7章章 信源的率失真函数信源的率失真函数项，共项，共)1N(Nji1ND2)1N(12NjiD12)1N(11)x/x (PSSSijD第第7章章 信源的率失真函数信源的率失真函数0)D(H)1Nlog(DNlog)D(R0)N1N(R)D(RN1NDDNlog)0(R)D(R0DDmaxmaxminmin，当，当R(D)D0NlogN1N第第7章章 信源的率失真函数信源的率失真函数当，二进制信源的率失真函数及达到率失真函数的当，二进制信源的率失真函数及达到率失真函数的测试信道测试信道)D(H1)D(H)5.0(H)D(RD1)D21(21)D21)(D1()x/x (P11DD)D21(21)D211(D)x/x (P12DD)D21(21)D21(D)x/x (P21DD1)D21(21)D211)(D1()x/x (P22D第第7章章 信源的率失真函数信源的率失真函数当当N=2，等概率信源的率失真函数及达到率失真函，等概率信源的率失真函数及达到率失真函数的测试信道数的测试信道)D(H1)D(H1logD2log)D(RD1)x/x (P)x/x (P22D11DD12D)x/x (P)x/x (P21D12D第第7章章 信源的率失真函数信源的率失真函数三进制等概率信源三进制等概率信源011101110D失真矩阵允许失真允许失真D=1/3时的率失真函数及达到率失真函数时的率失真函数及达到率失真函数的测试信道的测试信道例例2D=1/3时时)D(H)1Nlog(DNlog)D(R)bit(334.032log3231log312log313log第第7章章 信源的率失真函数信源的率失真函数3,2,1ji32D1)x/x (PijD3,2,1j,iji611ND)x/x (PijD，第第7章章 信源的率失真函数信源的率失真函数7.3 连续信源的率失真函数连续信源的率失真函数信源固定时，保真度准则下平均互信息的最小值，信源固定时，保真度准则下平均互信息的最小值，用用R(D)表示表示定义定义)X;X(Imin)D(R)X/X(pD表示表示信源固定时，信源固定时，对于测试信道转移概率密度函对于测试信道转移概率密度函数数 严格下凸严格下凸总能找到一种总能找到一种 ，使使 在保真度准则下达到最小在保真度准则下达到最小)X;X(I)X;X(I)x/x (pD)x/x (pD第第7章章 信源的率失真函数信源的率失真函数测试信道转移概率密度函数的约束条件测试信道转移概率密度函数的约束条件b,a x1x d)x/x (pbaD保真度准则的约束条件保真度准则的约束条件Dx dxd)x ,x(d)x x(pDbaba 件极值限制下的条和在DDb,a x1x d)x/x (p)X;X(IbaD第第7章章 信源的率失真函数信源的率失真函数b,a x)x(S1dxe)x(p)x()1(ba)x ,x(Sd的求含由b,a x)x (pS)x(/1x de)x (p)2(ba)x ,x(Sd的求含由b,a x b,a xe)x (p)x()x/x (pS)3()x ,x(SdD的含badx)x(log)x(pSD)D(RS)4(的含率失真函数及达到率失真函数的测试信道率失真函数及达到率失真函数的测试信道第第7章章 信源的率失真函数信源的率失真函数Sx dxd)x ,x(d)x/x (p)x(pDDS)5(babaD求的由含 b,a x b,a x)x/x (p)D(RS)6(D和的不含第第7章章 信源的率失真函数信源的率失真函数1、高斯信源的率失真函数、高斯信源的率失真函数2)x x()x ,x(d 失真函数),(x)x(S1dxe)x(p)x()1()x ,x(Sd的求含由)x(p)S(f)x(S的设含222)x(2e21)x(p)xX(p),(xX高斯信源第第7章章 信源的率失真函数信源的率失真函数S)S(f1S)S(fdxe)S(f2dxe)S(fdxe)x(p)x(0)x x(S)x x(S)x ,x(Sd22)x(pS)x(p)S(f)x(22222x22x2eS2e2S 第第7章章 信源的率失真函数信源的率失真函数),(x)x (pS)x(/1x de)x (p)2()x ,x(Sd的求含由)x(px de)x (pSx de)x (p)S(f22)x x(S)x x(S2)x x(SeS)x x(g记)x(px d)x x(g)x (p)(P)(G)(Pxx 第第7章章 信源的率失真函数信源的率失真函数2xj2x2x2222edxee21)(P S4xj)x x(S22edxeeS)G()S21(2S42xx 22222ee)G()(P)(P)S21(2x 222e)S21(21)x (p 第第7章章 信源的率失真函数信源的率失真函数),(x),(xe)x (p)x()x/x (pS)3()x ,x(SdD的含22222)x x(S)S21(2x 22x2Dee)S21(21eS2)x/x (p )S21(2)x x()S21(2x 2x2222222eee)S21)(S21(2第第7章章 信源的率失真函数信源的率失真函数)S21(2z)S21(2)x x(DD22e)S21(21e)S21(21)x (p)x(p)x/x (p)x/x(p方差为方差为-1/2S的反向高斯加性信道的反向高斯加性信道ZZXXX第第7章章 信源的率失真函数信源的率失真函数dx)x(log)x(pSD)D(RS)4(的含)e2log(21SlogSDdx)x(plog)x(pdxSlog)x(pSDdx)x(pSlog)x(pSD2第第7章章 信源的率失真函数信源的率失真函数Sx dxd)x ,x(d)x/x (p)x(pDDS)5(D求的由含 S21x dzdzee)S21(2)S21(212)S21(2x)S21(2z2222 x dxd)x x)(x/x(p)x (px dxd)x ,x(d)x/x (p)x(pD2DD第第7章章 信源的率失真函数信源的率失真函数D21S),(x),(x)x/x (p)D(RS)6(D和的不含DPlog21Dlog21)e2log(21)eD2log(21)e2log(21D21log21)e2log(21SlogSD)D(R2222第第7章章 信源的率失真函数信源的率失真函数D2z)S21(2zD22eD21e)S21(21)x/x(p方差为方差为D的反向高斯加性信道的反向高斯加性信道第第7章章 信源的率失真函数信源的率失真函数0DPlog21)D(R0)P(R)D(R0DD)0(R)D(R0DDmaxmaxminmin，当，当PR(D)D0