限失真信源编码

《限失真信源编码》由会员分享，可在线阅读，更多相关《限失真信源编码（31页珍藏版）》请在装配图网上搜索。

1、限失真信源编码限失真信源编码很多情况下，不可能不可能进行无失真信源编码如，连续信源的绝对熵 H 为无限大很多应用中，没必要没必要进行无失真信源编码如，人眼所能分辨的灰度级、颜色都是有限的.人耳仅能感受 几KHz十几KHz 的语音信号.图像压缩8K10K14K音频压缩一段著名的演讲：曾经有一份真诚的爱情.曾经有一份真诚的爱情.56Kbps112Kbps失真函数失真函数允许失真与信息传输率的允许失真与信息传输率的定性关系定性关系失真函数的失真函数的定义定义及及失真矩阵失真矩阵失真函数的失真函数的基本要求基本要求常用常用失真函数失真函数及其特点及其特点失真矩阵失真矩阵举例举例允许失真与信息传输率的定

2、性关系允许失真与信息传输率的定性关系若允许失真若允许失真越大越大，信息传输率，信息传输率可越小可越小若允许失真若允许失真越小越小，信息传输率，信息传输率需越大需越大信息传输率与信源编码所引起的信息传输率与信源编码所引起的失真失真(或误差或误差)是有关的是有关的失真函数的定义失真函数的定义离散无记忆信源离散无记忆信源为：为：接收端接收变量接收端接收变量为为:失真函数失真函数(或单个符号失真度或单个符号失真度)是一个非负函数：是一个非负函数：d(ui,vj)0,i=1,2,n;j=1,2,m用来测度信源用来测度信源发出符号为发出符号为ui，接收符号为接收符号为vj时时所引起的误差或失真所引起的误差

3、或失真失真矩阵失真矩阵信源信源U有有n个符号个符号，接收变量，接收变量V有有m个符号个符号d(ui,vj)就有就有nm个个，可以排成矩阵形式，即：，可以排成矩阵形式，即：称为称为失真矩阵失真矩阵D，是，是nm阶阶矩阵矩阵失真函数的基本要求失真函数的基本要求失真函数可有多种形式，但应尽可能失真函数可有多种形式，但应尽可能符合信宿符合信宿的主观特性的主观特性，即主观上的失真感觉应与即主观上的失真感觉应与d(ui,vj)的值相对应的值相对应d(ui,vj)越大，所感觉到的失真也越大，而且越大，所感觉到的失真也越大，而且最好成正比最好成正比当当uivj时，时，d应等于零应等于零，表示没有失真，表示没有

4、失真当当uivj时，时，d为正值为正值常用失真函数常用失真函数均方失真均方失真：绝对失真绝对失真：相对失真相对失真：误码失真误码失真：x信源输出消息信源输出消息,y信宿收到消息信宿收到消息图像的失真函数图像的失真函数常用失真函数的特点常用失真函数的特点均均方方失失真真和和绝绝对对失失真真只只与与(xy)有有关关，在在数数学学处理上比较方便处理上比较方便相相对对失失真真与与主主观观特特性性比比较较匹匹配配，因因为为主主观观感感觉觉往往往往与与客客观观量量的的对对数数成成正正比比，但但其其数数学学处处理理困困难得多难得多前前三三种种失失真真函函数数适适用用于于连连续续信信源源，最最后后一一种种失失

5、真函数适用于真函数适用于离散信源离散信源误误码码失失真真函函数数在在接接收收符符号号与与发发送送符符号号相相同同时时失失真度为零真度为零，在不同时，在不同时失真度为常数失真度为常数c常用失真函数的特点常用失真函数的特点如果误码失真的如果误码失真的常数值为常数值为1，则称为，则称为汉明失真汉明失真离散对称信源的离散对称信源的汉明失真矩阵汉明失真矩阵 D为一方阵，且为一方阵，且对角线上的元素为零：对角线上的元素为零：失真矩阵举例失真矩阵举例【例例41】二二元元对对称称信信源源，信信源源U0,1，接接收收变变量量V0,1，在汉明失真定义下，失真函数为：，在汉明失真定义下，失真函数为：d(0,0)d(

6、1,1)0,d(0,1)d(1,0)1求求失真矩阵失真矩阵【例例42】设设信信源源U0,1,接接收收变变量量V0,1,2，失失 真真 函函 数数 为为 d(0,0)d(1,1)0,d(0,1)d(1,0)1,d(0,2)d(1,2)0.5，求，求失真矩阵失真矩阵【例例43】信信源源U0,1,2,接接收收变变量量V0,1,2,失真函数为失真函数为d(ui,vj)(uivj)2，求，求失真矩阵失真矩阵【例例41】的失真矩阵的失真矩阵失真矩阵为失真矩阵为【例例42】的失真矩阵的失真矩阵失真矩阵为失真矩阵为【例例43】的失真矩阵的失真矩阵计算得：计算得：d(0,0)d(1,1)d(2,2)0d(0,1

7、)d(1,0)d(1,2)d(2,1)1d(0,2)d(2,0)4失真矩阵为失真矩阵为平均失真平均失真信源信源平均失真平均失真及其及其取值范围取值范围信源信源序列失真度序列失真度（或失真函数）（或失真函数）N维信源符号序列维信源符号序列的平均失真度的平均失真度单个信源符号单个信源符号的平均失真度的平均失真度无记忆条件下无记忆条件下的的平均失真度平均失真度保真度准则保真度准则信源平均失真信源平均失真因信源因信源U和信宿接收量和信宿接收量V都是随机变量，都是随机变量，单个符单个符号失真度号失真度d(ui,vj)也是随机变量，故可定义传输也是随机变量，故可定义传输一个符号引起的失真为一个符号引起的失

8、真为信源平均失真信源平均失真：ui信源输出符号信源输出符号，i1，2，np(ui)信源输出符号信源输出符号ui的概率的概率vj信宿接收符号信宿接收符号，j1,2,，mp(vj|ui)广义无扰信道传递概率广义无扰信道传递概率信源平均失真的取值范围信源平均失真的取值范围信源信源平均失真平均失真的下限通常是零，但这在所有的下限通常是零，但这在所有概率概率p(ui)0时，只有当失真矩阵中时，只有当失真矩阵中每行至少一每行至少一个是零个是零时才能实现，否则时才能实现，否则平均失真不等于零平均失真不等于零在实际情况中，一般在实际情况中，一般的的下限为零下限为零如果不为零，令如果不为零，令d(ui,vj)=

9、d(ui,vj)-minjd(ui,vj)，可使，可使的下限为零的下限为零信源序列失真度信源序列失真度信源序列信源序列失真度失真度（或失真函数）定义为：（或失真函数）定义为：S信源的一个信源的一个输出序列输出序列Y信宿的一个信宿的一个接收序列接收序列sl信源输出序列中的信源输出序列中的一个符号一个符号yl信宿接收序列中的信宿接收序列中的一个符号一个符号N维信源符号序列的平均失真度维信源符号序列的平均失真度信源序列失真度等于信源序列失真度等于单个信源符号失真度之和单个信源符号失真度之和N维信源符号序列的维信源符号序列的平均失真度平均失真度为：为：单个信源符号的平均失真度单个信源符号的平均失真度单

10、个信源符号的单个信源符号的平均失真度平均失真度定义为：定义为：无记忆条件下的无记忆条件下的平均失真度平均失真度在无记忆条件下，在无记忆条件下，N维信源序列平均失真度维信源序列平均失真度为为信源序列中信源序列中第第l个分量的平均失真度个分量的平均失真度单个信源符号单个信源符号的平均失真度：的平均失真度：保真度准则保真度准则保真度准则指保真度准则指平均失真度不大于允许失真平均失真度不大于允许失真，即：，即：N维信源序列维信源序列的保真度准则是的保真度准则是率失真函数的定义率失真函数的定义BD是所有满足是所有满足保真度准则保真度准则的的试验信道试验信道集合集合平均互信息量平均互信息量I(u;v)是是

11、p(vj|ui)的的U型凸函数型凸函数I(u;v)在在BD集合中的集合中的最小值最小值是在是在保真度准则保真度准则条条件下，信源必须传输的件下，信源必须传输的最小平均信息量最小平均信息量，即：，即：R(D)称为信息称为信息率失真函数率失真函数（或率失真函数）（或率失真函数）单位为单位为奈特奈特/信源符号信源符号或或比特比特/信源符号信源符号率失真函数率失真函数R(D)的性质的性质R(0)=H(U)表示在信源表示在信源U要求要求无失真传输无失真传输时，时，信息传输率信息传输率至少应等于信源输出的至少应等于信源输出的信息熵信息熵R(0)R(D)，只要，只要信源序列长度信源序列长度L足够长，一定存在

12、一种足够长，一定存在一种编码方法编码方法，其，其译码失真译码失真小于或等于小于或等于D，为任意小的正数；反之，为任意小的正数；反之，若若R0，每一个信源符，每一个信源符号的平均码长满足如下公式：号的平均码长满足如下公式：限失真信源编码定理的说明限失真信源编码定理的说明该该定定理理说说明明在在一一定定条条件件下下满满足足保保真真度度准准则则的的编编码方法是存在的码方法是存在的，但并未给出，但并未给出编码步骤编码步骤在在给给定定允允许许失失真真D的的情情况况下下，所所需需信信息息率率R的的下下限限值值，或或信信源源信信息息压压缩缩的的下下限限值值，就就是是R(D)无失真信源压缩的下限值是无失真信源

13、压缩的下限值是信源熵信源熵H(U)有失真信源压缩的下限值是有失真信源压缩的下限值是率失真函数率失真函数R(D)在给定在给定D后，一般后，一般R(D)H(U)限失真信源编码定理的缺点限失真信源编码定理的缺点该该定定理理没没有有给给出出寻寻找找最最佳佳压压缩缩编编码码方方法法，在在实实际应用中主要存在以下际应用中主要存在以下两大类问题两大类问题第第一一类类问问题题：符符合合实实际际信信源源的的R(D)函函数数的的计计算算相当困难相当困难第第二二类类问问题题：在在获获得得信信息息率率失失真真函函数数R(D)后后，还还需需研研究究采采用用何何种种实实用用的的最最佳佳编编码码方方法法才才能能达达到到R(D)