信息论课程论文汇总

从通信联合收发优化剖析香农三大定理-“信息论与编码 ”课程论文 课程：信息论与编码 指导老师：王忠姓名：秦天柱学号：2012141441420摘要本文立足之点为通信系统的收发联合优化，主要根据一种基于广义的 率失真函数的信源编码、信道编码和差错隐藏联合优化的方法对此进 行讨论。并在此基础上，对香农三大定理进行剖析，分析了香农三大 定理的内在联系与通信系统理论构建之间的关系。1 引言 随着现代通信技术的发展，通信的重要性不言而喻。早在二十世 纪四十年代初，香农提出三大定理，奠定了通信的数字理论基础。用 户数量也随之增长，传输错误当然也不可避免。自此，容错恢复编码 技术近年来成为无线视频传输研究中的热点。传统的方法 3, 4 往 往假设视频信源是统计平稳的， 然后对整个视频序列建立经验的或 理论的率失真模型来进行码率分配优化；并且只考虑信源编码和信道 编码本身的性能，而没有考虑差错隐藏技术的影响。本文着重分析了一种针对图像局部区域的信源信道编码以及差错隐 藏特性的广义的率失真函数. 这种基于局部广义率失真特性的信源 编码，信道编码和差错隐藏的联合优化（以下简称JSCE）有可能取得更 好的视频传输效果。并由此将香农的三大定理（无失真信源编码定理、 信道编码定理和限失真信源编码定理）进行剖析，深入研究其内在联 系和为通信系统的联合优化提供的理论支撑。2 通信系统的联合优化2.1 广义的率失真函数 在进行无线视频传输的码率优化分配时，我们将信源编解码，信道 编解码和差错隐藏联合起来进行考虑.失真因素包括信源的量化误差， 信道传输错误而引起的失真，以及差错隐藏的增益优化的目的， 是在 一定的码流速率和信道条件下，获得最小的端对端失真.实现这种联合优化, 需要获得每一最小编码单元在一定的码率分我 们将之定义为广义, 配方案和信道条件下的端对端的失真期望值 的率失真函数，用D(rs,rcc)表示，其中rs为信源编码的码率，单 位是比特/像素(bpp), rc为信道编码的效率，c为信道的状态矩 阵，它和所选的信道模型有关.例如，对于加性高斯白噪声(AWGN)信道， 可以用一个的参数，即信噪比Eb/ N0来表征信道状态本文中采用 均方误差(MSE)来作为图像失真的度量，其表达式为：其中M, N为二维图像的大小，pn，m和pn， m为发送和接收图像 像素的灰度值.广义率失真函数D(rs，rc| c)，可由图像宏块丢失 后经差错隐藏后的失真dL和量化误差引起的失真dQ加权得到，如 下式：D(rs ， rc|c)=Pe(rs ， rc|c)dL +(1-Pe(rs ， rc|c)dQ(rs)其中，Pe(rs，rc c)为宏块的丢失概率，它和信源信道的码率分配 rs，rc，以及信道编码的性能有关式(2)表明，在相同的信道和信 道编码条件下，决定广义率失真特性的参数为dQ(rs)和。1 .由于量 化电平是离散的，所以dQ(rs)是一组离散的点；同时我们可以认为 dL是信源编码的码率为0,但经过差错隐藏之后的失真.进一步，我们构造由归一化后的不同量化电平下的失真和码率组成的特征矢量:Vdr = ( d 0 , rs0),( d 1 , rs1), ,( dN , rsN)其中：di 二di/ dmax , rsN二rsi/ rs max , i =0, 1， ,Ndmax和rsmax为所允许的最大失真和最大的信源编码速率则两矢量之间的度量可定义为：'N( di - d二 II dr ' Vdr -V II dr)二/ dr -d(Vdr , Vi)2+( rsi - r，Si)2) 1/2根据上式所定义的广义率失真函数和其特征矢量, 就可以获得对最 小视频编码单元的信源编码、信道编码和差错隐藏率失真特性的有效 描述, 从而可以利用它来进行码率分配优化, 以获得最小的端对端 失真。2.2信源编码、信道编码和差错隐藏的联合优化算法 为降低运算复杂度, 可以在优化前将具有相同广义率失真特性的 .图 像宏块合并, 从而使得优化单元的数目控制在可接受的范围之内.假 设合并后的区域控制在N0以内，则合并算法如下：(1) 设定dr-d门限值T的初始值为T0 .(2) 选取一尚未合并的宏块bi ,并将之合并到新的区域Rl .如果所 有宏块均已合并, 转入(4).(3) 对于尚未合并的宏块bj ,其率失真矢量为Vdr ,如果对区域Rl中的任何一个宏块bi ,都满足:dr-d(Vdr , V dr)<T (7)则将 宏块bj归为区域Rl .其中Vdr为bi的率失真矢量.否则，转(2).(4) 如果合并后的区域数目NN0,则将T增加AT,转入式(2)重新 开始.采用以上算法, 每帧图像被分割为若干区域, 而属于同一区域的图 像宏块具有相近的广义率失真特性,从而可以采用针对整个图像序 列的码率优化分配可以分解为两步.首先是对所有的区域, 在给定: 获得其最佳的码率分配方案，的总码率下，其中Kl为该区域中MDU的数目，rs , l , rc, l满足：rs ， l/ rc ， l =rs +c ， lrs +c , l是分配给该区域每一MDU的总码率.然后将总码率在图像 的各区域上进行优化分配，.总码率满足：其中rs+c为信道可以传输的总码率，K为总的最小编码单元的数目。 针对无线视频序列的有效和可靠传输, 本文提出了一种基于广义率 失真函数的信源编码, 信道编码和差错隐藏的联合优化算法.仿真结 果表明, 由于这种广义率失真函数综合反映了图像每一区域对量化 电平和信道误码的失真敏感程度,因此它可以比传统的以整幅图像或 以整个图像序列来进行码率联合优化的方法取得更好的效果，对通信 系统的收、发联合优化有着非常重要的作用。3 香农三大定理3.1 香农第一定理设离散无记忆信源X包含N个符号xl,x2,xi,.,xN，信源发 其中个不同的符号序列消息，"k则此信源可发出重符号序列，K出 第j个符号序列消息的出现概率为PKj,其信源编码后所得的二进制 代码组长度为Bj，代码组的平均长度B为B二PKlBl+PK2B2+P2kB"k当K趋于无限大时，B和H(X)之间的关系为B/K二H(X)(K趋近无穷) 香农第一定理又称为无失真信源编码定理或变长码信源编码定理。 香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号 尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而 可以用尽量少的码符号传输信源信息。3.2 香农第二定理 有噪信道编码定理。当信道的信息传输率不超过信道容量时，采用合 适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超 过了信道容量，就不可能实现可靠的传输。设某信道有r个输入符号，s个输出符号，信道容量为C,当信道的 信息传输率RC,码长N足够长时，总可以在 输入的集合中(含有rN 个长度为N的码符号序列)，找到M (M=2,N(C-a),a为任意小 的正数)个码字，分别代表M个等可能性的消息，组成一个码以及相 应的译码规则，使信道输出端的最小平均错误译码概率Pmin达到任 意小。)表示。dB为信噪比，通常用分贝(S/N为信道带宽；B注：3.3 香农第三定理保真度准则下的信源编码定理，或称有损信源编 码定理。只要码 使编码后的信息传输率略大于长足够长，总可以找到一种信源编码， D'<=D。率失真函数，而码的平均失真度不大于给定的允许失真度， 即为一离散无记忆信源的信息率失真函数，并且选定有限的失设R(D), 以及任a0D=0,和任意小的真函数，对于任意允许平均失真度， 其码字个数为W意足够长的码长N,则一定存在一种信源编码 失真 度D'(W)二D+a。M二EXPNR(D)+a，而编码后码的平均3.4香农 三大定理的内在联系对于信源来说，都希望把所有的信息毫无保留地 传送到接收端， 就要求信源消息与码序列一即实现无失真传送。要做到无失真传送， 只要码字传输的一对应，即每个信源消息可以译成唯一的一个码字。 无失真编码总可实现几乎无失真编码。信息大于信源携带的信息量， 以使信息能够在信道定理实现在信源处对需要发送的信息进行处理， 较好的传输。对于信道来说，信道容量是一个临界值，只要信息传输 率不超过若有一离散无记忆平稳信道，这个值，信道传输就几乎不会 产生失真。总可以找，只要待传送的信息率BC,C其容量为，输入序 列长度为L的正Pe小于任意大于0足够长时，译码差错概率到一种 编码，当L数。由此可知，信道编码的作用是保证信息在信道的可靠传输。保真度准则下的信源编码定理，或称有损信源编码定理。只要码使编码后的信息传输率略大于总可以找到一种信源编码，长足够 长， 率失真函数，而码的平均失真度不大于给定的允许失真度。香农三大定律虽然都是理想编码方式，但三者结合起来就构成了现代 信息论的基础理论，三大理论之间相辅相成，相互联系，为现代通信 数字理论的发展做出了巨大的贡献。结束语随着现代数字通信的发展，对通信系统的要求越来越高。如何高质量的传送信息是人们研究的主要问题，香农三大定理是其主要理论 支撑。正如本文所提到的，信源编码、信道编码和差错隐藏的联合优 化算法为人们提供的新颖的想法，把信源编码和信道编码结合起来实 现通信系统的收发最优化！由此可见，香农三大定理在通信中发挥着 重要的作用参考文献：1 J Hagenauer.Rate-compatible punctured convolutional codes (RCPC)and their appli cations J .IEEE Trans .Commun ., 1988 , 36(4):389-400 .2 M Bystrom , et al.Combined source-channel coding schemes for videotransmi ssion over an additive white Gaussian noise channel J .IEEE J .Select .Areas Commun ., 1998 ,18(6):332 -337 .3 陈运 信息论与编码（第2 版）.北京：电子工业出版社，2007.94 唐焕文，秦学志.实用最优化方法M.大连：大连理工大学出版 2007,3社，