信息论复习试题

《信息论复习试题》由会员分享，可在线阅读，更多相关《信息论复习试题（4页珍藏版）》请在装配图网上搜索。

1、信息论复习试题一、填空题1、信息论研究的主要问题是如何提高信息传输系统的有效性和可靠性。2、根据信源是否在连续的空间集合取值，可将信源分为连续信源和离散信源。3、信息量是指消息的不确定度，用函数表达式表示为I (x) =fp(x)=4、 若给定离散概率空间x,p(x)啲信源，则该信源的自信息量可表示为I(x)=-log p(x)，平均自信息量(即熵)可表a示为 H(x)=EI(x)=5、若集合X与集合Y相互独立，则H (XY) =H(x)+H(Y)6、若给定离散联合概率密度空间XY,P(xy),则互信息量I(x;y)=_7、 平均互信息量用条件熵可表示为I(x;y)=，其中条件熵H(xly)通

2、常称为熵,条件熵H(y|x)=熵。8、 信源的冗余度是指，设信源符号集的最大熵为Ho,实际熵为Hr,则冗余度R可表示为 9、 在峰值功率受限的条件下，最佳概率密度函数是一个恒值W (x)=，当W(x)为均匀分布时，最大相对熵optH =。cmax10、在平均功率受限，均值不为零的一维随机变量的方差为定值时，其取值的最佳概率密度函数为正态分布W (x)=，最大相对熵H=。optcmax11、假设任一随机变量X与一正态分布随机变量具有相同的熵He,则其等效正态分布的随机变量X的熵功率为P12、对任一时刻的k,l以及任一取值a UX, b UY,若离散无记忆信道满足P(yk=b |xk=a )=P(

3、yi=b |xi=a ),则信道称ijk j k il j l i作是平稳的或横参的。13、平均互信息量I(X;Y)表示接收到符号Y后平均每个符号获得的关于x的信息量.14、 信道的信息传输率就是平均互信息量，即R=I(X;Y)=H(X)-H(X|Y)P6815、 信道容量就是只信道的最大信息传输率，及C=maxI(X;Y)P6816、有噪无损信道是指信道的损失熵H(X|Y)=0,而噪声熵H(Y|X)H0;无噪有损信道是指信道的噪声熵H(Y|X) =0,而损失熵H(X|Y)H0P7217、可逆矩阵信道是指信道转移矩阵P为非奇异时，即可逆矩阵P-1存在时。P7618、 若信道传输率达到了信道容量

4、，我们称信源与信道达到匹配，信道剩余度定义为：信道剩余度=C-I(X;Y)P7819、 并联信道的三种形式：积信道，和信道，输入并接信道，级联信道P8320、 积信道的信道容量C=,和信道的信道容量,输入并接信道容量P8121、在编码中，按码字长度的不同，可将码分为等长码和变长码，按码字是否全部相同可分为奇异码和非奇异码。 P9522、 唯一可译码包括：等长非奇异码、即时码、异前缀码、等长码、逗号码P9523、若q为信源符号的个数，r为码符号的个数，1为等长码的码长，则对信源进行等长唯一可译码的条件为qWr】 P9524、变长编码可使出现概率大的信源符号用较短码字表示，出现概率小的信源符号用较

5、长的码字表示。P9825、 即时码是指在译码时无需参考后续的码符号就能立即做出判断的一类码。P9926、 香农第一定理指出了平均码长与信源熵之间的关系，同时指出了可通过编码使平均码长达到极限值。 P10927、由香农第一定理可推出，当平均码长达到极限空丄时，编码后的信息传输率为R=logr bite/码符号log r28、香农第二定理(信道编码定理)研究怎样使消息通过有噪信道传输后产生的错误最少，即研究通信的可靠性问题。P11829、最大后验概率是指对于每一个输出符号译成具有最大后验概率的那个输入符号，则信道错误概率就能最小。P11930、 常用的信道编码：线性码，非线性码，分组码，卷积码，循

6、环码，非循环码P12931、 信道编码中的纠错与检错的能力是用信息量的冗余度来换取的。P12932、码重：在信道编码中，定义码组中非零码元的数目为码组的重量。33、把两个码组中对应码位上具有不同二进制码元的位数定义为两组码的距离，称为汉明距离，简称码距。P12934、对于一个二进制对称信道，如输入为k个等概率的长度为n的码字，则最大后验概率译码准则应为最小汉明距离译码。P12935、 线性分组码的最小汉明距离等于非零码的最小重量。P13236、信息传输的可靠性基本技术：数据压缩，数据纠错，数据加密。二、判断题1、必然事件和不可能事件的自信息量都是 0.错2、单符号离散信源的自信息和信源熵都具有

7、非负性。对3、率失真函数对允许的平均失真度具有上凸性。对4、自信息量是P（Xi）的单调递减函数。对5、信道无失真传递信息的条件是信息率小于信道容量。对6、信源编码是提高通信有效性为目的编码。对7、信源编码通常是通过压缩信源的冗余度来实现的。对8、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。错9、信源熵具严格的下凸性。错10、m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相同。 错11、连续信源和离散信源的平均互信息都具有非负性。对12、连续信源和离散信源的熵都具有非负性。错13、离散无噪信道的信道容量等于log2n,其中n是信源X的消息个数。错14、定长编码的

8、效率一般小于不定长编码的效率。对15、信源熵具有严格的下凸性。错16、汉明码是一种线性分组码。对17、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 错18、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 错19、高斯加性信道的信道容量只与信道的信噪有关。 对20、狭义的信道编码既是指：信道的检、纠错编码。 对三、概念简答题1、画出通信系统的基本模型框图及简述各部分的作用？ P42、为什么连续随机变量的熵可以用想对熵来代替？ P50513、简述注水定理的原理？P913、写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。四、计算题

9、1、在传输图片时，每帧有2.25X103X103个像素，每个像素有12个等概率出现的亮度等级，信噪比为30dB(l) 若每3分钟传送一张图片，求所需的信道带宽。若信道带宽为4kHz,问传送一张图片需多少时间。2、同时扔两个正常的骰子，也就是各面呈现的概率都是1/6，求：(1) “3和5同时出现”这个事件的自信息量。(2) “两个 1 同时出现”这个事件的自信息量。(3) 两个点数的各种组合(无序对)的熵或平均自信息量。(4) 两个点数中至少有一个是 1 的自信息。解：同时仍两个正常的骰子，可能呈现的状态数有36 种，因为两骰子是独立的，又各面呈现的概率为1/6，所以36 种中任一状态出现的概率

10、相等，为1/36。设“3和5同时出现”这个事件为A。在这36种状态中，3和5同时出现有两种情况即3, 5和5，3。因为 P(A)=236=1/18 所以 I (A) = -logP(A)=log2 18-4.17 比特(2) 设“两个1同时出现”这个事件为B。在这36中状态中，两个1同时出现只有一种状态。所以P(B)=1/36I(B)= -logP(B)=log236-5.17 比特XP (x)(3) 设两个点数的各种组合构成信源X。这信源X的符号集A (样本集)就是这36种状态，所以A= x忙2x361， 并且其为等概率分布。得X1, X2,X36 一-1 / 36,1 / 36,1/36-所以 H(X)=log 2 36-5.17 比特/符号(比特/状态)(4) 在这36种状态中两个点数中至少有一个是1的状态共有11种，每种状态是独立出现的，每种状态出现的概率是 1/36。现设两个点数中至少有一个数是1的事件为C事件，则得P (C) =11/36所以 I(C) = -logP(C)= -log211/36-1.71 比特