信息论考试题

《信息论考试题》由会员分享，可在线阅读，更多相关《信息论考试题（10页珍藏版）》请在装配图网上搜索。

1、一填空1.设X的取值受限于有限区间a,b,则X服从均匀分布时，其熵达到最大；女口X的均值为，方差受限为2，则X服从高斯分布时，其熵达到最大。2. 信息论不等式：对于任意实数z0，有Inzzl，当且仅当z1时等式成立。3. 设信源为X=0,1，P(0)=l/8,则信源的熵为_l/81og87/8log(7/8)比特/符号,22如信源发出由m个“0”和(100-m)个“1”构成的序列，序列的自信息量为mlog8(100m)log(7/8)比特/符号。224离散对称信道输入等概率时，输出为等概分布。5.根据码字所含的码元的个数，编码可分为定长编码和变长编码。Uuuuuuu6.设DMS为.123456

2、，用二元符号表p30.370.250.180.100.070.03UXx0,x1对其进行定长编码，若所编的码为000，001，010，011，100，101，12则编码器输出码元的一维概率P(x)0.747,P(x)0.253121/21/31/612设有DMC，其转移矩阵为Y|X1/61/21/3，若信道输入概率为1/31/61/2P0.5X0.250.25试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。1/41/61/12解:PXY1/241/81/121/121/241/8F(b)a11最佳译码规则：F(b)a，平均差错率为1-1/4-1/6-1/8=11/24；21F(

3、b)a33F(b)a11极大似然规则：F(b)a，平均差错率为1-1/4-1/8-1/8=1/2。22F(b)a3313信息的基本概念在于它的不确定性。14按照信源发出的消息在时间和幅度上的分布情况，可将信源分成离散信源和连续信源两大类。14一个随机事件的自信息量定义为其岀现概率对数的负值。16按树图法构成的码一定满足即时码的定义。17有扰离散信道编码定理称为香农第二极限定理。纠错码的检、纠错能力是指检测、纠正错误码元的数目。19信道一般指传输信息的物理媒介，分为有线信道和无线信道。信源编码的主要目的是提高通信系统的有效性。21设信源X包含4个不同离散消息，当且仅当X中各个消息出现的概率为1/

4、4时，信源熵达到最大值，为_2_，此时各个消息的自信息量为_2_。22. 如某线性分组码的最小汉明距dmin=4,则该码最多能检测出3个随机错，最多能纠正_1个随机错。23. 克劳夫特不等式是唯一可译码_存在_的充要条件。24平均互信息量I(X;Y)与信源熵和条件熵之间的关系是(X;Y)=H(X)-H(X/Y)。25_信源_提高通信的有效性，_信道目的是提高通信的可靠性，_加密_编码的目的是保证通信的安全性。26.信源编码的目的是提高通信的有效性，信道编码的目的是提高通信的可靠性，加密编码的目的是保证通信的安全性。27设信源包含个不同离散消息，当且仅当中各个消息出现的概率为时，信源熵达到最大值

5、，为_3。_28. 自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越_小_。_29. 信源的冗余度来自两个方面，一是信源符号之间的_相关性_，_二是信源符号分布的_不_均匀性_。_30最大后验概率译码指的是一译码器要在已知r的条件下找出可能性最大的发码作为译,码估值，即令=maxP(lr)。31常.用的检纠错方法有_前_向纠错_、_反馈重发和混合纠错三种。2设X的取值受限于有限区间,则服从均匀分布时，其熵达到最大；如的均值为,方差受限为2，则服从高斯分布时，其熵达到最大。.信息论不等式：对于任意实数z0,有Inzz1，当且仅当z1时等式成立。.设信源为，()，则信源的熵为

6、l/81og87/8log(7/8)比特符22号，如信源发出由个“”和(0个“”构成的序列，序列的自信息量为mlog8(100m)log(7/8)比特/符号。2235离散对称信道输入等概率时，输出为等概分布。36根据码字所含的码元的个数，编码可分为定长编码和变长编码。Uuuuuuu.设为123456，用二元付号表R.370.250.180.100.070.03UXx0,x1对其进行定长编码，若所编的码为0，000，101，01，10，0101，12则编码器输出码元的一维概率P(X)P(X)21238在无失真的信源中，信源输出由H(X来度量；在有失真的信源中，信源输出由R(D)来度量。39要使通

7、信系统做到传输信息有效、可靠和保密，必须首先信源编码,然后加密编码，再信道编码，最后送入信道。40带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是CWlog(1SNR);当归一化信道容量C/W趋近于零时，也即信道完全丧失了通信能力，此时Eb/N0为-1.6dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。b041保密系统的密钥量越小，密钥熵H(K)就越小，其密文中含有的关于明文的信息量I(M；C)就越大o42已知n=7的循环码g(x)x4x2x1，则信息位长度k为3，校验多项式h(x)=_x3x1o43设输入符号表为X=0,1,输出符号表为Y=0,1

8、。输入信号的概率分布为p=(1/2,1/2)，失真函数为d(0,0)=d(1,1)=0,d(0,1)=2,d(1,0)=1,则D=0,R(D.)=minmm1bit/symbol,相应的编码器转移概率矩阵p(y/x)=:0:;Dm=0.5,R(Dm=_0_,R1maxma相应的编码器转移概率矩阵p(y/x)=0：。0二.选择题1.给定x,.条件下随机事件yj所包含的不确定度和条件自信息量p(y./x；.),(D)2.A. 数量上不等，单位不同C.数量上相等，单位不同条件熵和无条件熵的关系是B. 数量上不等，单位相同D.数量上相等，单位相同(C)A.H(Y/X)H(Y)D.H(Y/X)三H(Y)

9、(D)B.在树枝上安排码字D.在终端节点上安排码字(C)B.非奇异码是唯一可译码D.非奇异码不是唯一可译码5. 下面哪一项不属于熵的性质：B)A.非负性B.完备性C.对称性D.确定性6下面表达式中正确的是(AA.p(y/x)1jijC.p(x,y)(y)ijjj）。B.p(y/x)1jiD.p(x,y)q(x)iji7.彩色电视显像管的屏幕上有5X105个像元，设每个像元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。每秒传送25帧图像所需要的信道容量（C）。A.5006B.75106C.12106D.250M068

10、.已知某无记忆三符号信源等概分布，接收端为二符号集，其失真矩阵为则信源的最大平均失真度D为max）。A.B.C.D.9.线性分组码不具有的性质是（C）。A. 任意多个码字的线性组合仍是码字B. 最小汉明距离等于最小非0重量C.最小汉明距离为3D.任一码字和其校验矩阵的乘积cH=0m10. 率失真函数的下限为（B）。A.H(U)B.0C.I(U;V)D.没有下限13.下列陈述中，不正确的是（D）。13.下列陈述中，不正确的是（D）。11. 纠错编码中，下列哪种措施不能减小差错概率（D）。A.增大信道容量B.增大码长C.减小码率D.减小带宽13.下列陈述中，不正确的是（D）。13.下列陈述中，不正

11、确的是（D）。但不幸被人用外观相同但重12. 一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，滑落进去，那人找了许久却未找到，量仅有微小差异的假珠换掉1颗。一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量（A）。A.B.C.D.13.下列陈述中，不正确的是（D）。A. 离散无记忆信道中，H(Y)是输入概率向量的凸函数B. 满足格拉夫特不等式的码字为惟一可译码C. 一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、纠错能力越强D. 满足格拉夫特不等式的信源是惟一可译码14. 一个随即变量x的概率密度

12、函数P(x)=x/2，0X2V，则信源的相对熵为(C)。A.0.5bitB.0.72bitC.1bitD.1.44bit15. 下列离散信源，熵最大的是(D)。A.H(1/3,1/3,1/3)；B.H(1/2,1/2)；C.H(0.9,0.1)；D.H(1/2,1/4,1/8,1/8)16. 下列不属于消息的是(B)。A.文字B.信号C.图像D.语言17. 为提高通信系统传输消息有效性，信源编码采用的方法是(A)。A.压缩信源的冗余度B.在信息比特中适当加入冗余比特C. 研究码的生成矩阵D.对多组信息进行交织处理18最大似然译码等价于最大后验概率译码的条件是(D)。A.离散无记忆信道B.无错编

13、码C.无扰信道D.消息先验等概19. 下列说法正确的是(C)。A. 等重码是线性码B. 码的生成矩阵唯一C. 码的最小汉明距离等于码的最小非0重量D. 线性分组码中包含一个全0码字20. 二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:个0发出ul:个1发出v0:一个0收到vl:个1收到则已知收到的符号，被告知发出的符号能得到的信息量是(A)。A.H(U/V)B.H(V/U)C.H(U,V)D.H(UV)21. 同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为(B)。A.log36bitB.log36bitC.log（

14、11/36）bitD.log（11/36）bit22. 下列组合中不属于即时码的是（A）。A.0，01，011B.0，10，110C.00，10，11D.1，01，0011101023. 已知某（6,3）线性分组码的生成矩阵GJ10001，则不用计算就可判断出下列码中011101不是该码集里的码是（D）。A.000000B.110001C.011101D.11111124. 一个随即变量x的概率密度函数P（x）=x/2，0x2V，则信源的相对熵为（C）。A.0.5bit/符号B.0.72bit/符号C.1bit/符号D.1.44bit/符号25.设有一个无记忆信源发出符号A和B,已知p（A）丁

15、,p（B）t，发出二重符号序列消44息的信源，无记忆信源熵H（X2）为（A）。A.0.81bit/二重符号B.1.62bit/二重符号C.0.93bit/二重符号D.1.86bit/二重符号三、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。（）2. 线性码一定包含全零码（）。3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码是以另外一种形式实现的最佳统计匹配编码。（X）4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。（X）5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大而增大。（X）6限平均功率最大熵定理

16、指出对于相关矩阵一定的随机矢量X，当它是正态分布时具有最大熵。（）7. 循环码的码集中的任何一个码字的循环移位仍是码字。（）8. 信道容量是信道中能够传输的最小信息量（X）。9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。（X）10. 在已知收码R的条件下找出可能性最大的发码C.作为译码估计值，这种译码方法叫做i最佳译码。（）11确定性信源的熵H（0,0,0,1）=1。（X）12信源X的概率分布为P（X）=1/2,1/3,1/6，对其进行哈夫曼编码得到的码是唯一的。X）13离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。（）14非奇异的定长码一定是唯一可译码。

17、（X）15信息率失真函数R（D）是在平均失真不超过给定失真限度D的条件下，信息率容许压缩的最小值。（）16.信源X的概率分布为P（X）=l/2,1/3,1/6,信源Y的概率分布为P（Y）=l/3,l/2,l/6，贝I信源X和Y的熵相等。（）17互信息量I（X;Y）表示收到Y后仍对信源X的不确定度。（）18对信源符号X=a1?a2,a3,a4进行二元信源编码,4个信源符号对应码字的码长分别为笛=1,K2=2,K3=3,K3=3，满足这种码长组合的码一定是唯一可译码。（X）19. DMC信道转移概率矩阵为P：/31/31/61/6，则此信道在其输入端的信源分/61/61/31/3布为P（X）=1/2,1/2时传输的信息量达到最大值。（X）20. 设C=000000,001011,010110,011101,100111,101100,110001,111010是一个二元线性分组码,贝该码最多能检测出3个随机错误。（X）