2023信息论基础试题

《2023信息论基础试题》由会员分享，可在线阅读，更多相关《2023信息论基础试题（8页珍藏版）》请在装配图网上搜索。

1、2023信息论根底试题 - 2023 一填空题此题10分，每题1分 信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学，故称为 1 ；1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用 2 对信的不确定性的度量，是衡量信息量大小的一个尺度；用 3 来度量两事件的依赖程度，表如今通信领域就是输入和输出两事件的互相的信息量，假设把它取最大值，就是通信线路的 4 ，假设把它取最小值，就是 5 ；无失真压缩的理论根据： 6 ，限失真压缩理论根据： 7 ；香农第一定理又称 8 编码定理，编码后的码符号信尽可能为 11 ，使每个码符号平均所含的信息量到达 9 ，要做到无失真

2、编码，变换每个信符号平均所需最少的r元码元数就是信的 10 以r进制信息量单位测度。 二 简答题 此题40分，每题5分 1.简述最大离散熵定理。对于一个有m个符号的离散信，其最大熵是多少？ 2.连续信的绝对熵多大，你想到了什么？ 3.用一个实例说明你对信号、消息、信息的理解。 4.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 5.解释以下图阴影局部含义。 R(D)1R(D)(实际)R(D理论) 1/2D 6.比拟信息熵和平均互信息两个概念的异同之处及互相关系。 7.解释等长信编码定理和无失真变长信编码定理，说明对于等长码和变长码，最正确码的每符号平均

3、码长最小为多少？编码效率最高可达多少？ 8.分别说明信的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。 9.二元无记忆信，有求： 1某一信序列由100个二元符号组成，其中有m个“1”，求其自信息量？ 2求100个符号构成的信序列的熵。 10.求一一对应确定信道P1的信道容量： 三 计算题此题40分，每题10分 1.黑白气象 图的消息只有黑色和白色两种，求： 1 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信X的数学模型。假设图上黑白消息出现前后没有关联，求熵； 2 假设黑白消息出现前后有关联，其依赖关系为：，求其熵H； ，3 比拟H(X)和

4、H的大小，并说明其物理含义。 2.二元对称信道如图。 1假设，求和； 2求该信道的信道容量和最正确输入分布。 3.信空间为试构造二元霍夫曼码，计算其平均码长和编码效率。 4.二元对称信道的信道矩阵为，信道传输速度为1500二元符号/秒，设信为等概率分布，信消息序列共有13000个二元符号，问： 1试计算能否在10秒内将信消息序列无失真传送完？ 2 假设信概率分布为多长时间？ ，求无失真传送以上信消息序列至少需要2023 一填空题此题20分，每题2分 1、“通信的根本问题就是 1 ，这是数学家香农Claude E.Shanon在他的惊世之著通信的数学理论中的一句铭言。 2、信息论是研究通信科学的

5、理论工具，故称为 2 ；1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用 3 对信的不确定性的度量，是衡量信息量大小的一个尺度；表如今通信领域里，发送端发送什么有一个不确定量，通过信道传输，接收端收到信息后，对发送端发送什么仍然存在一个不确定量，我们把这两个不确定量差值用 4 来度量，假设把它取最大值，就是通信线路的 5 ，假设把它取最小值，就是 6 ，它是限失真压缩的理论根底，它给出了在指定的 7 条件下，信熵H(X)所能压缩的 8 ，但没有给出详细的压缩方法。 3、在香农第一定理里，用信的 9 来衡量信的有效性，它是无失真压缩的理论根底，它告诉了无失真压缩的极限，同

6、时给出详细的压缩方法是： 10 。 二 简答题 用信息论的理论简单解释以下现象此题20分，每题5分 1我们知道，“猫”(调制解调器的俗称)是在模拟链路上传输数字数据的设备，它可以在一个音频 线上传输二进制数据，并且没有太高的错误率。如今，我们上网用的“猫”的速度已可到达56Kbps了，但是，假如你用网络蚂蚁或其它软件从网上下载东西时，你会发现很多时候网络传输的速度都很低，远低于56Kbps通常音频 连接支持的频率范围为300Hz到3300Hz，而一般链路典型的信噪比是30dB摘自中新网 2 一场颠峰对决的球赛总是激情四射，能把赛场气氛推到沸点，相反一场毫无悬念的球赛显得平淡乏味。 3 摘自美国

7、国防部信息研究所研究员Jacob D. Bekenstein： 假如你问别人物理世界是由什么构成的，他很可能告诉你是“物质和能量”。但只要我们学过一点工程、生物和物理的话，就知道：只给汽车厂的机器人金属和塑料，它们不可能做出任何有用的东西，只有给它们下达如何焊接的指令它们才能组装出汽车。我们身体细胞中的核糖体拥有阿米诺酸组建模块和ATP合成为ADP过程中释放的能量，但假如没有细胞核中DNA所携带的信息，同样无法合成任何蛋白质。请对这段话做出结论： 4一个最古老的问题：12个球中有一个球的重量与其它球不同，其它球均等重。用无砝码的天平至少须称3次才能找出此球。 三 计算题此题60分，每题15分

8、1、 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%。15分 1 假设问一位男士：“你是否是色盲？”他的答复可能是“是”，可能是“否”，问这两个答复中各含多少信息量，从计算的结果得出一个什么结论 2 在第一问中，平均每个答复中含有多少信息量？ 3 假如问一位女士，问她答复是或否前后不确定性各为多少？ 2、黑白气象 图的消息只有黑色和白色两种，即信X=黑，白。设黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7。15分 (1) 假设图上黑白消息出现前后没有关联，求熵H(X)； (2) 假设消息只与前一个消息有关联一阶马尔科夫信，其依赖关系为P(白/

9、白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求信的熵H2(X); (3) 分别求上述两种信的剩余度，比拟H(X)和H2(X)的大小，并说明其物理含义。 3、有一个二元对称信道，其信道矩阵为-0.980.02-。设该信以2000二元符号/秒的速0.020.98-度传输输入符号。现有一消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？15分 4、离散无记忆信 P(x1)=1/2； P(x2)=1/4； P(x3)=1/8； P(x4)=1/8；15分 (1) 计算对信的逐个符号进展二元定长编码码长和编码效率； (2) 对信编二进制哈夫曼码，并计算平均码长和编码效率。 (3) 上面两种编码对应下面那种编码，并说明是什么编码。 信 概率p 1/2 1/4 1/8 1/8 编码 00 01 10 11 编码 0 0 1 10 编码 0 1 00 11 编码 0 10 110 111 编码 0 01 011 0111 U1 U2 U3 U4 第 8 页 共 8 页