《信息论》部分作业详解

《《信息论》部分作业详解》由会员分享，可在线阅读，更多相关《《信息论》部分作业详解（13页珍藏版）》请在装配图网上搜索。

1、第2章 信源熵2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?答：2倍，3倍。2.2 一副充分洗乱了的牌(含52张牌)，试问(1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？解：(1) (2) 任取13张，各点数不同的概率为，信息量：9.4793(比特/符号) 2.3 居住某地区的女孩子有是大学生，在女大学生中有是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？答案：1.415比特/符号。提示：设事件A表示女大学生，事件C表示1

2、60CM以上的女孩，则问题就是求p(A|C)，2.4 设离散无忆信源，其发出的消息为，求(1) 此消息的自信息量是多少？(2) 在此消息中平均每个符号携带的信息量是多少？解：(1)信源符号的自信息量为I(ai)=-log2p(ai)，故0,1,2,3的自信息量分别为1.415、 2、 2、 3。消息序列中0，1，2，3的数目分别为14，13，12，6，故此消息的自信息量为1.415*14+2*13+2*12+3*6=87.81比特，(2)87.81/45=1.951比特。2.6 设信源，求这信源的熵，并解释为什么不满足信源熵的极值性。提示：信源的概率之和大于1。2.7 同时掷两个正常的骰子，也

3、就是各面呈现的概率都为，求：(1) “3和5同时出现”这事件的自信息量；(2) “两个1同时出现”这事件的自信息量；(3) 两个点数的各种组合(无序对)的熵或平均信息量；(4) 两个点数之和(即构成的子集)的熵；(5) 两个点数中至少有一个是1的自信息量。解：(1) 4.17(比特/符号)，提示：3和5同时出现的概率为=1/18(2) 5.17(比特/符号)，提示：两个1同时出现的概率1/36(3) “两个点数相同”的概率:1/36,共有6种情况;“两个点数不同”的概率:1/18,共有15种情况.故平均信息量为:4.337比特/符号(4) 3.274(比特/符号)。提示：信源模型 (5) 1.

4、711(比特/符号)。提示：至少有一个1出现的概率为2.8 证明提示： 由教材式(2.1.26)和(2.1.28)可证证明：2.4 证明，并说明等式成立的条件。提示：见教材第38页2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；(2) 天气状态和气温状态已知时忙闲的条件熵；(3) 从天气状态和气温状态获得的关于忙闲的信息。解：设X、Y、Z分别表示忙 闲、晴 雨和冷 暖，(1) 先求忙闲的概率分布，无条件熵=0.9637(比特/符号)(2) H(XYZ)=2.8357，

5、H(YZ)=1.9769 H(XYZ)- H(YZ)=0.8598(比特/符号)(3) I(X;YZ)=H(X)-H(X/YZ)=0.1039比特/符号2.11 有两个二元随机变量，它们的联合概率为X Y 0 1011/8 3/83/8 1/8并定义另一随机变量(一般乘积)。试计算：(1) ；(2) 和；(3) 。解： (1) XY的概率分布为 比特/符号X的概率分布，比特/符号X的概率分布，H(Y)=1比特/符号Z=XY的概率分布，比特/符号 XZ的联合概率分布，H(XZ)=1.4056比特/符号YZ的联合概率分布，H(YZ)=1.4056比特/符号的联合概率分布，H(XYZ)=1.8113

6、比特/符号 (2) H(X/Y)=H(XY)-H(Y)=1,8113-1=0.8113比特/符号；H(Y/X)=H(XY)-H(X)=1.8113-1=0.8113比特/符号 H(X/Z)=H(XZ)-H(Z)=1.4056-0.5436=0.862比特/符号； H(Z/X)=H(XZ)-H(X)=1.4056-1=0.4056比特/符号； H(Y/Z)=H(YZ)-H(Z)=1.4056-0.5436=0.862比特/符号； H(Z/Y)=H(YZ)-H(Y)=1.4056-1=0.4056比特/符号； H(X/YZ)=H(XYZ)-H(YZ)=1.8113-1.4056=0.4057比特/

7、符号；H(Y/XZ)=H(XYZ)-H(XZ)= 1.8113-1.4056=0.4057比特/符号；H(Z/XY)= H(XYZ)-H(XY)=1,8113-1.8113=0比特/符号； (3) I(X;Y)=H(X)-H(X/Y)=1-0.8113=0.1887比特/符号； or I(X;Y)=H(X)+H(Y)-H(XY)=1+1-1.8113=0.1887比特/符号； I(X;Z)= H(X)-H(X/Z)=1-0.862=0.138比特/符号； or I(X;Z)=H(X)+H(Z)-H(XZ)=1+0.5436-1.4056=0.138比特/符号； I(Y;Z)= H(Y)-H(Y

8、/Z)= 0.138比特/符号； or I(Y;Z)=H(Y)+H(Z)-H(YZ)= 1+0.5436-1.4056=0.138比特/符号； I(X;Y/Z)=H(X/Z)-H(X/YZ)=0.4563比特/符号； I(Y;Z/X)=H(Y/X)-H(Y/XZ)=0.4056比特/符号； I(X;Z/Y)=H(Z/Y)-H(Z/XY)=0.4056比特/符号；2.13 设有一个信源，它产生序列的信息。它在任意时间而且不论以前发生过什么符号，均按的概率发出符号。(1) 试问这个信源是否是平稳的？(2) 试计算；(3) 试计算并写出信源中可能有的所有符号。 解：(1) 是平稳信源(2) 信源熵H

9、(X)=-0.4log20.4-0.6log20.6=0.971比特/信源符号，比特/信源符号，由题设知道这个信源是无记忆信源，因此条件熵和极限熵都等于信源熵。(3)比特/信源符号，信源中可能的符号共16个。2.14 设是平稳离散有记忆信源，试证明：。提示：见教材第44页证明：因为，故2.16 一阶马尔可夫信源的状态图如题2.16图所示。信源的符号集为。(1) 求平稳后信源的概率分布；(2) 求信源的熵。题2.16图解：(1)由图得一阶马尔可夫信源的状态为s1=0，s2=1，s3=2。对应的一步转移概率矩阵为，由各态历经定理，有，即解方程组得状态极限概率满足，又由得(2)2.17 黑白气象传真

10、图的消息只有黑色和白色两种，即信源。设黑色出现的概率为p(黑)=0.3，白色的出现概率p(白)=0.7。(1) 假设图上黑白消息出现前后没有关联，求熵；(2) 假设消息前后有关联，其依赖关系为p(白/白)=0.9，p(黑/白)=0.1，p(白/黑)=0.2，p(黑/黑)=0.8，求此一阶马尔可夫信源的熵；(3) 分别求上述两种信源的剩余度，比较的大小，并说明其物理意义。解：(1) 比特/信源符号; (2) 由各态历经定理，有，即p(白)= p(白)p(白/白)+ p(黑) p(白/黑)=0.9 p(白)+0.2 p(黑)p(黑)= p(白)p(黑/白)+ p(黑) p(黑/黑)= 0.1 p(

11、白)+0.8 p(黑)解方程组得：p(白)=2 p(黑)，又由于p(白)+p(黑)=1，所以 p(白)=2/3， p(黑)=1/3=0.5533比特/符号; (3) H0(X)=log22=1，无关联信源剩余度为1-0.8813/1=11.87%，一阶马尔可夫信源剩余度为1-0.5533/1=44.67%这说明马尔可夫信源比无相关信源的冗余度大，编码时可以获得更高的压缩比。第3章 信道容量3.1 设信源 通过一干扰信道，接收符号为，信道传递矩阵为，求(1) 信源X中事件分别含有的自信息量。(2) 收到消息后，获得的关于的信息量。(3) 信源X和信宿Y的信息熵。(4) 信道疑义度和噪声熵。(5)

12、 接收到信息Y后获得的平均互信息量。解：(1) (比特/符号)，比特/符号，(2) ，(比特/符号), (比特/符号), (比特/符号), (比特/符号)(3) 0.971(比特/符号)，0.971(比特/符号)，(4)(比特/符号)，(5) I(X;Y)=H(Y)-H(Y/X)=0.2564比特/符号3.6 有一个二元对称信道，其信道矩阵为。设该信源以1500的速度传输输入符号。现有一消息序列共有14000个二元符号，并设，问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传递完？解：信道容量C=1+0.98log20.98+0.02log20.02=0.8586比特/信道符号，则

13、每秒钟可传送的信息量为15000.8586=1287.9比特，10秒钟最大可传送的信息量为12879比特，而待传送的信息量为14000比特，因此，10秒钟内不能无失真的传送完毕。3.7 求下列各离散信道的容量(3) (4)X Y0101/21/211/43/4X Y012301/31/31/61/611/61/31/61/3 (3) 按一般离散信道容量的计算步骤进行（4）信道为准对称离散信道，当输入端取等概率，即p(a1)=p(a2)=1/2时，达到信道容量，此时信宿端的概率为 ，则H(Y)=H(1/4,1/3,1/6,1/4)=1.9591，故信道容量为C= H(Y)-H(Y/X)=H(Y)

14、-H(1/3,1/3,1/6,1/6) =1.9591-1.9183= 0.0408。3.8 已知一个高斯信道，输入信噪比(比率)为3。频带为3kHz，求最大可能传送的信息率。若信噪比提高到15，理论上传送同样的信息率所需的频带为多少？提示：由式(3.5.13)可得。(1) 最大可能传送的信息率是比特/秒 (2) =1.5kHZ3.14 试求以下各信道矩阵代表的信道的容量：(1) (2)(3)解：一一对应的无噪无损信道，信道容量log24=2比特/信道符号，归并性能的有损无噪信道，信道容量log23=1.585比特/信道符号，扩展性能的有噪无损信道，信道容量log23=1.585比特/信道符号

15、3.18 设加性高斯白噪声信道中，信道带宽3kHz，又设(信号功率+噪声功率)/ 噪声功率=10dB。试计算该信道的最大信息传输速率。提示：的dB 数:。解: 由题意, ,故第4章 信息率失真函数4.2 若某无记忆信源，接收符号，其失真矩阵为求信源的最大失真度和最小平均失真度，并求选择何种信道可达到该的失真度。解：（1）令，则D1=D2=4/3，故当p(bj/ai)=p(bj)时，有H(Y/X)=H(Y)，即I(X;Y)=0，此时平均失真达到Dmax，故实验信道矩阵满足即（2）即4.10 设离散无记忆信源 其失真度为汉明失真度。(1) 求，并写出相应试验信道的信道矩阵；(2) 求，并写出相应试

16、验信道的信道矩阵；(3) 若允许平均失真度，试问信源的每一个信源符号平均最少由几个二进制码符号表示？解：(1)失真矩阵为， (2) 当p(bj/ai)=p(bj)时，有H(Y/X)=H(Y)，即I(X;Y)=0，此时平均失真达到Dmax，故实验信道矩阵满足即 (3) ，计算得，因此每个信源符号最少要用0.333个二进制码表示。第5章 信源编码5.8 选择帧长=63(1) 对001000000000000000000000000000000100000000000000000000000000000编码；解：(1) 值：2；的长度：，的编码：000010, 信息位，故；的长度： ，的编码：010

17、00010010码：00001001000010010解码：因为N=63，故的长度为，取LD码前6位000010，得Q=2；再取后面的所有位001000010010，得T=530。因为，所以n2=34，再令，则T=2；又因为，所以n1=3。所以该冗余位序列长为63，有2个信息位，分别在第3和34位。5.12 采用13折线A律非均匀量化编码，设最小量化间隔为，已知某采样时刻的信号值。(1) 试求该非均匀量化编码，并求其量化噪声；(2) 试求对应于该非均匀量化编码的12位均匀量化编码。解：(1) 由于，极性码；取第1段与第8段的中位第5段进行比较，由于，所以；取第5段与第8段的中位第7段进行比较，

18、由于，所以；取第7段与第8段的中位第8段进行比较，由于，所以，段落码；第7段的起始量化值为，量化间隔为；与段内码最高位权值比较，由于，所以；与段内码次高位权值比较，由于，所以；与段内码次高位和第三位权值之和比较，由于，所以；与段内码次高位和最低位权值之和比较，由于，所以，段内码；因此，非均匀量化编码；量化噪声；以上为计算机中的编码过程。手工计算，可简化为如下过程： 6350，故极性码为1。 因为24+5=5126351024=24+6，所以635在第7个段落，段落码为110； 由(1024-512)/16=32，所以该段落内每个量化间隔为32，635-512=123最接近32的4倍，所以段内码

19、为0100。故13折线A律非均匀量化编码为c=11100100。量化噪声；(2) 12位均匀量化编码。5.15 将正弦信号输入采样频率为4采样保持器后通过增量调制器，设该调制器的初始量化，量化增量。试求在半个周期内信号值的增量调制编码和量化值。解：采样频率是正弦信号频率的20倍，半个周期内有10个采样点，采样值、增量调制编码及量化值如下表所示：预测值量化增量调制编码量化值000-0.1250-0.12510.0773-0.1250.1251020.146900.12510.12530.20230.1250.12510.2540.23780.25-0.12500.12550.250.1250.1

20、2510.2560.23780.25-0.12500.12570.20230.1250.12510.2580.14690.25-0.12500.12590.07730.125-0.125005.16 将正弦信号输入采样频率为4采样保持器后通过差分脉冲编码调制器，设该调制器的初始值，采用码长为4的均匀量化编码，量化间隔。试求在半个周期内信号值的差分脉冲编码和量化值。解：采样频率是正弦信号频率的20倍，半个周期内有10个采样点，采样值、差分调制编码及量化值如下表所示：预测值量化差分调制编码量化值00001000010.077300.062510100.062520.14690.06250.0938

21、10110.156330.20230.15630.031310010.187640.23780.18760.062510100.250150.250.2501-000000.250160.23780.2501-000000.250170.20230.2501-0.062500100.187680.14690.1876-0.031300010.156390.07730.1563-0.093800110.0625第6章 信道编码6.2 一个线性分组码的一致校验矩阵为(1)求使该码的最小码距。(2)求该码的系统码生成矩阵及其所有4个码字。解题提示：(1)要使最小码距大于等于3，只需使H的任意2列线性

22、无关（见P177定理），则只需第1列与其余各列均不相同。由上述关系可以求得一组或多组关于的解。(2)对H作行初等变换得 则由G=Ik, Q即可得到系统码的生成矩阵Gs及所有4个码字6.3 一个纠错码消息与码字的对应关系如下： (00)(00000)，(01)(00111)，(10)(11110)，(11)(11001)(1)证明该码是线性分组码(2)求该码的码长，编码效率和最小码距。(3)求该码的生成矩阵和一致校验矩阵。解：(1)任意两个码字的和是另一个码字且全零向量为码字。(2)码长为向量长，即。码字数为4，故。最小码距即最小非零码字的重量为。(3)在码字中取10对应的码字和01对应的码字即可组成生成矩阵G=。因为G与H正交，即GHT=0，解得H的一种可能情况等于。或：对生成矩阵做初等行变换，得，可表示为Q, I2，则相应的一致校验矩阵H可取为I3, QT，即。6.9 已知(8,5)线性分组码的生成矩阵为，(1)证明该码为循环码；(2)求该码的生成多项式，一致校验多项式和最小码距。解题提示：(1)生成矩阵作初等行变换：第5行加到第4行，第4行加到第3行，第3行加到第2行，第2行和第5行加到第1行。得(2)生成多项式为，一致校验多项式为，一致校验矩阵为该矩阵的任意1列线性无关，但存在某2列线性相关，故最小码距为2