信息论基础及答案

《信息论基础》试卷答案 、填空题（共 25分，每空1分） 1、连续信源的绝对嫡为无穷大。（或 p x lg p x dx lim 1g ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到1 3、无记忆信源是指信源先后发生的符号彼此统计独立 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统 计特性，对概率大的符号用短 码,对概率小的符号用 长 码,这样平均码长就可 以降低，从而提高有效性（传输速率或编码效率）。 5、为了提高系统的有效性可以采用信源编码,为了提高系统的可靠性可 以采用信道编码。 6、八进制信源的最小嫡为0,最大嫡为 3bit/ 符号。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为_ 高斯分布（或x : N 0,1或 2 1 % "re ）时，信源具有最大嫡，其值为 （ 或或 1.八 21g 2 e）。 8、即时码是指任一码字都不是其它码字的前缀 9、无失真信源编码定理指出平均码长的理论极限值为 信源嫡（或H（S）或 H^-）,止匕 lg r 时编码效率为二,编码后的信息传输率为lg r bit/ 码元 10、一个事件发生的概率为，则自信息量为 3bit/ 符号 11、信源的剩余度主要来自两个方面，一是信源符号间的相关性 是信源符号概率分布的不均匀性 12、m阶马尔可夫信源的记忆长度为m+1,信源可以有q m 个不同 的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量 为lg36=比特，当得知“面朝上点数之和为 8”所获得的信息量为lg36/5= 比特。 14.在下面空格中选择填入的数学符号“=, >, <, >"或“ < H(XY) = H(Y)+H(X I Y) & H(Y)+H(X) 、（5分）已知信源的概率密度函数为 p x a x b ，计算信源的相对嫡。 0 其他 b1 Hc x p x 1gdx3 分 a p x 1g b a bit/自由度2 分 三、（10分）一个平均功率受限的连续信道，信道带宽为1MH［信道噪声为高斯白噪声。 ⑴已知信道上的信号与噪声的平均功率比值为20,计算该信道的信道容量。 （2）如果信道上的信号与噪声的平均功率比值降为10,要达到相同的信道容量，信道带 宽应为多少 （3）如果信道带宽降为，要达到相同的信道容量，信道上的信号与噪声的平均功率比值 应为多少 1) C 101g 1 Snr -----3分 4.39 106 b/s---1 分 2) 10 106 Hz---3 C 1.27 1g 1SNR 3) SNR 2cw 1 =440一3 (16 分）已知信源共 7个符号消息，其概率空间为 8182 s3 0.2 0.17 0.2 S4 S5 S6 S7 0.17 0.15 0.10 0.01 试用霍夫曼编码法编成二进制变长码。 并计算信源嫡、平均码长、编码后的信息传输率、 编码信息率和编码效率。要求写出详细的编码过程和计算过程。 2 01 S1 0.2 2 00 S3 0.2 3 111 S2 0.17 3 110 S4 0.17 3 101 S5 0.15 4 1001 S6 0.10 4 1000 S7 0.01 -0.2 …0.26 -0.2 -0.17 -0.17 0.17「 0.2 0.2 0.2」 0.26 \ 0.34 0.2, 1 0.4 -0.6「 1.0 0.34「 」0.4 — 0.26 》 0.15r 0.11 -」 0.17 — 7 LiP 2,71 位----2 分 i 1 7 H sPi log 2 P 2.61bit/ 符号2 分 i 1 R log 2 r 2.71 bit/ 码字2 分 H s 0.9632 分 10g2 r H s R 0.963 bit/ 码元2 分 五、（16分）设一个离散无记忆信源的概率空间为 Xa1a2 P x 0.50.5 它们通过干扰信道，信道输出端的接收符号集为 Y=[b 1,b2],已知信源传输概率如下图 所示。 0.98 X1 0.02 Y1 X2 0.2 Y2 0.8 试计算： (1)信源X中事件xi和X2分别含有的自信息量；(2分) (2)收到yj(j =1,2)后，获得的关于xi的信息量；(2分) ⑶信源X的信息嫡；(2分) (4)条件嫡 HYI xi), H(Y] X2) ； (2 分) (5)共商HXY、信道疑义度 HXI Y)和噪声嫡H(YI X) ; (6分) (6)收到消息Y后获得的关于信源 X的平均信息量。(2分) P(x,y)YiY2 X10.440.01 为0.10.4 ⑴I(x 1)==1bit1 分 I(x 2)==1bit1分 (2)I(x 1；y1)=(或==分 I(x 1；y2)=(或==分 (3)H(x)=H,=1bit/符号——2分 (4)H(y |m)=H尸符号-----1分 H(y | x2)=H尸符号-----1分 (5)H(y)=H,= H(xy)=H,,,= 二符号------2分 H(x I y尸H(xy)-H(y尸符号------2分 H(y I x)=H(xy)-H(x)==符号-----2 分 (6)I(x;y尸H(x)+H(y)-H(xy尸符号------2分 六、(12分)设某信道的传递矩阵为 111 2 3 6 -111 P 623 111 362 ⑴ 若输入符号 P(x 1)=P(x2)=1/4 , P(x 3)=1/2 ,求 HXI Y)和 I(XY)。 (2)计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。 (1)-----写出公式2分 H(X | Y)= p y〔 p x x —— 计算过程 p x1 p x1 y1 p(xyj)log p xi yj p y1 x =1/3 , 4分 p y〔 x p y1 同理：p(x1 | y2)=2/7 , p(x 1 | p(x 2 | y1)=1/8 , p(x 2 | y2)=3/7 p(x 3 | y1)=1/2 , p(x 3 | y2)=2/7 I(X;Y)=H(X)-H(X | Y) 同理：p(y 2)=7/24 , p(y3)=3/8 113 3 4 2 18 y3)=1/9 ,p(x2 | y3)=2/3 ，p(x3 | y3)=2/3 H(X)=-2 x (1/4)log(1/4)-(1/2)log(1/2)= bit/symbol 最终答案2分 H(X I 丫尸 p(x)p y x log p x symbol X Y I(X;Y)=H(X)-H(X I Y)= bit/symbol (2)对称离散信道 C=logS-H(p的行矢量)-----判断 公式3分 =log3-H(1/2,1/3,1/6) symbol---答案 1分 输入等概时，达到信道容量。-----说明2分 {0,1},初始概率大小为 七、(16分)有一个二元二阶马尔可夫信源，其信源符号集为 P(0)=1/3 , P(1)=2/3 。条件概率定为 P(0 I 00)= P(1 I 11)= P(1 I 00)= P(0 I 11)= P(0 I 01)= P(0 I 10)= P(1 I 01)= P(1 I 10)= (1)画出该信源的状态转移图。 (2)计算达到稳定状态的极限概率。 (3)该马尔可夫信源的极限嫡HUo (4)计算达到稳定后符号0和1的概率分布。 解：⑴ 1:0.8 0:0.2 0.8 0.2 0 0 0 0 0.5 0.5 0.5 0.5 0 0 0 0 0.2 0.8 ir (2)p Ei . Ei P(Ei)=(E i)+(E3) P(E2)=(E i)+(E 3) P(E3)= (E 2) + (E 4) P(E4) = (E 2) + (E 4) P(Ei)+P(E 2)+P(E3)+P(E4)=1 解得：P(Ei)=P(E4)=5/14 P(E2)=P(E3)=2/分 44 ⑶ H H2P Ei p Ej/Ei log p Ej/Ei =符号-一 公式 2 分，答案 2 i 1 j 1 分 q (4) p Qkp Ei p QjEi -----2 分p(1)=p(2)=1/2——2分 i 1