信息论试题

《信息论试题》由会员分享，可在线阅读，更多相关《信息论试题（17页珍藏版）》请在装配图网上搜索。

1、题号-一一-二二三四五六七八九总分得分评卷人一、填空题（共15分，每空1分）1、当时，信源与信道达到匹配。2、若高斯白噪声的平均功率为6 W,则噪声熵为。如果一个平均功率为 9 W 的连续信源的熵等于该噪声熵，则该连续信源的熵功率 为。3、信源符号的相关程度越大，信源的符号熵越 ，信源的剩余度越。4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率的符号用短码，对概率的符号用长码，从而减少平均码长，提高编码效率。8、香农第一编码定理指出平均码长的理论极限值为，此时编码效率为。4、在下面空格中选择填入数学符号“二， ”或“ ”（1） H（X）=2H（X

2、X ）1_2-2H（X）=日 &i X 2 X3）33（2） H（XY）H（Y）+ H（X I Y）H（Y）+ H（X）。9、有一信源X,其概率分布为11 12 13 14若对该信源进行100次扩展,则每扩展符号的平均信息量是.11、当时，信源熵为最大值。8进制信源的最大熵为二、判断题（正确打V,错误打X）（共5分，每小题1分）1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。（）2）即时码可以在一个码字后面添上一些码元构成另一个码字。 （ ）3）连续信源的熵可正、可负、可为零,4）平均互信息始终是非负的。（）5）信道容量C只与信道的统计特性有关，而与输入信源的概率分布无关。 三、(

3、10分)计算机终端发出A、B、C、D、E五种符号，出现概率分别为1/16,1/16,1/8, 1/4, 1/2。通过一条带宽为18kHz的信道传输数据，假设信道输出信噪比为2047, 试计算：1) 香农信道容量；2) 无误码传输的最高符号速率。四、(10分)有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x处在ai和a2之间。此信源连至信道，信道接收端接收脉冲的幅度y处在B和B之间。已知随机变量X和Y 12的联合概率密度函数p (xy)=-(A - A )(B - b )2 1 2 1试计算 H(X), H(Y), H(XY)和 I(X; Y)五、（10 分）设某信道的传递矩阵为0.8 0.1

4、0.1P 二_ 0.1 0.1 0.8_计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布六、（10分）设随机变量X和Y的联合概率分布如下所示:X叽=11/31/3% = 101/3已知随机变量Z XY，计算 H（X），H （Z）, H （XY）, H （X/Z）, I（X； Y）七、 （20分）一个离散无记忆信源_ X xxxxxx=123456_ P( x) _1/161/161/161/161/41/21）求H（X）和冗余度；（4分）2）编成Fano码，计算编码效率；（8分）3）编成 Huffman 码，计算编码效率。（8 分）八、（10 分）设一个离散无记忆信源的概率空间为_

5、X _ P( x)_xx120.2 0.8，它们通过干扰试计算：信道，信道矩阵为P = 0：0.7。信道输出符号集为yU.3 U./12（1）信源X的信息熵；（2分）（2）收到信息Y后，获得的关于x的信息量；（2分）213）共熵 H（XY ） ；（2分）（4）信道疑义度H（X I Y） ； （2分）（5）收到消息Y后获得的关于信源X的平均信息量。（2分）九、（10 分）有一个二元马尔可夫信源，其状态转移概率如图所示，括号中的数表示转 移时发出的符号。试计算（1）达到稳定后状态的极限概率。（2）该马尔可夫信源的极限熵 H 。信息论基础试卷答案信息论基础试卷答案一、填空题（共15分，每空 1 分）

6、1, 当（R=C或信道剩余度为0）时，信源与信道达到匹配。2, 若高斯白噪声的平均功率为6W,则噪声熵为（1/2log12兀e=3。337bit/自由度） 如果一个平均功率为 9W 的连续信源的熵等于该噪声熵，则该连续信源的熵功率为（6W）3, 信源符号的相关程度越大,信源的符号熵越（小）,信源的剩余度越（大）4, 离散无记忆信源在进行无失真变长信源编码时,码字长度是变化的。根据信源符号的统计特性,对概率（大）的符号用短码,对概率（小）的符号用长码,从而减少平均码长，提高编码效率。8,香农第一编码定理指出平均码长的理论极限值为（信源熵H（S）/logr或H（S）,R此时编码效率为（1）9,在下

7、面空格中选择填入数学符号“=,， ”X_x x x x10,有一信源X，其概率分布为P12341/2 1/4 1/8 1/8H(X)=H(XX)/2 H (x)=H(XXX)/321 21 2 3H (XY) = H(Y)+H(X/Y) H(Y)+H(X),若对该信源进行100次扩展,其每扩展符号的平均信息量是（175bit/扩展符号）11当（概率为独立等概）时，信源熵为最大值，8进制信源的最大熵为（3bit/符号）二、判断题（本大题共5小题,每小题1分,共5分）1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大（X ）2）即时码可以在一个码字后面添上一些码元构成另一个码字（X ）3）

8、连续信源的熵可正可负可零（v ）4）平均互信息始终是非负的（v ）5）信道容量C只与信道的统计特性有关，而与输入信源概率分布无关（v ）三、（10分）计算机终端发出五种符号，出现概率分别为1/16， 1/16， 1/8,1/4,1/2.通 过一条带宽为18KHz的信道传输数据，假设信道输出信噪比为2047，试计算：1）香农信道容量；2）无误码传输的最高符号速率。（1）C = B log I 1 + = 181og 2048 = 198kbit / st2 J N 丿2(R ) max =BCH (x )，H (x )= HIJ 16 16 81 1)42丿158(R )max =198k15!

9、= 1.056 X105 Baud四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值X处在a1,a2之间。 此信源连至信道，信道接收端接收脉冲的幅度y处在b1，b2之间。已知随机变量x和y 的联合概率密度函数p（ x, y） = 1/（ a2 - a1）（b2 - b1）试计算 h （x）， h （y） h （xy）和 l（x;y）由 p( x, y) 得p( x)= a 一 a21a x a120,其他p (y)=, b x b22210,其他可见，p(xy) = p(x)p(y) , x和y相互独立，且均服从均匀分布, h(x) = log(a 一 a )bzt / 自由度21h

10、(y) = log(b b )bit / 自由度21h(xy) = h(x) + h(y) = log(a 一 a )(b 一 b )2 1 2 1I(x,y)=0五、(10分)设某信道的传递矩阵为0.8 0.1 0.10.1 0.1 0.8计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布，该信道为准对称信道，(1)两个对称信道矩阵为0.80.10.10.80.8|_ 0.10.10.80.10.1N1=+=,N2=;M1=,M2= C = log2 H(0.8,0.1,0.1) 0.9log0.9 0.1log0.2 = 0.447bit / 符号最佳输入概率分布为输入等概率，即

11、p(x1)= p(x2)=1/2六、(10分)设随机变量x和y的联合概率分布如下所示：b1=0b2=1al=01/31/3a2=l01/3已知随机变量 z=xy，计算 H(X), H(Z), H(XY), H(X/Z),I(x； y)1) H(x)=H(1/3,1/3)=符号2)z01pz2/31/3H(z)=H(2/3,1/3)=符号2) H(xy)=H(l/3,l/3,0,l/3)= bit/每对符号4)xzP(xz)002/3010100111/3H(xz)=H(2/3,l/3)bi t/每对符号H(x|z)=H(xz)-H(z)=05)I(x,y)=H(x)+H(y)-H(xy)=符七

12、 （20）一个离散无记忆信源xx1x 2 x3 x 4x5x6_ p( x) _1/16 1/16 1/16 1/16 1/4 1/21）求H（x）和冗余度；（4分）2）编成Fano码，计算编码效率；（8分）3）编成Huffman码，计算编码效率。（8分）1）H（x）=H（1/16,1/16,1/16，1/16,1/4,1/2）=2bit2)H (x)log6=22.6 %x6 1/2x5 1/4x4 1/16x3 1/16x2 1/16x1 1/1611/21/41/801/16 1/1611/21/401/8 1/8一11/21/41/411/21/20101110111111001101

13、111CL = 1 x + 2 x4 x 4 x = 2 242耳=H(x) = 100 %L八 (10分)设一个离散无记忆信源的概率空间为xx1x 2_ p( x) _020.8_，它们通过干扰信道，信道矩阵为p；9 0；。信道输出符号集Y儿 H(x)=H,=符号(2) I(x1;y2)=I(x1)-I(x1|y2)=log1/,58/=W 号(3) H (xy) =H,=每对符号(4) H(x|y)=H(xy)-H(y)=(y)H(y)=H,=H(x|y)二符号(5) I(X:Y)=H(x)+H(y)-H(xy)=H(x)-H(x|y)=符号九(10分)有一个二元马尔科夫信源，其状态转移概

14、率如图所示，括号中的数表 y2，试计算:(1) 信源X的信息熵；(2分)(2) 收到信息y后，获得关于X1的信息量；(2分)(3) 共熵 H(XY)； (2 分)(4) 信道疑义度H(X|Y);(2分)(5) 收到消息Y后获得的关于信源X的平均信息量。(2分)P(xy)y1y2x1XXx2XX示转移时发出的符号。试计算（1）达到稳定后状态的极限概率（2）该马尔科夫信源的极限熵 H0.5(1)_0.5(0)s0si0.5(1)0.5(0)0.5(0)J2.J 0.5(1)s0s1s2s000.50.5(1) p =s10.50.50s 2 0 0.5 0.5P(s0)=(s1)(p(s0)+p(s1)+p(s2)=p(s1)(p(s0)+p(s2)=p(s2)P(s0)+p(s1)+p(s2)=1得 p(s0)=;P(s1)=;P(s2)=;(2)H =1/4H,+1/2H,+1/4H,gl/4+l/2+l/4=lbi t/符号