南京工程学院信息论参考试卷A

、填空题（本题15空,每空 1分,共15分 ）1 一个消息来自于四符号集a，b，c，d，四符号等概出现。由10个符号构成的消息）bit。“abbbccddbb”所含的信息量为（）bit,平均每个符号所包含的信息量为（2 两个二元信道的信道转移概率矩阵分别为信道的信道容量 C1=（1/2 1/3 1/61 0 0,P =1/6 1/2 1/30 0 121/3 1/6 1/2，则此）bit/符号，信道2的信道容量C2=（）bit/符号。两信道串联后，得到的信道转移概率矩阵为（）,此时的信道容量C=（），所以它又称为bit/符 号。3 条件熵 H（Y/X） 的物理含义为（）。4一袋中有5个黑球、1 0个白球，以摸一个球为一次实验，摸出的球重新放进袋中。第一次实验包含的信息量为（）bit/符号；第二次实验包含的信息量为（）bit/符号。5线性分组码的伴随式定义为（），其中错误图案E指的是（）。二进制码中，差错个数可等效为（）。6设有一个二元等概信源：u=0, 1, P0=P1=1/2，通过一个二进制对称信道BSC，其失真d _I（pi） = - logpi被定义为单个信源消息的非平均自信息量，它给出某个具体消息信源的信息度量。（） 异前置码一定是唯一可译码。（ ） 无记忆离散消息序列信道，其容量C三各个单个消息信道容量之和。（） 冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。（ ） 当信道固定时，平均互信息1 （X，Y）是信源分布的U型凸函数。（） BCH 码是一类线性循环码，其纠错能力强、构造方便。（） R（D）被定义为在限定失真为D的条件下，信源的最大信息速率。（） 丰 j p _ ； *i 丰 j函数djj与信道转移概率Pji=p（v./ui）分别定义为” 2 j，” A * ' j，则失真矩阵d=（），平均失真D=（）。二、判断题（本题10小题,每小题1分,共 10分）8、设P为某马尔可夫信源的转移概率矩阵，若存在正整数N使得PN中的元素全都为0,则该马尔可夫信源存在稳态分布。（）9、信道容量随信源概率分布的变化而变化。（ ）10、如果两个错误图样 e1、 e2 的和是一个有效的码字，则它们具有相同的伴随式三名词解释（本题4小题,每小题5分,共20分）1 极限熵2 最佳变长码3 限失真信源编码4 信道容量四 计算题（本题3小题,共25分）11有一离散信道，其信道矩阵为，并设 P( X1)二 P( x 2)二 4, P( x3)二 2试按最大似然概率译码准则确定译码规则，并计算其相应的平均译码错误概率。 （7分）2彩色电视显像管的屏幕上有5X105个像元，设每个像元有64种彩色度，每种彩色 度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并 且各个组合之间相互独立。试：1）计算一帧图像所包含的信息量；2）计算每秒传送25帧图像所需要的信道容量；3）如果信道上信号与噪声平均功率的比值为30dB，为实时传送彩色电视图像，信道的通频3 考虑一个（8， 4 ）系统线性分组码，其校验位与信息位的关系是：（?3 =喘1+伽+伽C-m 1十倔十列4Ci =1 + 咖5 =喘2 +朋$ +唧电，其中mm4是信息位（码兀），C3C0是校验位。求出此分组码的生成矩阵G和校验矩阵H。（码字排列为mm4C0C3） 求此码的最小距离 dmin。若输入信息m=（1010），试求对应的输出码字。若接收序列R=（10111010），试判断接收是否有错？并说明理由。（2+2+2+3=9分）五综合题（本题3小题,共 30分）1信源符号X的概率空间为_ Xxx=12P0.10.9_，每次两个符号起编码，试写出其哈夫曼编码，并求其平均码长L和编码效率。（4+4=8分）2设某卷积码的转移函数矩阵为G (D) = (1+D, 1+D2),试画出该卷积码的编码器结构图； 求该卷积码的状态图；求该码的自由距离df。(3+4+3=10分)3 设有一个二进制二阶马尔可夫信源,信源符号集为0,1。条件概率为：p(0|00)=p(1|11)=p(1|00)=p(0|11)=0.5=p(0|01)=p(0|10)=p(1|01)=p(1|10)=0.5。试：1)求出状态转移矩阵打=卩0仲；2) 画出该马氏信源的状态转移图；3) 求出各状态的平稳分布 W4) 求出该信源的极限熵H 。(3+3+3+3=12分) 答案：1、 20 , 21/2 1B 1'62、1bit/符号,0.126bit/符号,1.-3 1/6 1/2，0.126bit/符号3、唯一地确定信道噪声所需要的平均信息量,噪声熵或散布度4、0.915bit/符号，0.915bit/符号，5、S=EHT,E=R-C (mod M)收码和发码的汉明距离_0 r1 06、, e1.V2.V3.X4.X5.X6.V7.X8.V9.X10.V三、1 极限熵 序列长度趋于无限大时，序列的平均符号熵称为极限熵，又称极限信息量。2 最佳变长码 变长编码中，所有编出的唯一可译码中平均码长最短的码即为紧致码。3 限失真信源编码离散无记忆信源X的信息率失真函数为R(D),当信息率大于R(D)时，只要信源 序列的长度足够长，一定存在一种编码方法，其译码失真小于或等于D+8反之， 则无论采用什么方法，其译码失真必大于 D。4 信道容量平均互信息I (X； Y)在转移概率p(y/x)定时，关于X的概率分布是上凸函数，因此有极大值存在，这个极大值定义为信道容量。四、1、解：根据最大似然概率译码规则，得译码规则为：F(y1)=x1 F(y2)=x2F(y3)=x3( 1分)收到yl后的错误概率Pel=l/2(1分)收到y2后的错误概率Pe2=1/2( 1分)收到y3后的错误概率Pe3=1/2(1分)Y 的概率分布为：1/4 1/4 1/2 平均错误概率为： PE=p(y1)Pe1+P(y2)Pe2+P(y3)Pe3=1/4*(1/2)+1/4*(1/2)+1/2*(1/2)=1/2 (3分)2、解：1) 一帧图像的信息量=5*105*6*4bit=1.2*107bit(3 分)2) 1秒送25帧图像所需的信道容量C=1.2*107*25/s=3*108bit/s(3分)3) 根据香农公式C=Blog(1+SNR),可得：通频带 B=C/log(1+1000)=1*108 Hz(3分)000011 r0100110 1G =0010111 0解:1>±成矩阵_0001101 1_=p4 P (1分)'0 1111030"1 11001001 0110010校验矩阵H二1 1010001=PTI （1分）刁该码的最小抿明距离 2分）3）®A信息序列心1010）,输岀码字C-m - G=101010012分）4>R=10111010? 由RHt=1 0 0 0f不等于0,判断出接收有惜。 心分） 3、五、1、解：哈夫曼编码参考答案： 0，11，100，101（哈夫曼编码并不唯一） （4分）平均码长=0.81+0.09*2+0.10*3=1.29bit/2 符号=0.645bit/ 符号(2 分)（2分）厶J L 0.6450.645''编码效率-2、解：1）输出与输入之间的关系为：g1(x)=(110),g2(x)=(101)输出 C0(i)=m0(i)+m0(i-1)C1(i)= m0(i)+m0(i-2)(3分)编码器结果如下所示：2）状态图：1011/101/10010/01111/0013）自由距离df=6 （3分）301/0001/20300P01100000111/21/23分）3漲据耐吐W和工兀T求Wi C 3分1/2W1=W2=W=W4=1M氏=乞冷= Si'）=和 fiihao4）»（3分）解；1）状态转移矩阵3分）2）共4个状态