离散信源题与答案

《离散信源题与答案》由会员分享，可在线阅读，更多相关《离散信源题与答案（8页珍藏版）》请在装配图网上搜索。

1、设有一离散无记忆信源，其概率空间为XJ x = 0 x = 1 x = 2 x = 3P(X) 3/81/41/41/8 J该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。 求：(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1)此消息总共有14个0、13个1、12个2、6个3,因此消息发出的概率是：(3 V4 ( 1 25( 1此消息的信息量是：I = -log P = 87.811 bit(2)此消息中平均每符号携带的信息量是：I/n = 87.811/45

2、 = 1.951 bit某一无记忆信源的符号集为0, 1，已知信源的概率空间为XP( X)011/4 3/4J(1) 求信息符号的平均熵； 由100个符号构成的序列，求某一特定序列(例如有m个“0”和(100 - m)个“1”)的自信息量的表达式；(3) 计算中序列的熵。解：(1)(1133 H(X) =-Z p(x.)logp(x.) = 一 4log4 + 4log4 = 0.811 biti(2)p(x )=i(1m(3 X4 )14 )100-m3100-m4100=41.5 + 1.585m bit3100-m13i ) =10g 咛)= Tgk(3)H (X 10() = 100

3、H (X) = 100 x 0.811 = 81.1 bit某信源的消息符号集的概率分布和二进制代码如题表所列。题表信源uuuup1/21/41/81/8代码010110111(1) 求信息的符号熵；(2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这一结果求码序 列中的一个二进制码的熵；(3) 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率p和p，求相邻码间的条件概率p 、p 、p 、p 。010/11/01/10/0解：(1,1 1、1 1、1 1、1)k 2“24“48“88p(1)=1.75 bitH(X) =Z p(

4、x.)logp(x) = log + ；log； +飞log： + 云log-iL = E(l) = Z p(x )l = 1 x 1 +1 x 2 + - x 3 +1 x 3 = 1.75 ii i 2488iH (X) = H (X) =1H (X) = 1 bitnN L(3)设消息序列长为n，则u、u、u、u的个数分别为N/2, N/4, N/8, N/8个。 0123NN ： NN 八 7 N则 0 的个数为 3 x 1 +x 1 + ；x 1 + ；x0 =-2 4888NcN,N-N -7 N而 1 的个数为 5 x 0 + 丁 x 1 + ；x + ；x 3 =24888因而

5、 p0 = p1=0.52 p1/0 = p01 / p1 =-1/41p0/1 = %/p1 = T = 2211 x _2 =111x221p0/0 = p00/ p0 = 丁 = 221/41p1/1 = p11/ p1 = T = 22设有一个信源，它产生0，1序列的信息。该信源在任意时间而且不论以前发生过什么消息 符号，均按P(0)二，P(1)二的概率发出符号。(1)试问这个信源是否是平稳的；(2) 试计算 H(X2), H(X/XX)及 H ；31 28- 一(3) 试计算H(X4)并写出X4信源中可能有的所有符号。解：(1)这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间

6、而且不论以前发生过什么符号”(2)H(X2)= 2H(X) = -2x(0.4log0.4 + 0.6log0.6) = 1.942 bitH(X /X X ) = H(X ) = -Z p(x )logp(x ) = -(0.4log0.4 + 0.6log0.6) = 0.971 bit 3123iiiH = lim H(X / X X .X ) = H(X ) = 0.971 bit8 N-8N 1 2N-1N(3)H(X4) = 4H(X) = -4 x (0.4log0.4 + 0.6log0.6) = 3.884 bitX 4的所有符号：0000000100100011010001

7、010110011110001001101010111100110111101111有一马尔可夫信源，已知转移概率为p(SJS) = 2/3 ,p(S2/S2) = 0。试画出状态转移图，并求出信源熵。解：p(S ) = p(S )p(S / S ) + p(S )p(S / S )1 111212p(S ) = p(S )p(S / S ) + p(S )p(S / S )2 222121p(S ) = 2 p(S ) + p(S )1312p( S2) = 3 p( S1)p( S2) = 3 p( s1)p( s1) + p( S2) = 1p( S) = 3/4p( S2) = 1/4

8、p(S /S ) = 1/3 , p(S /S ) = 1 ,21122/31H =-ZZi(3 x14p(S )p(S / S )log p(S / S )i j ij ij2 2 , 3 L 1)3log3 + 4 X 3log3J=0.689 bit黑白传真机的信息元只有黑色和白色两种X=黑，白, 一般气象图上黑色出现的概率为P（黑） 二，白色出现的概率为？（白）二，黑白消息前后没有关联，其转移概率为P（白/白）二，P（黑 /白）二，P（S/黑）=，P（黑/黑）二。求该一阶马尔可夫信源的不确定性H（X/X），并画出 该信源的状态转移图。解：p(S ) = p(S )p(S / S ) +

9、 p(S )p(S / S )J 1111212p(S ) = p(S )p(S / S ) + p(S )p(S / S )v 2222121p(S ) = 0.8p(S ) + 0.1 p(S )J 112I p(S ) = 0.9p(S ) + 0.2p(S )、221J p( S 2) = 2 p (S1)I p( s：) + p( s 2)= 1J p( S：) = 1/3| p( S 2) = 2/3H =ZZp(S )p(S /S )logp(S /S )Si j ij ii j(1122A=x 0.8 log 0.8 + x 0.2 log 0.2 + x 0.1 log 0.

10、1 + x 0.9 log 0.93333)=0.553 bit设信源产生 A, B, C 三种符号 p(B/B) = 1/2，p(A/B) = p(C/B) = 1/4，p(A/A) = 5/8， p(B/ A) = 1/4，p(C/ A) = 1/8，p(C/C) = 5/8，p(B/C) = 1/4，p(A/C) = 1/8。试计算冗余度。解：p(s ) = 5 p(s ) +1 p(s ) +1 p(s )A 8 A 4 B 8 Cp(s ) =1 p(s )+1 p(s )+1 p(s )B4A2B4Cp(s ) = 1 p(s ) +1 p(s ) + 5 p(s )C8A4B8C

11、I p(s ) = p(s ) = p(s )ABCp(s ) + p(s ) + p(s ) = 1kABC p( sA)=1/3 p(sB) = 1/3p( /) = 1/3CH = -2323 3 p(e )p(e /e )log p(e / e )8i j ij ii j k1,5 5 . 11.1. 11. 1=-x log + x log p + x log _3 883 443 88.11. 11.L 11.L 1 + x log _+x log _+ x log 3 44322344,1L1,1L1.15|5+ _ x _ log + _ x log + _ x _ log38

12、8344388_=1.366 bitR = 1 - 土 = 1 -空=0.138H 0log 3一阶马尔可夫信源的状态图如下图所示。信源X的符号集为0, 1, 2。(1) 求平稳后信源的概率分布；(2) 求信源的熵Hy解：,、3 ,、 1 ,、 p(s ) = p(s ) + p(s ) 141432 1p(s )=房 p(s ) + p(s ) 2324113p(s ) = ; p(s ) + p(s ) 33243P(s ) = p(s )1 33P(s ) = -p(5 )2 41(s ) = 4/llp(s ) = 3/11 2p(s ) = 4/113H003p(e )p(e / e )log p(e I e ) ， j ，j ik3| 3 4 1los + x log _11 44 11 443 22311+ J_X-log- + x-log-113311334 114331+ x-log- + x-log-11441144=0.840 bit