信息理论基础 周荫清 答案

《信息理论基础 周荫清 答案》由会员分享，可在线阅读，更多相关《信息理论基础 周荫清 答案（55页珍藏版）》请在装配图网上搜索。

1、2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解： 四进制脉冲可以表示4 个不同的消息，例如：0, 1, 2, 3 八进制脉冲可以表示8 个不同的消息，例如：0, 1, 2, 3, 4, 5, 6, 7 二进制脉冲可以表示2 个不同的消息，例如：0, 1 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量 H(X1) = log2n = log24 = 2 bit/symbol 八进制脉冲的平均信息量 H(X2) = log2n = log28 = 3 bit/symbol 二进制脉冲的平均信息量 H(X0) = log2n = log22 = 1 bit/symbo

2、l 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2 倍和 3 倍。2.2 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高160 厘米以上的，而女 孩子中身高160厘米以上的占总数的一半。假如我们得知“身高 160厘米以上的某女孩是大 学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历Xx1 (是大学生)x2 (不是大学生)P(X) 0.25 0.75y2 (身高160cm)0.5设随机变量 Y 代表女孩子身高 Yyl (身高160cm)P(Y)0.5已知：在女大学生中有75%是身高160厘米以上的即：p(y/X) = 0.75求：身高160厘米以

3、上的某女孩是大学生的信息量即：1 (X1/y1)一lOg P(X1/y1)一 lOg2p(x )p(y / x )1 1 11( 0.25 x 0.75 )=-log210.5 Jp( y)1二 1.415 bit2.3 一副充分洗乱了的牌(含 52 张牌)，试问(1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取 13 张牌，所给出的点数都不相同能得到多少信息量？解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是I(x ) = -log p(x ) = log 52!= 225.581 bitii2(2) 52张牌共有4种花色、13 种点数，抽

4、取13张点数不同的牌的概率如下：p(x ) =i413C1352413I(x ) = -log p(x ) = -log = 13.208 bit i2 i2 C1352Xx 0 x 1 x 2 x 32.4设离散无记忆信源J广 厂 厂 厂|，其发出的信息为P(X)3/81/41/41/8 J(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个 0、13个1、12个 2、6个3，因此此消息发出的概率是：厂 1、25X(1 )6 log6 不满

5、足信源熵的极值性。 解：H(X) = -f p(x )log p(x )i 2 i1= -(0.2log 0.2 + 0.19log 0.19 + 0.18log 0.18 + 0.17log 0.17 + 0.16log 0.16 + 0.17log 0.17)2 2 2 2 2 2= 2.657 bit / symbolH(X) log 6 = 2.5852不满足极值性的原因是乞p(x ) = 1.07 1。i2.7证明：H(X3/X1X2) W H(X3/Xi)，并说明当X1, X3是马氏链时等式成立。 证明：H (X / X X ) - H (X / X )p(x x )log p(x

6、 / x )i1 i 3i 3 i13 1231=-乙乙乙 p(x x x )log p(x / x x ) + 乙乙i1 i2 i3i3 i1 i2i1 i2 i3i1 i3=-乙乙乙 p(x x x )log p(x / x x ) + 乙乙乙i1 i2 i3i3 i1 i2i3i1 i2()lp(x /x )p(x x x )log 诂 锂i1 i2 i3p(x /x x )i3 i1 i2(p(x / x ) J1 i3ii -1 log e ,p(x / x x ) 丿 i3 i1 i2=EEE p(x x)p(x /x)-EEEIil i 2i 3ili1 i2 i3i1 i2 i

7、3- p(x / x ) 一 1 logi3 i1 丿p( x x x )log p( x / x )i1 i 2 i3i3 i1i1 i 2=EEEi1 i 2 i3i1 i 2 i3i3p( x x x ) i1 i 2 i3p( x x xi1i 2 i3)log丿i1 i 2i1i2=0i 3 i1i3 H (X / X X ) 0 n H (X ) H (X / X )2 1 2 2 1I(X ;X X )0nH(X )H(X /X X )3 123312I(X ;X X .X )0nH(X )H(X /X X .X )N 1 2 N-1 N N 1 2 N -1 H(X X .X

8、) H(X ) + H(X ) + H(X ) +. + H(X )12 N123N2.9 设有一个信源，它产生 0， 1 序列的信息。它在任意时间而且不论以前发生过什么符号 均按P(0) = 0.4, P=0.6的概率发出符号。(1) 试问这个信源是否是平稳的？(2) 试计算 H(X2), H(X/XX)及 H ；3 1 2co 试计算H(X4)并写出X4信源中可能有的所有符号。解：(1)这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号”(2)H(X2) = 2H(X) = 一2x(0.4log 0.4 + 0.6log 0.6) = 1.942 bit/s

9、ymbol22H(X / XX ) = H(X ) = -Y p(x )log p(x ) = 一(04log 0.4 + 0.6log 0.6) = 0.971 bit/symbol 3123i 2 i22iH = H(X) =0.971 bit/symbol(3)H(X4) = 4H(X) = -4x (0.4log 0.4 + 0.6log 0.6) = 3.884 bit/symbol22X 4的所有符号：00000001001000110100010101100111100010011010110011011110111110112.10 一阶马尔可夫信源的状态图如下图所示。信源X的

10、符号集为0, 1, 2。(1) 求平稳后信源的概率分布；(2) 求信源的熵H。OO解：(1)p(e ) = p(e )p(e / e ) + p(e )p(e / e )1 111 2 1 2 p (e ) = p(e ) p(e / e ) + p(e ) p(e / e )2 222323p(e ) = p(e )p(e / e ) + p(e )p(e / e )3 333131/ p(e ) = p - p(e ) + p - p(e )1 1 2 p(e ) = p p(e ) + p - p(e )2 23p(e ) = p - p(e ) + p - p(e )3 31p(e )

11、 = p(e ) = p(e ) 123p (e ) + p (e ) + p (e ) = 1123p(e ) = 1/31 p(e ) = 1/32p(e ) = 1/33p(x ) = p(e )p(x /e ) + p(e )p(x /e ) = p - p(e ) + p - p(e ) = (p + p)/3 = 1/31 1 1 1 2 1 2 1 2 H2(X)表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多 能够进行较大程度的压缩。2.12 同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求(1) “3 和 5 同时出现”这

12、事件的自信息；(2) “两个 1 同时出现”这事件的自信息；(3) 两个点数的各种组合(无序)对的熵和平均信息量；(4) 两个点数之和(即 2, 3, , 12 构成的子集)的熵；(5) 两个点数中至少有一个是 1 的自信息量。解：(1)1 1 1 11p (x ) X + X -/ 6 6 6 6 181I(x ) - log p(x ) - log 4.170 bit i2 i2 18(2)p(x)i1 1 1X 6 636I(x ) - log p(x ) - log 5.170 biti2 i2 36(3) 两个点数的排列如下111213141516212223242526313233

13、343536414243444546515253545556616263646566共有 21 种组合：1 1 1其中11, 22, 33, 44, 55, 66的概率是匸x：:6 636其他15个组合的概率是2 x 1X 6 16 6 18H(X) = 一丫 p(x )log p(x ) -(6 xlog +15 x log )log 10 4.337 bit / symbolii363618182i(4) 参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下：_ X 234567891011121=V11115151111 _ P( X)_、362936636921836 一H(X

14、)=p(x )log p(x )iii=(2 x 丄 log + 2 x log + 2 x log + 2 x log + 2 x log 丄 + log ) log 10363618181212993636 662=3.274 bit/symbol(5)1 1 11p (x )二 X X11 二-i 6 63611I(x )二一 log p(x )二一 log= 1.710 biti2 i2 362.13某一无记忆信源的符号集为0,1,已知P(0) = 1/4, P=3/4。(1) 求符号的平均熵； 有100个符号构成的序列，求某一特定序列(例如有m个“0”和(100 - m)个“1”)

15、的自信息量的表达式；(3) 计算(2)中序列的熵。解：(1)11 33H(X) = Y p(x )log p(x ) = (log + 4log 4) log 10 = 0.811 bit / symboli(2)100m3100m4100I (x ) = logip(x ) = 一 log2i3100 m=41.5 + 1.585m bit2 4100(3)H ( X 100) = 100H ( X ) = 100 x 0.811 = 81.1 bit / symbol2.14 对某城市进行交通忙闲的调查,并把天气分成晴雨两种状态,气温分成冷暖两个状态,调查结果得联合出现的相对频度如下：冷

16、8暖 15冷 5暖 12若把这些频度看作概率测度,求：(1) 忙闲的无条件熵；(2) 天气状态和气温状态已知时忙闲的条件熵；(3) 从天气状态和气温状态获得的关于忙闲的信息 解：(1) 根据忙闲的频率，得到忙闲的概率分布如下：XP(X)X忙63、而x河4o103H(X) = -f p(x )=-ii(63 634040)log +log 1032103 1032103丿=0.964 bit / sym bol(2)设忙闲为随机变量X，天气状态为随机变量Y气温状态为随机变量ZH(XYZ) = _m p(x y z )log p(x y z )i j k2 i j ki j k(12 128 82

17、72716 16(10321031032103103210310321038 815 155 512 12)+log +log +log +log 1032 1031032 1031032 1031032 103 丿= 2.836 bit / sym bolH(YZ) = -H p(y z )log p(y z )j k 2 j kjk(202023233232228) log +log +log +log (1032 1031032 1031032 1031032 103丿=1.977 bit / sym bolH(X /YZ) = H(XYZ) - H(YZ) = 2.836 -1.977

18、 = 0.859 bit / sym bol(3)I(X;YZ) = H(X)- H(X /YZ) = 0.964 - 0.859 = 0.159 bit / symbol2.15有两个二元随机变量X和Y,它们的联合概率为Y 泌x =0ix =12y =011/83/8y =123/81/8并定义另一随机变量Z = XY (一般乘积)，试计算： H(X), H(Y), H(Z), H(XZ), H(YZ和 H(XYZ)；H(Y/和Z)(Z/XY)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ)(3) I(X;Y), I(X

19、;Z), I(Y;Z), l(X;Y/Z), l(Y;Z/和 l(X;Z/Y)。解：13+ =88(1)p(x ) = p(x y )+ p(x y ) =311p(x ) = p(x y ) + p(x y ) =+= 2 2 1 2 2 8 8 2H(X)= 一工 p(x )log p(x ) = 1 bit / sym bol i 2 ii131p(y) = p(x y) + p(x y) = =-1 1 1 2 1 8 8 23 1 1 p(y ) = p(xy ) + p(x y ) =- = -2 1 2 2 2 8 8 2H(Y)= 一工 p(y )log p(y ) = 1 b

20、it / sym bolj2jjZ = XY 的概率分布如下：z = 1、21 8 一(7_ Z _ P (Z)_= H(Z/X) H(Z) H (Y)同理可得H (Z) H (X)。求H (X),并证c2.17给定声音样值X的概率密度为拉普拉斯分布p(x)二1九e-儿12明它小于同样方差的正态变量的连续熵。 解：H (X) =-J+8p (x) log px)dx = -J+8p(x) log Xe -xixi dxgC 8 2 8 2 2=log J+8p(x)dx J+8p(x) log e -xixi dx2 2 8 8 22+8=log J+8 Xe xixi log e xixi

21、dx2 X 8 22=log 2 J+8 xe -xx log e xx dx2x 02其中：J+8 九e 心 log e 心 dx 02 =J+8 log e XxdC-Xx )+g log e-xd V-心 0 2=e心 log e心2/e -心、+80丿+8 J+8 e Xxd Cg e 心)=_0 0 222e H (X) = log+ log e = log bit/symbolC2九 22九log e = log e22m = E (X) = J+8 p (x) - xdx = f+8 九 e -加 xi xdx = J 九 e 心 xdx + f+8 九 e -心 xdx2 2

22、28 8 8 0 J0 九 e 心 xdx = J0 九 e 入(-y)(y )d (y) = J0 九 e -3ydy = f+8 九 e -入yydy8 2 +8 2 +8 2 0 2 m = J+8 九 e -心 xdx + J+8 九 e -心 xdx = 0c 2 = E0 2 0 2+g 尢 e x 2 dx 0=J+g e 心dx 2 = 2 f+g e 心 xdx00E(x2) = J+8p(x) - x2dx =J+8 Xe-xixix2dx = J8 8 2=J+g x 2 de 心=0+8 J+8 e -Xxdx 2、00丿+s J* e -抵 dx00丿九212 ,2e

23、H (X ) = log 2nec 2 = logne H (X) = log c正态2九c2九二J* xde -入x 二九02 (e -九xx 九k2.18连续随机变量X和Y的联合概率密度为：p(x,y) = X2 *y2 -r2，求 H(X), H(Y),其他 nn(提示:J 2 log sinxdx = 一一log 2 )02 22解：p(x) = J r p(xy)dy = J r2 dy =殳一 v r2 一x2一、r2 一x2 Zr 2H (X ) = Jr p(x)log p(x)dxcrr 2 x 2=Jr p(x)log-dxrnr 2=Jr p(x) log dx Jr p

24、(x)log、r2 x2 dx rnr 2rnr 2nr 2(r x r)nr 2 f=log Jr p(x)logx/r2 x2dx2 r=log log r +1 log e2 2 2=log nr log e bit / sym bol2 2 2其中：Jr p(x)log “ r2 x2 dxrJ r 2 rnr 2 n =- J0 r2 sin2 9 log r sin9d9nr 2 n 2 x2 =Jrlog* r 2 x 2 dxrnr 24 f . .=r ； r 2 x 2 log r 2 x 2 dxnr 2 040令x = r cos0J0 r sin9 log r sin

25、9d(r cos0)2兀2兀2兀2兀=log r J 2 d0 -log r J 2 cos 20d0 + J 2 log sin 0d0 -J 2 cos 20 log sin 0d0Z 0 Z 0 Z 0 Z 0 1fz2兀2fz=log r - log r J 2 d sin 20 +(- log 2) - J 2 cos 20 log sin0d0z0z22 z02卜=log r -1 - J 2 cos 20 log sin 0d0z0=log r -1 + 2 log e其中：2 fzJ 2 cos 20 log sin 0d0 z01住 =J 2 log sin 0d sin 2

26、0z0=| sin 20 log sin 01: - J 2 sin 20d log sin 0兀(o0丿=-丄 J；2sin0 cos0 * 性 e d0 z 0sin0=-log eJ2 cos2 0d0 z 202J皿 1 + cos 20 、21位log eJ 2 cos20dO 兀 2 oZ-20=一一log ej 2d0z 201 z =-log eJ 2 d0 -z 20=-log e -丄 log esin 202 22兀2=-1 log e22r 2 y 2r 2 y 2dx =2yr2 - y2zr2(-r y r)p(y)= p(x)bit/sym bolH (Y) =

27、H (X) = log zr - 1 log eC C 2 2 2H (XY) = -JJ p(xy)log p(xy)dxdy cR=-JJ p( xy )log dxdy zr2= logzr2JJ p(xy)dxdyR= log zr2 bit/sym bolI (X;Y) = H (X) + H (Y)-H (XY) c c c c= 2log zr-log e-logzr222= log z - log e bit/sym bol222.19 每帧电视图像可以认为是由 3 105个像素组成的，所有像素均是独立变化，且每像素又 取 128 个不同的亮度电平，并设亮度电平是等概出现，问每

28、帧图像含有多少信息量？若有一 个广播员，在约10000 个汉字中选出 1000个汉字来口述此电视图像，试问广播员描述此图像 所广播的信息量是多少(假设汉字字汇是等概率分布，并彼此无依赖)？若要恰当的描述此 图像，广播员在口述中至少需要多少汉字？解：1)H (X)二 log n 二 log 128 二 7 bit / symbol22H(Xn)二 NH(X)二 3x 105 x7 二 2.1 x 106 bit/symbol2)H(X)二 log n 二 log 10000 二 13.288 bit/ symbol22H(Xn)二 NH(X)二 1000x 13.288 二 13288 bit/

29、symbol3)H ( Xn )H (X)2.1 x 10613.288=1580372.20设X = X X .X是平稳离散有记忆信源，试证明:12 NH(X X .X ) = H(X ) + H(X /X ) + H(X / X X ) +. + H(X / X X .X 12 N证明：H (X X .X )12 N=一乙乙乙p(x xi1 i2iN=一乙乙乙p(x xi1 i 2iN斗工.工p(x xZ1lN.一乙乙 乙p(x x .x )logp(x /x .x)i1 i2i Ni ii1 i2iN=一乙 p(x )log p(x ) 一乙乙 p(x x )log p(x / x )i

30、1i1i1 i2i 2i1i1i1 i2.一乙乙 乙p(x x .x )logp(x /x .x)i1 i2i Ni Ni1i N 一1i1 i2i N=H(X ) + H(X /X ) + H(X /XX ) +. + H(X /XX .X )12131 2N 1 2N 一121N 一 1)。i1 i2i1 i2.x )log p(x xii iN1.x )log p(x )p(x /x ).p(x /x .x )iii ii i iN121N1N-1.x )iN.xi i i12 N)log p(x ) 一工工 工i11112 .xi i iN1N-1p( x x .xi i i12 Ni

31、N)log p(xi2/ x )i12.21设X = XX . X是N维高斯分布的连续信源，且X, X,，X的方差分别是12 N12Ng 2Q 2,.Q 2，它们之间的相关系数P (XX ) = 0(i, j = 1,2., N, i丰j)。试证明：N维高斯分布 12 Ni j的连续信源熵H (X) = H (XX .X ) =1 兰 log 2兀ed 2 cc 12 N 22ii证明：相关系数p(x )= 0 C j二1,2,.,N, i丰j),说明X X .X是相互独立的。 i j12 N:.H (X) = H (XX .X ) = H (X ) + H (X ) +. + H (X )

32、cc 12 N c 1 c 2c N/ H (X ) = bog 2兀ed 2c i 22i H (X) = H (X ) + H (X ) +. + H (X )cc 1 c 2c N=log 2兀ed2 + log 2兀ed2 +. + log 2兀ed222122222N=兰 log 2兀ed 222ii=12.22设有一连续随机变量，其概率密度函数p(x) = O20 x 0的熵 H (Y)； 试求Y二2X的熵H (Y)。cH (X) = _J f (x) log f (x)dx = _J f (x) log bx2dx c R 2 R 2=_ log b - J f (x)dx _

33、J f (x) log x2dx222 R R 2= _ log b _ 2bJ x2 log xdx2 R 22ba 3a 3=_ log b 一 log 292 e.F (x)=罕,F (a)=罕=1X 3 X 3H (X) = _log b 一 2 -log bit/symbolc 2 3 2 e2)/ 0 x a n 0 y 一 A a A y a + Afy (y)=P(Y y)=P( X+A y)=P( X y _A)=Jy - Abx 2 dx = -(y _ A)3A3f (y) = F(y) = b( y _ A)2H (Y)=_J f(y)log f(y)dy=_J f(y

34、)log b(y_A)2dy22R 2 R 2=_log bf(y)dy_J f(y)log (y A)2dy2 R R 2=_log b_2bJ (y_A)2log (y_A)d(y_A)2 R 2=-log b - ba log bit / sym bol 2 9 2 ebba3 F (y) = - (y - A)3,F (a + A) = 1Y 3Y3H (Y) = -log b - -log bit/symbol c 2 3 2 e3)/ 0 x a n 0 a20 y 2aFy(y)= P(Y y)= P(2X y)= P(X 2)=J 2 bx 2 dx = y 3 o24丿bf

35、(y) = F(y) = q y28H (Y) = -J f (y)log f (y)dy = -J f (y)log -y2dy c R 2 R 2 8=-log - J f (y)dy - J f (y)log y2dy2 8RR2=-log - - - J y2 log ydy 2 84 R2b2ba38a 3=-log - log - 2 892 e2ba3a3 9 - 2ba 3=-叫-丁 陀2 二 + a3 F (y) = 24 y3,F (2a) = -： = 1 Y 24 Y3H (Y) = - log b - - log +1 bit / sym bol31设信源p(x)06

36、冷通过一干扰信道接收符号为Y = y1, y2 ，信道转移矩5 1阵为6 ,求：_ 44 _(1) 信源X中事件x和事件x分别包含的自信息量； 收到消息y (j=1,2)后，获得的关于x (i=1,2)的信息量; ji(3)(4)(5)解：信源X和信宿Y的信息熵；信道疑义度H(X/Y)和噪声熵H(Y/X)； 接收到信息Y后获得的平均互信息量。1)I(x )二log p(x )二log 0.6 二 0.737 bit1 2 1 2I(x )二log p(x )二log 0.4 二 1.322 bit 2 2 2 20.6 6 6 + 0.4 4 4 = 0.62)P( W = P( S)P( y

37、J S)+ P (3)P ( yJ 3)=P( y 2)= P( %) P( y 2/%) + P(兀2)P( y 2/兀2)= O6 61 + 0.4 6 364=0.4bitbitbitbitp(y1)p(y /x )1/6I(x ;y ) = log 21 = log =1.2631 22 p( y )2 0.42=p(y /x ) = 1/4 =I(x ;y ) = log +2 = log =1.2632 12 p( y )2 0.6p(y / x )3/4I(x ; y ) = log 22 = log = 0.9072 22p( y )2 0.423)H(X)= 一工p(x )l

38、ogp(x ) = (0.6log0.6 + 0.4log0.4)log 10 = 0.971 bit/symbolii2H(Y) =Yp(y )logp(y ) = (0.6log0.6 + 0.4log0.4)log 10 = 0.971 bit/symboljj2j4)H(Y/X)=YYp(x )p(y /x )logp(y /x)ij ij iij5 5111133=(0.6 x log + 0.6 x log + 0.4 x log + 0.4 x log ) x log 106 66644442= 0.715 bit / sym bolH(X)+H(Y/X)=H(Y)+H(X/Y) H (X / Y) = H (X) + H(Y / X) H(Y)=0.971+0.7150.971=0.715 bit / sym bol5)I(X;Y)= H(X)H(X /Y ) = 0.971 0.715 = 0.256 bit / symbol_ 2 1_3.2设二元对称信道的传递矩阵为3 3_ 33 _ 若 P(0) = 3/4, P=1/4,求 H(X), H(X/Y), H(Y/X和 l(X;Y)；(2) 求该信道的信道容量及其