信息论第二章答案

《信息论第二章答案》由会员分享，可在线阅读，更多相关《信息论第二章答案（20页珍藏版）》请在装配图网上搜索。

1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?0, 1,2, 30, 1,2, 3, 4, 5, 6, 70, 12倍和3倍。解：四进制脉冲的平均信息量H(XJlog nlog 42 bit / symbol八进制脉冲的平均信息量H(X2)log nlog 83 bit / symbol二进制脉冲的平均信息量H（X。）log nlog 21 bit / symbol四进制脉冲可以表示 4个不同的消息，例如 八进制脉冲可以表示 8个不同的消息，例如 二进制脉冲可以表示 2个不同的消息，例如 假设每个消息的发出都是等概率的，则：所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的一副

2、充分洗乱了的牌（含52张牌），试问（1）任一特定排列所给出的信息量是多少？ 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量?解:（1） 52张牌共有52!种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是:P(K)152!I(xjlog p(xj log52! 225.581 bit52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下:(a) p(x i)=52/52 * 48/51 * 44/50 * 40/49 * 36/48 * 32/47 * 28/46 * 24/45 * 20/44 * 16/43 * 12/42* 8/41 * 4/40=(b)

3、总样本：C352,其中13点数不同的数量为4*4*4*4=413。所以，抽取13张点数不同的牌的概率:P(Xi)413C13I (Xi)log p(Xi)朋!3.208 bitC52居住某地区的女孩子有25%是大学生，在女大学生中有 75%是身高160厘米以上的，而女孩 子中身高160厘米以上的占总数的一半。假如我们得知“身高 160厘米以上的某女孩是大学 生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历XX1 （是大学生）X2 （不是大学生）P（X）设随机变量Y代表女孩子身高y (身高 160cm）P（Y）已知：在女大学生中有 75%是身高160厘米以上的即：p( y1 / x1

4、)0.75求：身高160厘米以上的某女孩是大学生的信息量即：I(x)logp(xi/yi)log 咻)卩(川xi)bg 025 075 1.415 bitp(yi)0.5设离散无记忆信源XP(X)为 0 x21 x323/81/41/4x431/8，其发出的信息为(202032)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1)此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是:142561此消息的信息量是：I log p 87.811 bit 此消息中平均每符号携带的信息量是：l/n 87.811/45 1.951 bit从大量

5、统计资料知道，男性中红绿色盲的发病率为7%女性发病率为%如果你问一位男士: “你是否是色盲？ ”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量， 平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？ 解：男士：P(Xy)7%I (xY)log p(xY) log 0.07 3.837 bitP(Xn) 93%I (xN) log p(xN) log 0.93 0.105 bit2H (X)p(Xi) log p(xi)(0.07log0.07 0.93log0.93) 0.366 bit / symbol1女士：2H (X)p(xi) log p(

6、xi)(0.005 log 0.005 0.995log 0.995) 0.045 bit /symboli设信源XP(X)；2 0XW 0X；8 0X；7 06 07，求这个信源的熵，并解释为什么H(X) log6不满足信源熵的极值性。解：6H(X)p(x)log p(Xi)i(0.2log0.2 0.19log0.19 0.18log 0.180.17log0.170.16log0.162.657 bit / symbolH (X) log262.5850.17log 0.17)6不满足极值性的原因是p(xi) 1.07 1。i同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求:(

7、1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合(无序)对的熵和平均信息量；(4) 两个点数之和(即2, 3,，12构成的子集)的熵；(5) 两个点数中至少有一个是1的自信息量。解：(1)P(Xi)I(Xi)18log p(xi) log 4.170 bit18p(Xi)36I (Xi)log p(Xi)log 5.170 bit36两个点数的排列如下:111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：1 11其中11, 22

8、, 33, 44, 55, 66的概率是一6 6 361 1 1其他15个组合的概率是2 -H (X)p(Xi)log p(Xi)i6丄l og丄36366 6 1815 log4.337 bit/symbol18 18参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下:XP(X)丄log丄2丄log丄236361818丄log丄212 121log1 2 9og g9936366623456789 10 11 121111515111136 18 12 9 36 6 36 9 12 18 36H(X)P(xjlog p(xji03.274 bit / symbolP(X)1 1 一

9、 11 116 636I (Xi) log p(Xi)1.710 bitH(X1X2.Xn) H(XJ l(X2；XJ 0 l(X3；X1X2)0H(Xn/X1X2.Xn1)证明：H(XX_X0 H(Xd + H(X 2) + + H(Xn) 证明：H(X2/X1) H (X3/X1X2)H(X2) H (X2/X1)H(X3) H(X3/X1X2)l(XN；X1X2.Xn 1)0H(Xn) H(XN/X1X2.Xn1)H(X1X2.Xn) H(XJ H(X2)H(X3). H(Xn)X1, X 2, X 3是马氏链时等式成立。证明：H(%/X1X0 h(X3/x”，并说明当证明：H(X3/X

10、X2)H(X3/XJp(X1&Xi3)log 卩(洛3/人必2)i1 i2 i3p(X1&Xi3)log 卩(人3/人必2)i1 i2 i3p(Xi1X3)log p(X3/xJi1i1i3i2p(1Xi2Xi3)log p(冷/肴)i3p(X1Xi2Xi3)logp(Xi：/X1)i1 i2 i3P(Xi3/X1Xi2)i1 i2 i3 PEE 胱鳥log2ei1i2P(Xi1Xi2)P(Xi3/Xi1)i3i1P(Xi1榔3) log2 ei1i2P&1Xi2)卩(冷/为1)1i3i2i3log2eH(X3/X1X2) h(x3/xj当PEx1 o时等式成立P(X3 /XiiXi2)P(X

11、i3/X“ P(Xi3/XiiXi2)P(XilXi2)P(Xi3/Xii) 卩(玄3/人必2)卩(人必2)p(Xii) P(X2 /Xii) P(X3 /Xi)P(XilX2Xi3)P(Xi2 /Xl)P(Xi3/Xl) P(Xi23/Xii)等式成立的条件是Xi,X2,X3是马_氏链对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：XP(X)H(X)x/亡x2闲6340i03i032p(xlog P(Xi)i63i03log色竺log竺i03 i03i030.964 bit/symbol若把这些频度看作概率测度，求:(1)解:忙闲

12、的无条件熵；天气状态和气温状态已知时忙闲的条件熵； 从天气状态和气温状态获得的关于忙闲的信息。(i)根据忙闲的频率，得到忙闲的概率分布如下:(2)H(XYZ)设忙闲为随机变量 x,天气状态为随机变量 Y，气温状态为随机变量 Zp(XiyjZk)log p(XiyjZk)i j k12log皂103103旦log旦1031032727log 10310316103log16103881515551212loglogloglog1031031031031031031031032.836 bit / symbolH (YZ)p(yjZQlog p(yjZjj k2020232332322828log

13、logloglog 1031031031031031031031031.977 bit / symbolH (X /YZ) H (XYZ) H (YZ) 2.836 1.9770.859 bit/symbolI (X;YZ) H (X) H(X /YZ) 0.9640.8590.159 bit / symbol有两个二元随机变量X和丫，它们的联合概率为并定义另一随机变量Z = XY (一般乘积)，试计算： H(X), H(Y), H(Z), H(XZ), H(YZ) 和 H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X

14、/YZ), H(Y/XZ)和 H(Z/XY)； l(X;Y), l(X;Z), l(Y;Z), l(X;Y/Z), l(Y;Z/X)和 I(X;Z/Y)。解：(1)131P(Xi)P(xiyi)P(xiy2)882P（X2）P(x2yi)P(X2y2)381812H(X)p(xjlog p(Xi)i1bit /symbolp(yi)p(xi yi)P(X2%)183812311pMp(xi y2)P(x2y2)882H(Y)p(yj)iog p(yj)j1bit /symbolZ = XY的概率分布如下：ZZ10Z2 171P(Z)882771 1H(Z)P(Zk)log-log0.544 b

15、it / symbolk8 88 8P(Xi)P(XiZi)P(XiZ2)P(XiZ2)0P(XiZi)P(Xi)0.5P(Zi)P(XiZjP(X2Zi)73P(X2Zi)P(Zi)P(XiZi)80.58P（Z2）P(XiZ2)P(X2Z2)P(X2Z2)P（Z2）18113311H(XZ)p(XiZk)log p(xi zk)logloglog1.406 bit / symbolik2 2 8 8 8 8p(y1)p( y1 Z1)p( y1Z2)P（%Z2）0pg)p(y1)0.5p(n)p(y1N)p(y2Z1)卩（丫2乙）P(zJPW1Z1)8 0.5 3P（Z2）P( 2)PW2

16、Z2)p(y2Z2)P（Z2）18H(YZ)P(yjZk)log p(yjZk)j k-log12 23log38 81log11.406 bit /symbol8 8P（X1%Z2）P（X2Z2）P（X2%Z2） 卩（为乙）卩（为丫2乙）0p(xZ2) pyjP(xy) 1/8卩(人乙)pXzJP(xiy2zjp(xizj p(xiyizjP(X2%Zi)P(X2%Zi)P(X2%Z2) p(X2%)38P(X2yi)P(X2y2Z2)H (XYZ)0卩&2丫2乙2) P(X2y2)18p(XiyjZk)log2 p(XiyjZk)P(X2y2)i j k1 1 log -8 83log38

17、 8log38 8hog18 81.811bit / symbolH (XY)p(*yj)log2P(Xi yj)H (X/Y)H (Y/X)H (X/Z)H (Z/X)H (Y/Z)H (Z/Y)H (X/YZ)H (Y/XZ)H (Z / XY)i jH (XY) H (XY) H(XZ) H(XZ) H(YZ) H(YZ)1log18 83log3 3bg38 8 8 8-log11.811 bit/symbol8 8H(Y)H(X)H(Z)H(X)H(Z)H(Y)1.8111.8111.4060.811 bit/symbol0.811 bit / symbol0.544 0.862 b

18、it / symbol1 0.406 bit / symbolH(XYZ) H (XYZ) H(XYZ)H(YZ)H(XZ)H(XY)1.4061.406 0.544 0.862 bit / symbol1.406 1 0.406 bit / symbol1.8111.8111.8111.4061.4061.8110.405 bit / symbol0.405 bit / symbol0 bit / symbolI(X;Y) H(X) H(X/Y) 1 0.811 0.189 bit / symbolI(X;Z) H(X) H(X/Z) 1 0.862 0.138 bit / symbolI(

19、Y;Z) H(Y) H(Y/Z) 1 0.862 0.138 bit / symbolI(X;Y/Z) H(X /Z) H(X /YZ)I(Y;Z/X) H(Y/X) H(Y/XZ)I(X;Z/Y) H(X /Y) H(X /YZ)0.862 0.405 0.457 bit / symbol0.862 0.405 0.457 bit / symbol0.811 0.405 0.406 bit / symbol有两个随机变量X和丫，其和为Z = X + 丫(一般加法)，若X和丫相互独立，求证：H(X)H(Z), H(Y) ) PG)P(eOpG) pG)1PG)1/3P)1/3PG)1/3P(x

20、Jp(eJp(X1/e1)p(e2)p(X1 /e2)P P（0）P（X2）p(e2)p(X2/eJp(e3)p(X2/e3)P PG)P（X3）pG)p(X3/e3)pGlpMe)P PG)X0 1 2p pG)P P(ea)P P(eJ1/3 1/3 1/3(p(P(PP)/3P)/3P)/31/31/31/3P(X)(3)11.9%1ip(e)p(ej /ei) log p(ej/e)1313 p(e1 /e)log p(u /e)13 PG /)log p(u 伍)p(e1 /ei)log p(e /e)11p(e/ejlog p(e/ejpG/eJlog pG/eJ3-13 p(e/

21、e)log p(e /e)13 p(e/ea)log p(e/)13 13曲伍)log p(e3/e-)13pG/e3)log p(e3/e3)1 p log p - p log p1p log p 3 p log p log p p log p bit / symbol黑白气象传真图的消息只有黑色和白色两种，即信源X=黑，白。设黑色出现的概率为P(黑)=，白色出现的概率为P(白)=。(1)假设图上黑白消息出现前后没有关联，求熵H(X)；()假设消息前后有关联，其依赖关系为P(白/白)=，P(黑/白)=，P(白/黑)=，P(黑/黑)=，求此一阶马尔可夫信源的熵 (X);(2) 分别求上述两种信

22、源的剩余度，比较H(X)和(X)的大小，并说明其物理含义。解：(1)H (X)p(x)logp(xj(0.3log 0.3 0.7log 0.7) 0.881 bit / symboli()P(eJp(ej pG/ei)p(e) p(ei/e)p(e)p(e)p(e/e)p(ejp(e/e1)P(eJ0.8 p(e1) 0.1 p(e)p(e)0.9 p(e) 0. p(e)p(e)P(eJP(eJP(e) 1P(eJ1/3p(e)/3p(黑/ 黑)=0.81 o= .SepHp(e )p(ej /ejlog p(ej /e)i j110.8log 0.8 O.logO.3330.553 bi

23、t/symbolO.llogO.1 0.9log0.9H。 Hlog 0.881log H。 Hlog 0.553log 44.7%H(X) H (X)表示的物理含义是：无记忆信源的不确定度大于有记忆信源的不确定度，有记忆信源的结构化信息较多, 能够进行较大程度的压缩。每帧电视图像可以认为是由 3 105个像素组成的，所有像素均是独立变化，且每像素又取 128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个 广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所 广播的信息量是多少(假设汉字字汇是等概率分布，并彼此无依赖)？若要恰当

24、的描述此图 像，广播员在口述中至少需要多少汉字？解：1)H (X) log n Iog128 7 bit / symbolH(Xn) NH(X) 3 1 05 7 2.1 106 bit/symbol 2)H(X) log n log10000H(Xn) NH(X) 100013.288 bit / symbol13.288 13288 bit/symbol3)N6158037“ H(X )2.1 10N H (X)13.288，求H(X)，并证明给定声音样值X的概率密度为拉普拉斯分布p(x) 1 e lx,x它小于同样方差的正态变量的连续熵。解：Hc(X)p(x)log p(x)dx1p(x

25、)bg2e |x|dxlog p(x)dx p(x)log e 2log-1 e |x log e |x|dx|x|dxlog-xlog e xdx和 l(X;Y)其中:x log exdxlog e xdxxlog2ed log elog2elog2e2H c(X) log log2e2e log bit /symbolm E(X)p( x) xdx|x|xdxxdxy)(y)d( y)0 -2-2e xxdxyydy-2-2xxdxe y ydye xxdx 0E(x2)p(x)x2dx凶 x2dxxx2dxx2de xe xdx2xdx2xxdxxdx1Hc(X正态)-log2log v

26、 eHc(X) log空2 2 2x y r其他，求 H(X), H(Y), H(XYZ)丄连续随机变量X和丫的联合概率密度为：p(x, y) r-xde x00(提示：o2 log 2 sin xdx严2)解:p(x)r2 x2r2 x2 1p(xy)dy2 dy彳 x:汀 x r(rrx r)Hc(X)p(x)log p(x)dxp(x) logp(x) log2 . r22r22 dxr2dxr p(x) log r2 x2dx4rr p(x)log pr2 x2 dxlog 22 log*log r 1|log2elog 2 r2log2ebit / symbol其中：rr p(x)l

27、og -r2 x2dxr 2 . r2 x2 |222 log r x dx r r4 rr2 0r2 x2 log . r2 x2dx40令x r cos 2 rsin log r sinr id (r cos )2sin log r sin d4 2sin20log r sin4 2sin20log rd2 sin20log sin d41Togr 021cos 22乎 logsin d-logr空 d -logr cos2 d - logsi n d -迈 cos2 logs in d0 0 0 0logr-logr jdsin2-(-log22) - jcos2 logsin dlog

28、r2 os20logs in dlogr1log2e其中:cos2logs in do2 log sin d sin2sin 2 logs ino2 sin2 d log sin1 -2 2sin cos0cos log 2 e d sinZgejcos2-log2e0?1 cos2 d1 2log2e02d212log2 e 02 cos21 1 log2 elog2 esin22log2eP(y)P(y)r2 y2p(xy)dx yp(x)r2 y21r2 y22 dx r(r y r)rHc(Y)Hc(XY)1 log2e bit/symbolp(xy)log p(xy)dxdyRHc(

29、X) log21p(xy) log 2dxdyrlog2rR2rp(xy)dxdylog2Hc(X)2log2 rlog2bit/symbolHc(Y) Hc(XY) log2e log r2 log2e bit/symbollc(X;Y)设是n维高斯分布的连续信源，且 Xi, X2,，x n的方差分别是1, 2,，N，它们之间的j)。试证明：N维高斯分布的连续信源熵Hc(X)HJX1X2.XN)- log 2 e i2 i相关系数(XjXj) O(i,j 1,2., N,i证明:2)，说明XiX2.Xn是相互独立的。相关系数 XiXj 0 i, j 1,2,., N, iHc(X) Hc(X

30、iX?.Xn) Hc(Xi) Hc(X2). HJXn)1Hc(Xi)_log2 e i2Hc(X) Hc(Xi)HJX2). Hc(Xn)12log 2 e 11log 2 elog 2 e设有一连续随机变量，其概率密度函数p(x)bx2Oxa0 其他(1) 试求信源X的熵HC(X)；(2) 试求 丫 = X + A (A 0) 的熵 H(Y)；试求丫 = 2X的熵出丫)。解：1)2Hc (X) f (x) log f (x)dx f(x)logbxdxRR2log b f (x)dx f (x)log x dxRR2log b 2b x log xdxHc(X)log bRlog b2ba

31、e3log e9bx3 (a)ba3,Fx133Fx(x)3FyW)aP(Yy aAf(y)y) P(X A y) P(X y A) bx2dx -(y A)33(y) b(y A)2Hc(Y)Rf (y)log f(y)dyRf(y)logb(y A)2dy3)logblogblogbFy(Y)Hc(Y)Fy(Y)f(y)Hc(Y)b3(y2aRf(y)dy Rf(y)log(y A)2dy 2b R(y A)2log(y A)d(y A)332ba alog bit/symbol 9 eA)3,FY(a A)穿 132 log b -P(Yy)y2 bx2dx0b(y)FyW)Hc(Y)3alog bit / symbol eP(2X y) P(X 2)b 324yRf(y) log f (y)dyR f (y)log y2dyi b%logby8i b logy8logb2Rf (y)dy Rf (y)logy dy4 R y2 log ydy2ba8a3loge33a 9 2baeba333a92ba3.log9 y24y3,FY(2a)log b 彳 log= 1bit/symbol