平均互信息量PPT课件

《平均互信息量PPT课件》由会员分享，可在线阅读，更多相关《平均互信息量PPT课件（33页珍藏版）》请在装配图网上搜索。

1、定义定义1：11()()log ()nmijijijip a bp abp aY对对X的的);();(jibaIEYXInimjjijibaIbap11);()(X对Y的平均互信息：nimjjijjibpabpbapXYI11)()(log)();(定义定义2：)()()(jijjibapbpbapnimjjijijibpapbapbapYXI11)()()(log)();(11()()log ()nmijijijip abp a bp a);();(jibaIEYXInimjjijibaIbap11);()(变形变形1：二、平均互信息的物理意义二、平均互信息的物理意义nimjijijiapb

2、apbapYXI11)(log)(log)();()()(YXHXH物理意义：物理意义：1信道疑义度信道疑义度或损失熵或损失熵)()();(XYHYHXYI2nimjjijjibpabpbapXYI11)()(log)();(噪声熵噪声熵);(XYInimjjijijibpapbapbap11)(log)(log)(log)()()()(XYHYHXH3)()(YHXHXYH）（通信前：)()(XYHXHXYH）（通通信信后后：I(X;Y)=H（X）-H（XY）I(X;Y)=H（Y）-H（YX）I(X;Y)=H(X)+H(Y)-H(XY)总结：总结：二、平均互信息的性质二、平均互信息的性质);

3、();(XYIYXI);();(ijjiabIbaInimjjijibaIbapYXI11);()();(nimjijjiabIbap11);()();(XYI对称性对称性10);(YXI非负性非负性2互信息量互信息量 可能为负值。可能为负值。但是平均互信息量不会为负值但是平均互信息量不会为负值);(jibaI)();(XHYXI)();(YHXYI)()();(YXHXHYXIjijibapji 0 1)(0)(YXH)();(XHYXI极值性极值性一一对应一一对应、YX13)()(ijiapbap0)()(XHXH)()();(YXHXHYXInimjijiniiiapbapapap111

4、)(log)()(log)(相相互互独独立立、YX2nimjjijjibpabpbapYXI11)()(log)();()()()(ijijiabpapbapnimjniijiijijiabpapabpabpapYXI111)()()(log)()();(凸函数性凸函数性4niniijijijabpapbapbp11)()()()()(),();(ijiabpapfYXI的是信源)();(iapYXI1的是)();(ijabpYXI2例例1二元信源X接入对称信道pppXPX110)(求平均互信息I(X；Y)0011qqqq)(log)()()(2121ijijijiabpabpapXYHqqq

5、qpqqqqploglogloglogqqqqloglog)(qH0011qqqqpppXPX110)(21)()()(iijijabpapbpqpqpbpqppqbp)()(21pppXPX110)(0011qqqq21)(log)()(jjjbpbpYH)log()()log()(qppqqppqqpqpqpqp)(qpqpH)()();(qHqpqpHYXII(X;Y)=H（Y）-H（YX）当当q q不变，即固定信道特性不变，即固定信道特性pI(X,Y)0.5当当 ，I(X,Y)最大最大0011qqqq00110.50.50.50.5001111001111当当p p不变，即固定信源不变

6、，即固定信源当当 ，I(X,Y)=0当当q=0或或1，I(X,Y)最大最大qI(X,Y)0.510I(X;Y)=H（X）-H（XY）H（XY)=H（X）-I(X;Y)I(X;Y)=H（Y）-H（YX）H（YX)=H（Y）-I(X;Y)I(X;Y)=H(X)+H(Y)-H(XY)H（XY）=H（X）+H（Y）-I(X;Y）例例信源X接入图示信道求在该信道上传输的平均互信息量，信道疑义度，噪声熵5.05.0)(21aaXPX98.0)(11abp02.0)(12abp2.0)(21abp8.0)(22abp0.980.80.20.021a2a1b2b49.098.05.0)()()(11111ab

7、papbap01.002.05.0)(21bap同理：4.08.05.0)(22bap1.02.05.0)(12bap)()()(ijijiabpapbap159.049.01.0)()()(12111bapbapbp41.04.001.0)()()(22212bapbapbp21)()(ijijbapbp2)(15.0log5.05.0log5.0)(符符号号bitXH)(98.041.0log41.059.0log59.0)(符号bitYH)(43.1符号bit)(XYH4.0log4.01.0log1.001.0log01.049.0log49.03831.059.049.0)()()(

8、11111bpbapbap169.0)(1)(1112bapbap024.041.001.0)()()(22121bpbapbap976.0)(1)(2122bapbap)()()(jjijibpbapbap4)/(log)()(2121jiijjibapbapYXH)(45.0符号bit)()(YHXYH024.0log01.0831.0log49.0976.0log4.0169.0log1.05)()();(YXHXHYXI)(55.045.01符号bit)()()(XHXYHXYH)(43.0143.1符号bit67【作业】【作业】二元等概信源二元等概信源 通过信道转移概率为通过信道转移

9、概率为 的信道的信道传输，传输，信宿接收符号信宿接收符号Y=y0,y1，计算信源与信宿间的，计算信源与信宿间的平均互信息量平均互信息量I（X；Y），信道疑义度，噪声熵），信道疑义度，噪声熵2121)(10 xxXqX010131441344yyxxP PX Y图示关系式符号名称 熵件条无)(XH)(YH)()()()();()()(XYHXYHXHYXHYXIYXHXH)()()()();()()(YXHXYHYHXYHYXIXYHYHX Y图示关系式符号名称 熵件条 )(XYH)(YXH);()()()()(YXIYHXHXYHXYH);()()()()(YXIXHYHXYHYXHX YX

10、Y图示关系式符号名称 X Y);()()();()()()()()()()(YXIXYHYXHYXIYHXHYXHYHXYHXHXYH)(XYH熵合联 H（Y）=I(X;Y)+H（YX）H（X）=I(X;Y)+H（XY）图示关系式符号名称 熵互交 );();(XYIYXI)()()()()()()()()()();(XYHYXHXYHXYHYHXHXYHYHYXHXHYXI XHYXHXYH YHYXI;YXH,I(X;Y)=H（X）-H（XY）H（X）=I(X;Y)+H（XY）I(X;Y)=H（Y）-H（YX）H（Y）=I(X;Y)+H（YX）I(X;Y)=H(X)+H(Y)-H(XY)H（XY）=H（X）+H（Y）-I(X;Y）