第1章熵和互信息量

《第1章熵和互信息量》由会员分享，可在线阅读，更多相关《第1章熵和互信息量（83页珍藏版）》请在装配图网上搜索。

1、u本章介绍本章介绍信源的统计特性和数学模型信源的统计特性和数学模型各类信源的信息测度各类信源的信息测度-熵及其性质熵及其性质引入信息理论的一些基本概念和重要结论引入信息理论的一些基本概念和重要结论n通信系统模型：通信系统模型：信源编码器信道译码器噪声源信宿干扰消息信号信号干扰消息n对信息论的学习可从信源开始对信息论的学习可从信源开始n消息是信息的载荷者。信息是抽象的，消息是消息是信息的载荷者。信息是抽象的，消息是具体的。要研究信息，还得从研究消息入手。具体的。要研究信息，还得从研究消息入手。n由于信源发送什么消息预先是不可知的，只能由于信源发送什么消息预先是不可知的，只能用概率空间来描述信源用

2、概率空间来描述信源1.1 1.1 信源的数学模型及分类信源的数学模型及分类n单符号信源单符号信源：输出是单个符号（代码）的消息输出是单个符号（代码）的消息n离散信源离散信源n连续信源连续信源n平稳随机序列信源平稳随机序列信源：信源输出的消息由一系列符号序列信源输出的消息由一系列符号序列所组成，可用所组成，可用N维随机矢量维随机矢量X(X1,X2,XN)描述，且随机描述，且随机矢量矢量的各维概率分布都与时间起点无关的各维概率分布都与时间起点无关-平稳！平稳！n离散平稳信源离散平稳信源n连续平稳信源连续平稳信源n无记忆（独立）离散平稳信源无记忆（独立）离散平稳信源n有记忆信源有记忆信源nm阶马尔可

3、夫信源阶马尔可夫信源n随机波形信源随机波形信源离散信源离散信源(单符号单符号)n特点特点：输出是单个符号（代码）的消息，符号集输出是单个符号（代码）的消息，符号集的取值的取值A:a1,a2,aq是有限的或可数的，可用一是有限的或可数的，可用一维离散型随机变量维离散型随机变量X来描述。来描述。n例：例：投硬币、书信、电报符号等等。投硬币、书信、电报符号等等。n数学模型数学模型：设每个信源符号设每个信源符号ai出现的出现的(先验先验)概率概率 p(ai)(i=1,2,q)满足：满足：)(.)()()(.)(则321321qqaPaPaPaPaaaaxPX：1)(1qiiap概率空间概率空间能表征离

4、散信源的统计特性，因此也称概率能表征离散信源的统计特性，因此也称概率空间为信源空间。空间为信源空间。连续信源连续信源n特点特点：输出是单个符号（代码）的消息，：输出是单个符号（代码）的消息，输出消输出消息的符号集息的符号集A的取值是连续的，可用一维的连的取值是连续的，可用一维的连续型随机变量续型随机变量X 来描述。来描述。n例：语音信号、热噪声信号、遥控系统中有关电压、例：语音信号、热噪声信号、遥控系统中有关电压、温度、压力等测得的连续数据等等。温度、压力等测得的连续数据等等。n数学模型数学模型：连续型的概率空间。即：连续型的概率空间。即：)(),()(xpbaxpX)(xpR1)(badxx

5、p1)(Rdxxp1.2 1.2 离散信源的信息熵及其性离散信源的信息熵及其性质质 n基本的离散信源可用一维随机变量基本的离散信源可用一维随机变量X来描来描述信源的输出，信源的数学模型可抽象述信源的输出，信源的数学模型可抽象为为:)(.)()()(.)(321321qqaPaPaPaPaaaaxPX1)(1qiiaP信息的度量信息的度量n考虑：考虑：n信息的度量（信息量）和不确定性消除的程度信息的度量（信息量）和不确定性消除的程度有关，消除的不确定性获得的信息量；有关，消除的不确定性获得的信息量；n不确定性就是随机性，可以用概率论和随机过不确定性就是随机性，可以用概率论和随机过程来测度，概率小

6、程来测度，概率小不确定性大；不确定性大；n推论：推论：n概率小概率小 信息量大，即信息量是概率的单调信息量大，即信息量是概率的单调递减函数；递减函数；n信息量应该具有可加性；信息量应该具有可加性；信息量的推导信息量的推导n某事件发生所含有的信息量应该是该事件发生的先验概率某事件发生所含有的信息量应该是该事件发生的先验概率的函数。即：的函数。即：I(ai)f p(ai)n根据客观事实和人们的习惯概念，函数根据客观事实和人们的习惯概念，函数 f p(ai)应满足以应满足以下条件：下条件：（1）它应是先验概率）它应是先验概率p(ai)的单调递减函数，即当的单调递减函数，即当 p(a1)p(a2)时，

7、有时，有 f p(a1)=0 当X、Y统计独立时等式成立。（2）极值性 即 I(X;Y)=H(X|Y)H(Y)=H(Y|X)H(XY)=H(X)+H(Y)n 熵的意义（对通信系统）熵的意义（对通信系统）nH(X)：表示信源中每个符号的平均信息量（表示信源中每个符号的平均信息量（信源熵信源熵）。）。nH(Y)：表示信宿中每个符号的平均信息量（表示信宿中每个符号的平均信息量（信宿熵信宿熵）。）。nH(X|Y)：表示在输出端接收到表示在输出端接收到Y的全部符号后，发送端的全部符号后，发送端X尚存的平均不确定性。这个对尚存的平均不确定性。这个对X尚存的不确定性是由于干扰尚存的不确定性是由于干扰引起的。

8、引起的。信道疑义度信道疑义度(损失熵损失熵，含糊度含糊度)nH(Y|X)：表示在已知表示在已知X的全部符号后，对于输出的全部符号后，对于输出Y尚存的尚存的平均不确定性。平均不确定性。信道散布度信道散布度(噪声熵噪声熵)nH(XY)：表示整个信息传输系统的平均不确定性（表示整个信息传输系统的平均不确定性（联合联合熵）熵）。)61log6131log3121log21(解：信源解：信源X的熵为：的熵为：例例：有两个同时输出的信源：有两个同时输出的信源X和和Y，其中，其中X的信源符号为的信源符号为A，B，C，Y的信源符号为的信源符号为D，E，F，G，已知，已知 P(X)和和P（Y/X），求联合信源的

9、联合熵和条件熵。），求联合信源的联合熵和条件熵。XABCP(x)1/21/31/6P(y/x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6()()log()XH XP XP X)/(461.1SymbolBit信源信源XY输出每一对消息的联合概率为：输出每一对消息的联合概率为：P(XY)=P(Y/X)P(X)，结果如下表：结果如下表：P(xy)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36(/)()log(/)1113111111(4*log2*log2*loglog3*log)84101015

10、51223661.956(/)XYH YXP XYP YXBit Symbol ()()log()1111111111(4*log2*log2*loglog3*log)8810101515121236363.417(/)XYH XYP XYP XYbit Symbols 信源信源Y的条件熵：的条件熵：信道散布度信道散布度 (噪声熵噪声熵)360916161103314121)/()()/()()/()()/()()(CDPCPBDPBPADPAPxDPxPDPXn从上述结果可得：从上述结果可得：nH(XY)=H(X)+H(Y/X)=1.461+1.956=3.417(bit/每对符号每对符号)

11、当两个信源统计独立时，当两个信源统计独立时，H(XY)=H(X)+H(Y)，为最大。，为最大。n对第二个信源对第二个信源Y，其熵，其熵H(Y)的计算。由全概率公式：的计算。由全概率公式：因此：因此：1203312115181)(EP3607936115181)(FP3609136110181)(GP)36091log3609136079log3607912033log1203336091log36091()()log()YH YP YP Y)/(997.1SymbolBitmax()()()1.461 1.9973.458(/ymbols)HXYH XH YBit Sn联合熵的最大值为：联合熵的最大值为：max()()3.4583.4170.041(/ymbols)HHXYH XYBit S由于信源相关，使联合熵减小，其减小量为：由于信源相关，使联合熵减小，其减小量为：