信息论基础-自信息量.ppt

《信息论基础-自信息量.ppt》由会员分享，可在线阅读，更多相关《信息论基础-自信息量.ppt（48页珍藏版）》请在装配图网上搜索。

1、复习 相结合逐步发展而形成 的一门新兴科学 奠基人：美国数学家香农（ C.E.Shannon） 1948年 “通信的数学理论” 信息论 通信技术 概率论 随机过程 数理统计 （ 1） 信息是可以 识别 的 （ 2） 信息的载体是可以 转换 的 （ 3） 信息是可以 存贮 的 （ 4） 信息是可以 传递 的 （ 5） 信息是可以 加工 的 （ 6） 信息是可以 共享 的 信息具有以下 特征 1.1 自信息 通信系统模型 信源的分类 概率论基础 信息的可度量性 自信息 熵 信源 ：产生消息和消息序列的来源。 通常信源的消息序列是随机发生的，因此要用随机变量来描述。 信源 信源编码器 信道编码器 调

2、 制 器 信道 解 调 器 信宿 信源译码器 信道译码器 干扰 源 编码信道 信源编码器 信道编码器 调 制 器 解 调 器 信源译码器 信道译码器 源 通信系统模型 编码器 ：把消息变换成适合于信道传输的信号。 信源编码器 ：将信源的输出进行适当的变换，以提高信息传输的有效性。 信道编码器 ：对信源编码器的输出进行变换，用增加多余度的方法提高信 道的抗干扰能力，以提高信息传输的可靠性。 信源 信源编码器 信道编码器 调 制 器 信道 解 调 器 信宿 信源译码器 信道译码器 干扰 源 编码信道 信源编码器 信道编码器 调 制 器 解 调 器 信源译码器 信道译码器 源 通信系统模型 调制器

3、：将信道编码器输出的数字序列变换为 振幅、频率或相位受到调制控制的形式，以适合 在信道中进行较长距离的传输。 信源 信源编码器 信道编码器 调 制 器 信道 解 调 器 信宿 信源译码器 信道译码器 干扰 源 编码信道 信源编码器 信道编码器 调 制 器 解 调 器 信源译码器 信道译码器 源 通信系统模型 解调器 ：从载波中提取信号，是调制的逆过程 MODEM 信源 信源编码器 信道编码器 调 制 器 信道 解 调 器 信宿 信源译码器 信道译码器 干扰 源 编码信道 信源编码器 信道编码器 调 制 器 解 调 器 信源译码器 信道译码器 源 通信系统模型 信道 ：信号由发送端传输到接收端的

4、媒介。 典型的传输信道有电缆、高频无线信道光纤通 道等；典型的存储媒介有磁芯、磁盘、磁带等。 信源 信源编码器 信道编码器 调 制 器 信道 解 调 器 信宿 信源译码器 信道译码器 干扰 源 编码信道 信源编码器 信道编码器 调 制 器 解 调 器 信源译码器 信道译码器 源 通信系统模型 干扰源 ：对传输信道或存储媒介构成干扰的来源 的总称。干扰和噪声往往具有随机性，所以信道的 特征也可以用概率空间来描述； 信源 信源编码器 信道编码器 调 制 器 信道 解 调 器 信宿 信源译码器 信道译码器 干扰 源 编码信道 信源编码器 信道编码器 调 制 器 解 调 器 信源译码器 信道译码器 源

5、 通信系统模型 信道译码器 ：利用信道编码时所提供的多余度，检查或纠 正数字序列中的错误。 信源译码器 ：把经过信道译码器核对过的信息序列转换成 适合接收者接收的信息形式。 信源 信源编码器 信道编码器 调 制 器 信道 解 调 器 信宿 信源译码器 信道译码器 干扰 源 编码信道 信源编码器 信道编码器 调 制 器 解 调 器 信源译码器 信道译码器 源 通信系统模型 信宿 ：消息传送的对象 （人或机器 ） 。 信源 信源编码器 信道编码器 调 制 器 信道 解 调 器 信宿 信源译码器 信道译码器 干扰 源 编码信道 信源编码器 信道编码器 调 制 器 解 调 器 信源译码器 信道译码器

6、源 通信系统模型 在通信系统中 形式上 传输的是消息 ， 但 实质 上 传输的是信息 。 消息只是表达信息的工具 、 载 荷信息的客体 。 显然 ， 在通信中被利用的 (亦即携 带信息的 )实际客体是不重要的 ， 而重要的是信息 。 通信的结果 是消除或部分消除不确定性从而 获得信息 。 通信系统模型 信源的分类 按照信源发出的消息在时间上和幅度上 的分布情况可将信源分成离散信源和连 续信源两大类 信源 离散信源 连续信源 1. 连续信源 连续信源是 指发出在时间和幅度上都是连 续分布的连续消息 （ 模拟消息 ） 的信源 ， 如语言 、 图像 、 图形等都是连续消息 。 2. 离散信源 离散信

7、源是 指发出在时间和幅度上都是离 散分布的离散消息的信源 ， 如文字 、 数字 、 数据等符号都是离散消息 。 信源的分类 离散无记忆信源 离散有记忆信源 发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 离 散 信 源 信源的分类 离散无记忆信源 所发出的各个符号是相 互独立的，发出的符号序列中的各个符 号之间没有统计关联性，各个符号的出 现概率是它自身的先验概率。 离散有记忆信源 所发出的各个符号 的概率是有关联的。 离散无记忆信源 离散有记忆信源 发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号

8、序列的马尔可夫信源 离 散 信 源 信源的分类 信源每次只发出 一个符号代表一 个消息； 信源每次发出一组含二 个以上符号的符号序列 代表一个消息 。 离散无记忆信源 离散有记忆信源 发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 离 散 信 源 信源的分类 用信源发出的一个符号 序列的整体概率（即联 合概率）反映有记忆信 源的特征 某一个符号出现的概率只 与前面一个或有限个符号 有关，而不依赖更前面的 那些符号 符号 的先验概率： ix 一个离散信源发出的各个符号消息的集合为 , 21 nxxxX ， 它们的概率分别为 )(,),()

9、,( 21 nxpxpxpP ， )( ixp 为符号 ix 的 先验概率 。 知识回顾 -概率论基础 , )()()( 21 21 n n xpxpxp xxx P X 显然有 1)(,0)( 1 n i ii xpxp 通常把它们写到一起，称为 概率空间 ： 概率空间 知识回顾 -概率论基础 设 X取值 x1, x2, , xi, , xn， Y取值 y1, y2, , yj, , ym，则 联合 概率 p(xiyj) X 取值 xi ,Y 取值 yj同时成立 的概率 条件 概率 p(yj/xi) X 取值 xi 条件下 ,Y 取值 yj的 概率 条件 概率 p(xi/yj) Y 取值 y

10、j条件下 ,X取值 xi的 概率 知识回顾 -概率论基础 性质 ( 1 ) ( ) 1 , ( ) 1 , ( / ) 1 , ( / ) 1i j i j j i i j i j p x p y p x y p y x ( 2 ) ( ) ( ) , ( ) ( ) , ( ) 1i j j i j i i j i j i j p x y p y p x y p x p x y ( 3 ) ( ) ( ) ( / ) ( ) ( / )i j i j i j i jp x y p x p y x p y p x y ( / ) ( )( 4 ) , ( ) ( ) ( ) ( / ) ( )

11、 i j i i j i j j i j p x y p xp x y p x p y p y x p y XY 独立 知识回顾 -概率论基础 1.1 自信息 通信系统模型 信源的分类 概率论基础 信息的可度量性 自信息 熵 通信系统模型 信源 信源编码器 信道编码器 调 制 器 信道 解 调 器 信宿 信源译码器 信道译码器 干扰 源 编码信道 信源编码器 信道编码器 调 制 器 解 调 器 信源译码器 信道译码器 源 离散无记忆信源 离散有记忆信源 发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 离 散 信 源 , )()()( 2

12、1 21 n n xpxpxp xxx P X 其中 1 ( ) 1 n i i px 离散无记忆信源 数学模型 集合 X中，包含该信源包含的所有可能输 出的消息，集合 P中包含对应消息的概率 密度，各个消息的输出概率总和应该为 1。 1）中国女子乒乓球队夺取亚运会冠军。 2）中国男子足球队夺取世界杯赛冠军。 信息的可度量性（ 1） 既然不确定性的大小能 够度量，所以信息是可 以度量的 某一事物状态的不确 定性的大小，与该事 物可能出现的不同状 态数目以及各状态出 现的概率大小有关 设有 12枚同值硬币，其中有 一枚为假币，且只知道假币 的重量与真币的重量不同， 但不知究竟是重还是轻。现 采用

13、天平比较左右两边轻重 的方法来测量（因无砝码）。 为了在天平上称出哪一枚是 假币，试问至少必须称多少 次？ 信息的可度量性（ 2） 讨论题 一般的方法是，在天平的两端各放一个 硬币：如果平衡，则都不是假币；如果不 平衡，则有一个是假币，再与别的任一硬 币比较。 将 12枚硬币平分为 3堆； 在天平的两端各放一堆：如果平衡，则假币 在剩余一堆； 通过这步操作，可消除一些不确定性，获得 一定的信息量： 1 1() 12px 存在的不确定性是 的函数： 1()px 1 ( )I p x前 存在的不确定性是 的函数： 后 2 1() 4px 2()px 2 ( )I p x 12 ( ) ( ) I

14、p x I p x 讨论题 信息量的直观定义： 收到某消息获得的信息量 =不确定性减少的量 =（收到该消息前关于某事件的不确定性） - （收到该消息后关于某事件的不确定性） 讨论题 特殊情况： 发生概率为 1的必然事件，无不确定性； 发生概率为 0的不可能事件，确定性无限大 独立事件发生包含的信息量为各事件信息量的 和。 信息的可度量性（ 3） 某事件发生所含有的信息量应是该事件发生先验概率的函 数： ( ) ( ) iiI x f p x xi的自信息 （ 3）当 ( ) 1iPa 时 ( ) 0ifP ()ifP （ 4）当 时 ( ) 0iPa （ 5）两个独立事件的联合信息量应等于它们

15、分别的信息量 之和。 (2) 应是先验概率的单调递减函数 ， 即当 时 ()ifp 1 1 2 2( ) ( )P a P a 12( ) ( )f P f P 根据客观事实和人们的习惯概念，应满足以下条件： 自信息 (1) 非负性： 0f 根据上述条件可以从数学上证明这种函数形式是对数 函数，即： 1( ) l og l og ( ) ()iiiI x p xPx ()iIx 有 两个含义 ： 1、当事件发生前，表示该事件发生的不确定性； 2、当事件发生后，标是该事件所提供的信息量 自信息 自信息量的单位 取决于对数所取的底， 若以 2为底，单位为比特，以 e为底，单 位为奈特，以 10为底

16、，单位为哈特 ,通常 取比特为单位。 自信息 log 2 1 l og 3 1.585 l og 5 2. 32 2 l og 7 2.807 l og 11 3.4 59 例题（ 1） 设有 12枚同值硬币，其中有一枚为假币， 且只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现采用天平比较 左右两边轻重的方法来测量（因无砝 码）。为了在天平上称出哪一枚是假币， 试问至少必须称多少次？ （用信息论方法证明） 设“在 12枚同值硬币中，某一枚为假币这事件为 a。其出现的概 率为 设“假币重量比真币重量重，或轻这事件为 b。其出现的概率为 事件 a,b的不确定性为 要发现某假币并知其比

17、真币重还是轻所需的信息量是消除这两事 件的不确定性。这两事件是统计独立事件所以所需获得的信息 量 1() 12pa 1() 2pb ( ) l o g ( ) l o g 1 2I a p a ( ) l o g ( ) l o g 2I b p b 1 ( ) ( ) 4 . 5 8 5I I a I b b it 例题（ 1） -解答 而在天平上称 次能判断出三钟情况：重、轻和相等。这三种情 况是等概率的 所以，天平测一次能获得的信息量 (即消除的不确定性 )为 则至少必须称的次数为 1() 3pc 2 ( ) l o g 3 1 . 5 8 5I I c b i t 1 2 l og 2

18、4 2.9 l og 3 I I 次 例题（ 1） -解答 如果你在不知道今天是星期几的情况下 问你的朋友“明天是星期几 ?”则答案中 含有多少信息量 ? 如果你在已知今天是星期四的情况下提 出同样的问题则答案中你能获得多少 信息量？ (假设已知星期一至星期日的排序 ) 例题（ 2） 设事件 A知道今天是星期几的悄况下，问明天 是星期几的答案；事件 B为已知今天是星期四 的情况，问明天是星期几的答案。则 1() 7pA ( ) 1pB 从而，从事件 A中获得的信息量 ( ) l o g ( ) l o g 7 2 . 8 0 7I A p A b it 从事件 B中获得的信息量 ( ) l o

19、g ( ) 0I B p B bit 由此可看出， 必然事件出现的概率为 1，从中获得的信息量为零 。 例题（ 2） -解答 设天气预报有两种消息，晴天和雨天，出现的概率分别 为 1/4和 3/4，我们分别用 来表示晴天，以 来表示雨 天，则我们的信源模型如下： 1a 2a 1 , 2 () 1 / 4 , 3 / 4 aaX px 1( ) l o g 4 2Ia 2 4( ) l og 0. 41 5 3 Ia 例题（ 3） i. 一个以等概率出现的二进制码元 （ 0， 1） 所 包含的自信息量为： I（ 0） = I（ 1） = - log2 （ 1/2） =log22=1 bit ii

20、. 若是一个 m位的二进制数 ， 因为该数的每一 位可从 0, 1两个数字中任取一个 ， 因此有 2m个 等概率的可能组合 。 所以 I=-log2(1/2m)=m bit， 就是需要 m比特的信息来指明这样的二进制 数 。 例题（ 4） 某电子厂共能生产四种仪器 A,B,C,D、其 中， A因技术落后停产了， B占全部产量 的 20， C占 30， D占 50。有两个消 息“现在完成 1台仪器 B”，和“现在完 成 1台仪器 C”，试确定哪一种消息提供 的信息量大些 ?其中有什么规律 ? 例题（ 5） 解： 因为 以及消息提供的信息量与其出现概率倒数的对 数成正比，所以 ，即”现在完成 一台

21、仪器 B”提供的信息量大于”现在完成一台 仪器 C”提供的信息量。 规律： (1)出现概率为零的消息可略去。 (2)概率小的消息出现时提供的信息量大于概率 大的消息出现时提供的信息量。 ( ) 0 . 2 , ( ) 0 . 3p B p C ( ) ( )p B p C BCII 例题（ 5） -解答 离散信源的（信息）熵 定义自信息的数学期望为信源的平均信息量 1 1( ) l o g ( ) l o g ( ) () q ii ii H X E P a P apa 信息熵具有以下两种物理含义： 1、表示信源输出前信源的平均不确定性 2、表示信源输出后，每个符号所携带的平均信息量 天气预报

22、，有两个信源 1 , 21 () 1 / 4 , 3 / 4 aaX px 1 , 22 () 1 / 2 , 1 / 2 aaX px 1 1 3 4( ) l og 4 l og 0.809 4 4 3HX 2 11( ) l og 2 l og 2 1 22HX 则： 说明 第二个信源的平均不确定性更大一些 例题 熵函数可以表示为： H X H p p p p pn i i i n ( ) ( , ) l og 1 2 1 p p i ni i n i 1 1 0 1 2, ( , , . . . , ) 离散信源的（信息）熵 作业： P23 T13 T15 例题（ 5） 某大学设置五个学院，每个学院的学生 数分别如下： 学院： 数学 物理 外语 外贸 医学 人数： 300 400 500 600 200 问“学生王某是外语学院学生”这一消 息提供的信息量是多少？ 解：总人数为： 300+400+500+600+200=2000人 是外语学院学生的概率为： 该消息提供的信息量： 500 0 .2 5 2000 2l o g 0 .2 5 2I 例题（ 5） -解答