信息论与编码第二版陈运主编课件全套教学文稿

《信息论与编码第二版陈运主编课件全套教学文稿》由会员分享，可在线阅读，更多相关《信息论与编码第二版陈运主编课件全套教学文稿（438页珍藏版）》请在装配图网上搜索。

1、信息论与编码信息论与编码(第二版第二版)陈陈运主编课件运主编课件(全套全套)l课程类型：技术基础课l学 时：48学时（112周）l考 核：平时成绩20（作业、考勤、测验）期末考试80（闭卷）l几点要求：上课尽量不要迟到 课堂上请将手机静音 电子版作业提交到网络教学平台课程简介学习目的及意义l最简单的通信系统信信源源信信道道信信宿宿信源熵信源熵l信源包含多少信息？l信道中传输的是什么形式？l信道能传送多少信息？l信宿接收到的信息是否正确？编码编码信道容量信道容量检纠错检纠错学习方法l本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。建议：建议：l

2、上课时紧跟老师思路积极思考，提高听课效率上课时紧跟老师思路积极思考，提高听课效率l记住概念，知道物理含义及其关系记住概念，知道物理含义及其关系l预习和复习预习和复习l自己独立完成作业自己独立完成作业概概 论论l l信息的一般概念信息的一般概念l 信息的分类信息的分类l信息论的起源、发展及研究内容信息论的起源、发展及研究内容信息论创始人：信息论创始人：C.E.Shannon(C.E.Shannon(香农香农)美国科学家美国科学家概概 论论 信息信息科学和科学和材料材料、能源能源科学一起被称为科学一起被称为当代文明的当代文明的“三大支柱三大支柱”。一位美国科学家说过：一位美国科学家说过：“没有物质

3、的世没有物质的世界是虚无的世界；没有能源的世界是死寂的界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。世界；没有信息的世界是混乱的世界。”信息的存在花朵开放时的花朵开放时的色彩是一种信息色彩是一种信息色彩是一种信息色彩是一种信息，它可以引来昆虫为它可以引来昆虫为其授粉；其授粉；成熟的水果会产生香味，诱来动物，动物食后为其成熟的水果会产生香味，诱来动物，动物食后为其传播种子，传播种子，果香也是一种信息果香也是一种信息果香也是一种信息果香也是一种信息；药有苦味，让人难以吞咽药有苦味，让人难以吞咽，药味是一种信息药味是一种信息药味是一种信息药味是一种信息；听老师讲课可以得到许

4、多知识，听老师讲课可以得到许多知识，知识也是信息知识也是信息知识也是信息知识也是信息。信息的存在 总之，信息处处存在，人的眼、耳、鼻、总之，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。舌、身都能感知信息。色彩色彩色彩色彩视觉视觉 果香果香果香果香嗅觉嗅觉苦药苦药苦药苦药味觉味觉知识知识知识知识听觉听觉冷热冷热冷热冷热触觉触觉信息的存在 1928年,美国数学家哈 特 莱(Hartley)在贝尔系统电话杂志上发表了一篇题为信息传输的论文。他认为“信息是选择的自由度”。？信息究竟是什么呢？事隔20年，另一位美国数学家香农 (C.E.Shannon)在贝尔系统电话杂志发表了题为通信的数学理论的长

5、篇论文。他创立了信息论，但是却没有给出信息的确切定义,他认为“信息就是一种消息”。美国数学家、控制论的主要奠基美国数学家、控制论的主要奠基人人维纳维纳(Wiener(Wiener）在在19501950年出版的年出版的控制论与社会控制论与社会中写到：“信息既不是物质又不是能量，信息就是信息”。这句话起初受到批评和嘲笑。它揭示了信息的特质：即信息是独立于物质和能量之外存在于客观世界的第三要素。最普遍的层次，也是无约束条件的层次，定义事物的“信息是该事物运动的状态和状态改变的方信息是该事物运动的状态和状态改变的方式式”。我们把它叫做“本体论本体论”层次。最广义的信息，使用范围也最广。“本体论”定义

6、引入一个最有实际意义的约束条件：引入一个最有实际意义的约束条件：认识主体。认识主体。认识主体。认识主体。信息定义就转化为信息定义就转化为“认识论认识论认识论认识论”层次的信息定义。层次的信息定义。“认识论”定义即即：信息是信息是信息是信息是认识主体认识主体认识主体认识主体（生物或机器）所感知的或（生物或机器）所感知的或（生物或机器）所感知的或（生物或机器）所感知的或所表述的相应事物的运动状态及其变化方式（包所表述的相应事物的运动状态及其变化方式（包所表述的相应事物的运动状态及其变化方式（包所表述的相应事物的运动状态及其变化方式（包括状态及其变化方式的形式、含义和效用）括状态及其变化方式的形式、

7、含义和效用）括状态及其变化方式的形式、含义和效用）括状态及其变化方式的形式、含义和效用）。全全 信信 息息 同时考虑事物运动状态及其变化同时考虑事物运动状态及其变化方式的方式的外在形式、内在含义和效用价值的认识外在形式、内在含义和效用价值的认识论层次信息。论层次信息。语法信息语义信息语用信息全 信 息信息的重要性质：信息的重要性质：可压缩性可压缩性 可扩散性可扩散性 可替代性可替代性 可共享性可共享性 时效性时效性 存在的普遍性存在的普遍性 有序性有序性相对性相对性 可度量性可度量性 可扩充性可扩充性 可存储、传输与携带性可存储、传输与携带性 信息消息信号区别与联系：l消息是指担负着传送信息任

8、务的单个符号或符号序列。包括文本、数据、语言、图形和图像等。是具体的。l信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特征的信号上去。是物理的。l信息是消息中的未知成分（不确定性），或者说是消息中的有用成分。是抽象的。l通信系统传输的是通信系统传输的是信号信号，信号是信号是消息消息的载体，的载体，消息中的未知成分是消息中的未知成分是信息信息。信息的直观认识1信道上传送的是随机变量的值信道上传送的是随机变量的值。l这就是说，我们在收到消息之前，并不知道消息的内容。否则消息是没有必要发送的。l消息随机变量有一个概率分布。l消息随机变量的一个可能取值就称为一个事件。信息的

9、直观认识2 事件发生的概率越小，此事件含有的信息量就越事件发生的概率越小，此事件含有的信息量就越大。（不太可能发生的事件竟然发生了，令人震大。（不太可能发生的事件竟然发生了，令人震惊）惊）l例事件“中国足球队5：0力克韩国足球队”此事件含有的信息量大大。（小概率事件发生了，事件信息量大）l例事件“中国足球队0：1负于韩国足球队”此事件有的信息量小小。（大概率事件发生了，事件信息量小）信息的直观认识3 消息随机变量的随机性越大，此消息随机变量消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。含有的信息量就越大。l例消息随机变量X=“中国足球队与巴西足球队比赛的结果”则消息随机变量X含有

10、的信息量小。l例消息随机变量Y=“意大利足球队与德国足球队比赛的结果”则消息随机变量Y含有的信息量大。信息的直观认识4 两个消息随机变量的相互依赖性越大，它们的两个消息随机变量的相互依赖性越大，它们的互信息量就越大互信息量就越大。l例X=呼和浩特明日平均气温,Y=包头明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。则X与Y互信息量大，X与Z互信息量小得多，X与W互信息量几乎为0。按照信息的性质按照信息的性质1语法语法语义语义语用语用2客观客观主观主观按照信息的地位按照信息的地位信息的分类 按照信息的作用按照信息的作用有用无用干扰3工业农业军事政治科技文化经济市场管理按照信息的应用部门

11、按照信息的应用部门 4信息的分类语声图象文字数据计算按照信息的来源按照信息的来源5连续连续离散离散半连续半连续按照携带信息的信号的性质按照携带信息的信号的性质 6信息的分类 香农信息论香农信息论主要讨论的是语法信息中主要讨论的是语法信息中的的概率信息概率信息，本书也以概率信息为主要研，本书也以概率信息为主要研究对象。究对象。在人类历史的长河中，信息传输和传播手段经历了五次重大变革：语言的产生。语言的产生。文字的产生。文字的产生。印刷术的发明。印刷术的发明。电报、电话的发明。电报、电话的发明。计计算算机机技技术术与与通通信信技技术术相相结结 合，促进了网络通信的发展。合，促进了网络通信的发展。1

12、2345信息论的起源、发展及研究内容信息论的起源、发展及研究内容19481948年年 以以“通通 信信 的的 数数 学学 理理 论论”（Amathematicaltheoryofcommunication）为为题公开发表，标志着信息论的正式诞生题公开发表，标志着信息论的正式诞生。起 源 50 50 年代，信息论在学术界引起了巨大反响。年代，信息论在学术界引起了巨大反响。60 60 年年代代，信信信信道道道道编编编编码码码码技技技技术术术术有有了了较较大大发发展展，使使它它成成为为信信息息论的又一重要分支。论的又一重要分支。后后来来，人人们们逐逐渐渐意意识识到到信信息息安安全全是是通通信信系系统

13、统正正常常运运行行的的必必要要条条件件。于于是是，把把密密码码学学也也归归类类为为信信息息论论的的分分支支。信信息息论论不不仅仅在在通通信信、广广播播、电电视视、雷雷达达、导导航航、计计算算机机、自自动动控控制制、电电子子对对抗抗等等电电子子学学领领域域得得到到了了直直接接应应用用，还还广广广广泛泛泛泛地地地地渗渗渗渗透透透透到到到到诸诸诸诸如如如如医医医医学学学学、生生生生物物物物学学学学、心心心心理理理理学学学学、神神神神经经经经生生生生理理理理学学学学等等等等自自自自然然然然科学的各个方面科学的各个方面科学的各个方面科学的各个方面，甚至渗透到语言学、美学等领域。，甚至渗透到语言学、美学等

14、领域。7070年代以后，年代以后，多用户信息论多用户信息论成为中心研究课题之一。成为中心研究课题之一。发发 展展信源信道信宿噪声源信源编码加密信道编码调制器解调器信道译码解密信源译码通信系统模型通信系统模型 一般信息论一般信息论香农香农 信息论信息论噪声噪声理论理论调制调制 理论理论信号滤波信号滤波预测理论预测理论统计检测统计检测估计理论估计理论1信息论研究对象信息论研究对象香农信息论信信源源熵熵信信道道容容量量率率失失真真函函数数信信源源编编码码信信道道编编码码密密码码香农信息论香农信息论2 所所有有研研究究信信息息的的识识别别、控控制制、提提取取、变变换换、传传输输、处处理理、存存贮贮、显

15、显示示、价价值值、作作用用、安安全全以以及及信信息息量量的的大大小小的的一一般般规规律律以以及及实实现现这这些些原原理理的的技技术术手手段段的的工工程程学学科科，信信息息论论的的完完备备和和延延伸伸，都都属属于于广广义义信息论的范畴。信息论的范畴。广义信息论 3总之，人们研究信息论的目的是为了总之，人们研究信息论的目的是为了高效、可靠、安全并且随心所欲地交换和高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。利用各种各样的信息。小小 结结信息的理解，信息、信号、消息的联系，信息的性质；信息论的研究内容及意义，通信系统模型；预习第2章中2.1.1,2.1.2 信息论与编码信息论与编码Inf

16、ormation Theory and codingInformation Theory and coding 电子信息工程系 宋丽丽Email:上次课的回顾上次课的回顾l什么是信息？信号，消息，信息的区别什么是信息？信号，消息，信息的区别？l通信系统模型通信系统模型lShannon信息论重点研究内容？信息论重点研究内容？通信系统模型通信系统模型n对信息论的学习从信源开始n由于信源发送什么消息预先是不可知的，只能用概率空间来描述信源。随机变量X、Y分别取值于集合 联合随机变量 取值于集合 记记概率论知识复习概率论知识复习 满足下面一些性质和关系：123无条件概率、条件概率、联合概率456问题的

17、引出l信息论的发展是以信息可以度量为基础的，度量信息的量称为信息量。l对于随机出现的事件，它的出现会给人们带来多大的信息量？l举例：甲告诉乙“你考上研究生”，那么乙是否得到信息？丙再次告诉乙同样的话，那么乙是否得到信息？2.1 2.1 单符号离散信源单符号离散信源 第第2章：信源和信源熵章：信源和信源熵信源信源离离散散信信源源连连续续信信源源单单符号符号多多符号符号随机变量随机矢量随机过程信源分类信源分类单符号离散信源单符号离散信源l信源发出的消息是离散的，有限的或可数的，且一个符号代表一条完整的消息。l例如：投骰子每次只能是1，2，6中的某一个。其中的数叫做事件/元素，以一定的概率出现；信源

18、可看作是具有一定概率分布的某些符号的集合。对于离散随机变量，取值于集合 单符号离散信源的数学模型为(2.1.2)对任一对任一记记单符号离散信源的数学模型单符号离散信源的数学模型 需要注意需要注意 的是：大写字母X X 代表随机变量，指的是信源整体。带下标的小写字母:代表随机事件的某一结果或信源的某个元素。两者不可混淆。单符号离散信源的数学模型单符号离散信源的数学模型一、信息量一、信息量自信息量自信息量 联合联合 自信息量自信息量条件条件 自信息量自信息量信息量信息量单位单位：比特比特(2(2为底为底)、奈特、笛特（哈特）、奈特、笛特（哈特）三个信息单位之间的转换关系如下：自信息量自信息量1定义

19、定义：由式(2.1.3)可知，一个以等概率出现的二进制码元(0,1)所包含的自信息量为1bit。例题例题例例2.1.1这四种气候的自信息量分别为:某地二月份天气的概率分布统计如下：1是非负值是非负值23的的单调递减单调递减单调递减单调递减函数函数。4自信息自信息量量 的性质必然事件不可能的事件联合自信息量 2针对两个符号离散信源针对两个符号离散信源代入式(2.1.3)就有定义：定义：联合自信息 条件自信息量条件自信息量 3定义：定义：联合自信息量和条件自信息也满足非负非负和单调递减单调递减性，同时，它们也都是随机变量，其值随着变量 的变化而变化。三者之间的关系三者之间的关系二、互信息量和条件互

20、信息量二、互信息量和条件互信息量互信息量互信息量互信息量互信息量1信源信源X信宿信宿Y有扰信道有扰信道C C干扰源干扰源N N离散信源X的数学模型为信宿Y的数学模型为 如果信道是理想的，发出ai收到ai则所获得的信息量ai的不确定度I(ai)；如果信道不理想，发出ai收到bj,由bj推测ai的概率，互信息量的定义互信息量的定义互信息量的定义互信息量的定义1 1例例2.1.2 继续讨论上一节的例题，即某地二月份天气构成的信源为“今天不是晴天”作为收到的信息b1，计算b1与各天气之间的互信息量。例题例题今天不是晴天。把这句话作为收到的信息 当收到 后，各种天气发生的概率变成后验概率。其中互信息量的

21、定义互信息量的定义2 2通信前先验不定度（联合自信息量）发送发送接收接收互信息量的定义互信息量的定义3 3后验不定度 通信后发送发送接收接收互信息量的定义互信息量的定义3 3 这样，通信后流经信道的信息量，等于通信前后不定度的差互信息量的定义互信息量的定义3 3互信息的性质互信息的性质对称性 当X和Y相互独立时，互信息为0 122互信息的性质互信息的性质互信息量可为正值或负值 3互信息量为正，bj使ai的不确定度减小，上例中，“今天不是晴天”为0，二者相互独立，“今天我很高兴”为负，bj没有使ai的不确定度减小，“今天有风”。是，也是的已知条件。条件互信息量(2.1.13)3l在你不知道今天是

22、星期几的情况下，问朋友“明天是星期几”则答案中可能存在的信息量是多少？如果你知道今天是星期四提出同样的问题则答案所含信息量是多少？A事件-不知道今天是星期几的情况下，问朋友“明天是星期几”B事件-知道今天是星期四明天是星期几 练习小结l信源类型 l信息量及性质l互信息量及性质思考题与作业思考题:12枚同值的硬币，一枚为假，其重量与其他不同，用天平（无砝码），找出来这枚硬币所使用的最少次数是多少？作业：2-2，2-3，2-4 信息论与编码信息论与编码Information Theory and codingInformation Theory and coding 电子信息工程系 内蒙古工业大学

23、l上次课内容复习l思考题解答问题的引出问题的引出哪个信源的不确定度小？X的不确定度小，X中a1出现的可能性。信信源源熵熵熵熵条件条件熵熵联联合合熵熵信源熵信源熵信源熵信源熵 已知单符号离散无记忆信源的数学模型信源熵1信源熵信源熵 各离散消息自信息量的数学期望，各离散消息自信息量的数学期望，即信源的即信源的平均信息量平均信息量平均信息量平均信息量。（2.1.16）信源的信息熵；香农熵；无条件熵；熵函数；信源的信息熵；香农熵；无条件熵；熵函数；信源的信息熵；香农熵；无条件熵；熵函数；信源的信息熵；香农熵；无条件熵；熵函数；熵熵熵熵。单位：比特单位：比特单位：比特单位：比特/符号。（底数不同，单位不

24、同）符号。（底数不同，单位不同）符号。（底数不同，单位不同）符号。（底数不同，单位不同）例例2.1.3由式(2.1.16)的定义，该信源的熵为 继续讨论上一节的例题，即某地二月份天气构成的信源为 信源熵H(X)表示信源输出后信源输出后信源输出后信源输出后，离散消息所提供的平均信息量平均信息量平均信息量平均信息量。信源熵H(X)表示信源输出前信源输出前信源输出前信源输出前，信源的平均不确平均不确平均不确平均不确定度定度定度定度。信源熵H(X)反映了变量变量变量变量X X X X的随机性的随机性的随机性的随机性。123信源熵的意义信源熵的意义信源熵的意义信源熵的意义H(X)=0.08bit/sig

25、n,H(Y)=1bit/sign,说明X的不确定小。信源熵与信息量的比较信源熵与信息量的比较 信源的平均不确定度信源的平均不确定度消除不定度得到信息消除不定度得到信息与信源是否输出无关与信源是否输出无关 接收后才得到信息接收后才得到信息 确定值确定值 一一般为随机量般为随机量 有限值有限值 可为无穷大可为无穷大 熵熵熵熵 信息量信息量信息量信息量例题例题2.1.4：条件熵条件熵 2信道疑义度,损失熵噪声熵联合熵 3l非负性非负性 H(X)0l l0 0p(ap(ai i)1 1，当取对数的底大于，当取对数的底大于，当取对数的底大于，当取对数的底大于1 1时，时，时，时，log log p(ap

26、(ai)i)0 0，-p(ap(ai i)log log p(ap(ai i)0 0，即得到的熵为正值。，即得到的熵为正值。，即得到的熵为正值。，即得到的熵为正值。只有当随机变量是一确知量时熵才等于零。只有当随机变量是一确知量时熵才等于零。只有当随机变量是一确知量时熵才等于零。只有当随机变量是一确知量时熵才等于零。信息熵的基本性质信息熵的基本性质 信息熵的基本性质信息熵的基本性质 l对称性对称性 X中的中的n个消息概率改变顺序，不影响熵的值。个消息概率改变顺序，不影响熵的值。X与Z信源的差别：它们所选择的具体消息/符号含义不同X与Y信源的差别：选择的同一消息,概率不同三者的信源熵是相同的，总体

27、统计特性相同信息熵的基本性质信息熵的基本性质 定理定理 信源中包含n个不同离散消息时，信源熵H(X)有 当且仅当X中各个消息出现的概率全相等时，上式取等号。最大离散熵定理最大离散熵定理最大离散熵定理最大离散熵定理信息熵的基本性质信息熵的基本性质 证明：对于单符号离散信源，当信源呈等概率分布时具对于单符号离散信源，当信源呈等概率分布时具对于单符号离散信源，当信源呈等概率分布时具对于单符号离散信源，当信源呈等概率分布时具有最大熵。有最大熵。有最大熵。有最大熵。二进制信源是离散信源的一个特例。二进制信源是离散信源的一个特例。H(X)=-log (1-)log(1-)=H()即信息熵H(x)是的函数。

28、取值于0，1区间，可画出熵函数H()的曲线来，如右图所示。举例举例 习题P68 2.6？H(X)log6 不满足信源熵的极值性l扩展性l性质说明：性质说明：由n个消息增加到n+1个，若它的概率很小，可忽略对熵的贡献，虽然概率很小的虽然概率很小的事件出现后，给予接收者的信息量很大，但对事件出现后，给予接收者的信息量很大，但对熵的贡献很小，可以忽略不计熵的贡献很小，可以忽略不计信息熵的基本性质信息熵的基本性质 l确定性确定性 H(1,0)=H(1,0,0)=H(1,0,0,0)=0l性质说明：从总体来看，信源虽然有不同的输出符性质说明：从总体来看，信源虽然有不同的输出符号，但它只有一个符号几乎必然

29、出现，而其它符号号，但它只有一个符号几乎必然出现，而其它符号则是几乎不可能出现，那么，则是几乎不可能出现，那么，这个信源是一个确知这个信源是一个确知信源，其熵等于零。信源，其熵等于零。信息熵的基本性质信息熵的基本性质 l可加性 H(XY)=H(X)+H(Y)X和和Y独立独立 H（XY）=H（X）+H（Y/X）H（XY）=H（Y）+H（X/Y）信息熵的基本性质信息熵的基本性质 已知Y后，从中得到了一些关于X的信息，从而使X的不确定度下降。极值性极值性极值性极值性信息熵的基本性质信息熵的基本性质 可以证明l上凸性上凸性 熵函数具有上凸性，所以熵函数具有极值，熵函数具有上凸性，所以熵函数具有极值，其

30、最大值存在。其最大值存在。信息熵的基本性质信息熵的基本性质 加权熵加权熵定义信息的 加权熵从某种程度上反映了人的主观因素加权熵从某种程度上反映了人的主观因素加权熵从某种程度上反映了人的主观因素加权熵从某种程度上反映了人的主观因素例例下雪 加权熵的概念(了解)小结与作业l信源熵l性质，最大离散熵定理作业:2.5 2.7(1-3)信息论与编码信息论与编码Information Theory and codingInformation Theory and coding 内蒙古工业大学电子信息工程系复习复习l信源熵及性质l互信息量信源信源X信宿信宿Y有扰信道有扰信道C C干扰源干扰源N N研究信源中

31、各个消息之间的关系平均互信息平均互信息一、平均互信息量的定义一、平均互信息量的定义互信息量在联合概率空间互信息量在联合概率空间P(XY)P(XY)统计平均。统计平均。平均交互信息量；交互熵同理，X对Y的平均互信息：平均互信息量的定义平均互信息量的定义(2.1.45)信道中流通信息量的整体测度。信道中流通信息量的整体测度。平均互信息量的定义平均互信息量的定义二、平均互信息的物理意义二、平均互信息的物理意义 平均互信息量是收到平均互信息量是收到平均互信息量是收到平均互信息量是收到Y Y Y Y前、后关于前、后关于前、后关于前、后关于X X X X的不确定度的不确定度的不确定度的不确定度减少的量，即

32、由减少的量，即由减少的量，即由减少的量，即由Y Y Y Y获得的关于获得的关于获得的关于获得的关于X X X X的平均信息量。的平均信息量。的平均信息量。的平均信息量。1损失熵表示收到Y后，对X仍存在不确定度，代表信道中损失的信息。平均互信息量是发送平均互信息量是发送X X前、后，关于前、后，关于Y Y的平均不的平均不确定度减少的量。确定度减少的量。2平均互信息的物理意义平均互信息的物理意义噪声熵表示发出X后，对Y仍存在不确定度，由于信道中的噪声引起的。平均互信息量等于通信前、后，整个系统不平均互信息量等于通信前、后，整个系统不确定度减少的量。确定度减少的量。平均互信息的物理意义平均互信息的物

33、理意义3三、平均互信息的性质三、平均互信息的性质对称性对称性1非负性非负性2说明：从X中提取关于Y的信息量与由Y中提取到X的信息量是相同的，是信息流通的总体测度。说明：信道每传递一条消息，总能提供一定的信息量。极值性极值性132极值性极值性凸函数性凸函数性412多次处理信息量将减少。多次处理信息量将减少。数据处理定理数据处理定理XYZ5例例2.1.4信源X接入图示信道0.980.80.20.02123等概率信源的熵最大。等概率信源的熵最大。4567三、各种熵之间的关系三、各种熵之间的关系H(X),H(Y)信源熵，无条件熵H(X/Y)疑义度，损失熵H(Y/X)噪声熵H(XY)联合熵I(X;Y)平

34、均互信息量，交互熵X YX YX YX YX Y作业l作业：2-11 H(X)，H(Y)，H(X/Y)，H(XY)，H(Z)，I(X;Y)。信息论与编码信息论与编码Information Theory and codingInformation Theory and coding 内蒙古工业大学电子信息工程系 宋丽丽Email:信源分类信源分类连连续续信信源源随机变量信源信源离离散散信信源源单符号单符号多符号多符号随机矢量随机过程离散无记忆信源离散无记忆信源离散有记忆信源离散有记忆信源平稳序列信源平稳序列信源马尔可夫信源马尔可夫信源 输出的消息序列中各符号之间无相互依赖关系的信源。亦称为单符号

35、离散平稳无记忆信源的扩展信源单符号离散平稳无记忆信源的扩展信源。序列长度就是扩展次数序列长度就是扩展次数。例:单符号信源0，1,经过二次扩展变成了：00，01，10，11经过三次扩展，形成的信源？经过N次扩展，形成的信源？多符号离散平稳无记忆信源多符号离散平稳无记忆信源无记忆信源的扩展信源无记忆信源的扩展信源数学模型数学模型数学模型数学模型可证明序列信息的熵为信源熵信源熵单符号信源如下,求二次扩展信源熵扩展信源：例例2.2.2例题例题反映信源记忆特性的两方法：反映信源记忆特性的两方法：用联合概率反映信源记忆特性用联合概率反映信源记忆特性平稳序列信源用条件概率反映信源记忆特性用条件概率反映信源记

36、忆特性马尔可夫信源12有记忆信源各维联合概率均与时间起点无关离散平稳信源二维信源二维信源1二维信源的信源熵二维信源的信源熵一般地信源熵的说明信源熵的说明结论：离散无记忆信源的二次扩展信源可以看作二维离散平稳信源的特例例例2.2.3原始信源：条件概率：X1X2例题平均符号熵：信源熵：例题N N维信源维信源2N N维信源的信源熵维信源的信源熵平均符号熵：极限熵：平均符号熵与极限熵平均符号熵与极限熵对离散平稳信源若H1(X)，则有以下性质：l(1)多维离散有记忆信源的熵是起始时刻随机变量X1的熵与各阶条件熵之和；l(2)条件熵H(XN/X1X2XN-1)随N的增加是递减的；一些性质一些性质l(3)平

37、均符号熵HN(X)也是随N增加而递减的；l(4)H 存在，并且:一些性质一些性质小结l离散无记忆信源的N次扩展l离散平稳有记忆信源l平均符号熵l极限熵作业l作业 2.13 2.18 信息论与编码信息论与编码Information Theory and codingInformation Theory and coding 内蒙古工业大学电子信息工程系 宋丽丽Email:有记忆的特点：有限的相关符号组构成的序列有限记忆长度；发出一个个符号，每发一个符号状态要发生转移。信源输出不仅与符号集有关，而且与状态有关；状态状态123 以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源。某时刻输出

38、符号仅与此刻信源所处的状态有关；某时刻所处状态由当前输出符号和前一时刻信源状态唯一确定。马尔可夫信源马尔可夫信源12 信源输出当前符号仅与前面m个符号有关的马尔可夫信源。m阶马尔可夫信源阶马尔可夫信源状态极限概率状态极限概率马尔可夫信源稳定后各状态的极限概率（）各态历经定理各态历经定理P61状态极限概率的求法，状态转移图二阶马尔可夫信源00 01 10 11香农线图：例例2.2.4 平稳信源（如果不平稳则先把其变成分段平稳的）。121 马尔可夫信源发出一个个符号，有限长度有记忆信源发出一组组符号；一般有记忆信源用联合概率描述符号间的关联关系，马尔可夫信源用条件概率（状态转移概率）来描述符号间的

39、关联关系；m阶马尔可夫与一般记忆长度为m的有记忆信源的区别：122 马尔可夫信源记忆长度虽然有限，但依赖关系延伸到无穷远。长为m的有限记忆信源符号间的依赖关系仅限于每组内，组与组之间没有依赖关系；342.2.5 2.2.5 信源冗余度信源冗余度空格：空格：空格：空格：0.2E0.2E：0.1050.105T：0.072O：0.0654A：0.063N：0.059I：0.055R：0.054S：0.052HH：0.047D0.047D：0.035L0.035L：0.0290.029CC：0.023F0.023F、U U：0.0250.025MM：0.021P0.021P：0.1750.175Y

40、Y、WW：0.012G0.012G：0.011B0.011B：0.01050.0105V：0.008K：0.003X：0.002J、Q：0.001Z：0.001英文各个字符的统计概率如下：例例2.2.5英文字母出现概率统计信息熵的相对率：信息熵的相对率：信息熵的相对率：信息熵的相对率：信源的冗余度：信源的冗余度：信源的冗余度：信源的冗余度：信息变差：信息变差：信息变差：信息变差：对英语信源：对英语信源：对英语信源：对英语信源：l对离散信源，信源符号等概率分布时熵最大，其平对离散信源，信源符号等概率分布时熵最大，其平均自信息量记为均自信息量记为:H0log ql由于信源符号间的依赖关系使信源的熵

41、减小，使下由于信源符号间的依赖关系使信源的熵减小，使下式成立：式成立：l信源符号之间依赖关系越强，每个符导提供的平均信源符号之间依赖关系越强，每个符导提供的平均信息量越小。信息量越小。l为此，引入为此，引入信源的冗余度信源的冗余度来衡量信源的相关程度来衡量信源的相关程度(有有时也称为多余度时也称为多余度)。例：例：英语英语-字母表字母表 以英文字母组成的信源为例，信源的输出是英文字母组成的序以英文字母组成的信源为例，信源的输出是英文字母组成的序列。英文字母共列。英文字母共26个加上空格共个加上空格共27个符号。所以由英文字母组成的信个符号。所以由英文字母组成的信源的最大熵：源的最大熵：H0lo

42、g 274.76（比特符号）（比特符号）考虑到字母之间的依赖关系，可以把英文信源作进一步的近似，考虑到字母之间的依赖关系，可以把英文信源作进一步的近似，看作为看作为M阶马尔可夫信源。这样可以求得：阶马尔可夫信源。这样可以求得：H14.03 比特符号比特符号 H23.32 比特符号比特符号 H33.1 比特符号比特符号 H 1.4 比特符号比特符号熵的相对率：熵的相对率：熵的相对率：熵的相对率：=0.29=0.29信源剩余度：信源剩余度：信源剩余度：信源剩余度：=0.71=0.71l英文信源的剩余度说明：英文信源的剩余度说明：文中有文中有7171是由语言结构定好的；是由语言结构定好的；只有只有2

43、929是写文字的人可以自由选择的。是写文字的人可以自由选择的。在传递或存储英语信息时，在传递或存储英语信息时，那些有关联的字母可进那些有关联的字母可进行大幅度地压缩行大幅度地压缩。例如例如100100页的书，大约只要存储页的书，大约只要存储2929页就可以了，其中页就可以了，其中7171页可以压缩掉。页可以压缩掉。l信源的剩余度表示这种信源可压缩的程度。信源的剩余度表示这种信源可压缩的程度。l德语、法语等自然语言与英语类似，而汉语信源则德语、法语等自然语言与英语类似，而汉语信源则复杂得多。复杂得多。冗余度与传输效率冗余度与传输可靠性冗余度与英语学习?内蒙古工业大学信息工程学院电子系信息工程学院

44、电子系宋丽丽宋丽丽 信息论与编码信息论与编码Information Theory and codingInformation Theory and coding Email：2.3 2.3 连续信源连续信源计算连续信源熵的两种方法：将连续信源的时间抽样，幅度量化，变成离散消息，再用离散熵计算只进行抽样，把抽样序列看作量化单位趋于0时的情况，然后定义计算信源熵。12连续信源的熵连续信源的熵一维概率密度函数（边缘概率密度函数）：连续信源的数学描述连续信源的数学描述单变量连续信源的数学模型为：并满足连续信源的数学描述连续信源的数学描述中值定理连续信源的熵的推导连续信源的熵的推导p(x)如图,把X分成

45、n个小区间，等宽则变量落在第i个区间的概率为:连续信源的熵的推导连续信源的熵的推导连续信源熵（相对熵）定义：连续信源熵（相对熵）定义：为了在形式上与离散信源熵统一熵差仍然具有信息的特征12求均匀分布的连续信源熵例例2.3.1例题例题连续信源熵 相对熵相对熵相对熵相对熵离散信源熵 绝对熵绝对熵绝对熵绝对熵连续信源熵的说明连续信源熵的说明连续信源熵不是实际输出的信息量，因为丢掉了一项无限大量。但是，在讨论熵差时，两个无限大量可以对消，所以熵差具有信息的特征连续信源的联合熵、条件熵连续信源的联合熵、条件熵2.3.2 几种特殊连续信源的熵几种特殊连续信源的熵均匀分布的连续信源的熵均匀分布的连续信源的熵

46、1，均匀分布的连续信源的熵均匀分布的连续信源的熵结论：均匀分布的连续信源熵取决于边界高斯分布的连续信源的熵高斯分布的连续信源的熵2高斯分布的连续信源的熵高斯分布的连续信源的熵结论结论高斯信源的熵仅与方差有关。原因原因指数分布的连续信源的熵指数分布的连续信源的熵3取决于均值取决于均值取决于均值取决于均值2.3.3 2.3.3 连续信源熵的性质及连续信源熵的性质及 最大连续熵定理最大连续熵定理连续信源熵可为负值连续信源熵的可加性推广到N个变量的情况12连续信源熵的性质连续信源熵的性质3连续信源熵的性质连续信源熵的性质对称性：对称性：对称性：对称性：数据处理定理：数据处理定理：数据处理定理：数据处理

47、定理：连续信源熵的性质连续信源熵的性质最大连续熵定理限峰值功率的最大熵定理限峰值功率的最大熵定理 若代表信源的若代表信源的N N维随机变量取值被限定在一定范围维随机变量取值被限定在一定范围内，在有限定义域内内，在有限定义域内均匀分布均匀分布的连续信源有最大熵。的连续信源有最大熵。14连续信源熵的性质连续信源熵的性质可以证明可以证明限平均功率的最大熵定理限平均功率的最大熵定理 平均功率为平均功率为P P，均值，均值m m受限，当信源概率密度受限，当信源概率密度函数为函数为正态分布正态分布时，具有最大熵。时，具有最大熵。2均值受限条件下的最大熵定理均值受限条件下的最大熵定理均值受限条件下的最大熵定

48、理均值受限条件下的最大熵定理 连续信源输出非负信号的均值受限条件下，连续信源输出非负信号的均值受限条件下，指数指数分布分布的连续信源具有最大熵。的连续信源具有最大熵。3 连续信源不存在绝对的最大熵。连续最大熵连续信源不存在绝对的最大熵。连续最大熵与信源的限制条件有关。在不同的限制条件下，有与信源的限制条件有关。在不同的限制条件下，有不同的最大连续熵不同的最大连续熵。l第二章 小结l作业 2.22（1）信息论与编码信息论与编码Information Theory and codingInformation Theory and coding 内蒙古工业大学电子信息工程系 宋丽丽Email:l信道

49、的主要任务：以信号的形式传输和存储信息。l问题：在什么条件下，通过信道的信息量最大，即信道容量的问题。第第3 3章：信道容量章：信道容量信道的数学模型和分类信道的数学模型和分类P(Y/X)xY信道的数学模型信道的数学模型：X P(Y/X)Y输入与输出之间一般不是确定的函数关系，而是统计依赖的。信道的分类信道的分类无干扰信无干扰信道道有干扰信有干扰信道道信道的分类信道的分类信道的分类信道的分类有记忆信有记忆信道道无记忆信无记忆信道道信道的分类信道的分类信道的分类信道的分类单符号单符号 信道信道多符号多符号信道信道信道的分类信道的分类信道的分类信道的分类单用户信单用户信道道多用户信多用户信道道信道

50、的分类信道的分类信道的分类信道的分类连续连续信道信道半离散信半离散信道道离散离散信道信道信道的分类信道的分类信道容量的定义信道容量的定义p(bi/ai)xYi=1,2,np(bi/ai）信道的转移概率/信道传递概率信道转移概率矩阵：信道转移概率矩阵：信道的信息传输率信道的信息传输率l信源熵为H(X)，由于干扰的存在，一般只接收到I(X;Y)。l定义:平均每个符号能传送的消息总量为信道的信息传输速率（信息率），R，R=I(X;Y)若平均传送一个符号为t秒，则信道每秒钟平均传送的信息量，信道容量信道容量I(X;Y)是p(ai)和p(bj/ai)的二元函数。当信道特性p(bj/ai)固定后，I(X;

51、Y)随信源概率分布p(ai)变化。lI(X;Y)是p(ai)的上凸函数，总能找到一个p(ai)使得信息率最大。l信道容量：信道中最大的传输速率，C，l单位：比特/信道符号l单位时间的信道容量，比特/秒 信道容量信道容量信道容量信道容量几种特殊离散信道的容量几种特殊离散信道的容量一、离散无噪信道一、离散无噪信道1、一一对应的无噪信道、一一对应的无噪信道an bna1 b1a2 b2a1 b1a2 b2an-1 bn-1an bnX、Y一一对应一一对应,此时此时H(X/Y)=0，H(Y/X)=0，CmaxI(X;Y)log n (p(ai)=1/n即等概即等概)p(ai)一一对应的无噪信道一一对应

52、的无噪信道a1 b1 b2 b32、具有扩展功能的无噪信道具有扩展功能的无噪信道a2 b4 b5 b6a3 b7 b8 此时，此时，H(X/Y)=0，H(Y/X)0，且且H(X)H(Y)。所以，所以，C=maxH(X)=logn(p(ai)=1/n即等概即等概)p(ai)一个输入对应多个输出一个输入对应多个输出2、具有扩展功能的无噪信道具有扩展功能的无噪信道3、具有归并性的无噪信道、具有归并性的无噪信道a1 b1a2 a3 b2a4a5 b3C=max H(Y)=log m p(ai)=？p(ai)H(X/Y)0，H(Y/X)=0多个输入变成一个输出多个输入变成一个输出结论l无噪信道的信道容量

53、只取决于信道的输入无噪信道的信道容量只取决于信道的输入符号数符号数n或输出符号数或输出符号数m，与信源无关。，与信源无关。练习练习:p101 3.14二、强对称二、强对称(均匀均匀)离散信道的信道容量离散信道的信道容量n X np：总体错误概率特点及信道容量每行、每列都是同一集合各元素的不同排列特点及信道容量固定Xai，对Y求和，即选定某一行，对各元素自信息量加权求和。ai不同时，只是求和顺序不同，结果完全一样，所以Hni与X无关，是常数。信道容量？输入符号的概率如何分布，才能使得H（Y）达到最大？相应的相应的信道容量结论：l当输入等概率分布时，强对称离散信道能够传当输入等概率分布时，强对称离

54、散信道能够传输最大的平均信息量，达到信道容量。输最大的平均信息量，达到信道容量。l信道容量只与信道的输出符号信道容量只与信道的输出符号n及信道矩阵的某及信道矩阵的某一行矢量有关。一行矢量有关。三、对称离散信道的信道容量三、对称离散信道的信道容量矩阵中的每行都 是集合P=p1,p2,pn中的诸元素的不同排列，称矩阵的行是可排列的。矩阵中的每列都是集合Q=q1,q2,qm中的诸元素的不同排列，称矩阵的列是可排列的。如果矩阵的行和列都是可排列的，如果矩阵的行和列都是可排列的，称矩阵是可排列的。称矩阵是可排列的。如果一个信道矩阵具有可排列性，如果一个信道矩阵具有可排列性，则它所表示的信道称为则它所表示

55、的信道称为对称信道中，当对称信道中，当nmnmnm，Q Q是是P P的子集；当的子集；当n=mn=m时，时，P=QP=Q。对称信道对称离散信道对称离散信道练习：判断下列矩阵表示的信道是否是对称信道练习：判断下列矩阵表示的信道是否是对称信道相应的相应的对称离散信道的信道容量强对称信道与对称信道比较：强对称信道与对称信道比较：强对称强对称 对称对称 n=m n与与m未必相等未必相等 矩阵对称矩阵对称 矩阵未必对称矩阵未必对称 P=Q P与与Q未必相等未必相等行之和，列之和均为行之和，列之和均为1行之和为行之和为1四、准对称信道离散信道的信道容量四、准对称信道离散信道的信道容量若信道矩阵的行是可排列

56、的，但列不可排列，若信道矩阵的行是可排列的，但列不可排列，如果把列分成若干个不相交的子集，且由如果把列分成若干个不相交的子集，且由n n行和行和各子集的诸列构成的各个子矩阵都是可排列的，各子集的诸列构成的各个子矩阵都是可排列的，则称相应的信道为准对称信道。则称相应的信道为准对称信道。例如下面的矩阵：例如下面的矩阵：例题假设此时将矩阵的列分为假设此时将矩阵的列分为S S个子集，每个子集个子集，每个子集的元素个数分别是的元素个数分别是m m1 1，m m2 2，m ms s。例题例题作业l3.2，3.11 信息论与编码信息论与编码Information Theory and codingInfor

57、mation Theory and coding 内蒙古工业大学电子信息工程系 宋丽丽Email:多符号离散信道数学模型多符号离散信道数学模型多符号离散信道多符号离散信道 多符号信源通过离散信道传输形成多符号离散信道。多符号离散信道的数学模型多符号离散信道的数学模型有 个元素信道矩阵信道矩阵1YNY离散无记忆信道的N次扩展信道离散无记忆信道的离散无记忆信道的N N次扩展信道次扩展信道无记忆：无记忆：YK仅与仅与XK有关有关离散无记忆信道的离散无记忆信道的N次扩展信道次扩展信道l离散无记忆信道的N次扩展信道的平均互信息量不大于N个变量X1X2.XN单独通过信道 的平均互信息量之和。离散无记忆信道

58、扩展信道信道容量离散无记忆信道扩展信道信道容量结论：如果信道是N次扩展信道，信源也是N次扩展信源，则N次扩展信道的信道容量是离散无记忆信道容量的N倍独立并联信道的信道容量独立并联信道的信道容量lN次扩展信道的推广，随机变量取值于不同的符号集作业l3-6l讲解第二章作业 信息论与编码信息论与编码Information Theory and codingInformation Theory and coding 内蒙古工业大学电子信息工程系 宋丽丽Email:3.5 3.5 连续信道连续信道连续信道的数学模型连续信道的数学模型加性连续信道加性连续信道NY=X+NX加性连续信道加性连续信道假定N是均

59、值为0，方差为的高斯变量噪噪声声功功率率高斯加性连续信道高斯加性连续信道输入平输入平均功率均功率输出平输出平均功率均功率对于高斯加性信道高斯加性连续信道高斯加性连续信道信噪功率比高斯加性连续信道高斯加性连续信道香农公式香农公式(bit/s)香农公式香农公式练习 P100 3.8高斯加性信道带宽为1Mhz，1）已知信号和噪声的平均功率比为10，求信道容量；2）如果信噪比下降至5，要达到相同的信道容量，带宽应为多少？3）若频带减为0.5MHz，保持相同的信道容量，信噪比为多少？练习练习第三章 小结作业l3-18 3-19 3-20 信息论与编码信息论与编码Information Theory an

60、d codingInformation Theory and coding 内蒙古工业大学电子信息工程第第5 5章：信源编码章：信源编码信源编码信源编码信源编码是以提高通信的有效性为目的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。编码器编码器信源编码的基础是信息论中的两个编码定理：无失真编码定理 限失真编码定理 无失真编码只适用于离散信源 对于连续信源，只能在失真受限制的情况下进行限失真编码定长编码定理：定长编码定理：1消息序列码序列定长变长定理说明定理说明信息率：信息率：编码效率：编码效率：m-码序列中每个符号的可能取值，单个符号的信息量为

61、K-定长编码的长度，总信息量L-信源符号的长度，平均每个符号的信息量为定理说明定理说明信息率略大于信源熵，可做到无失真译码例题lP66 例2.4.1结论：定长编码简单，但要达到一定的差错率不易实现，且编码效率低。对离散无记忆信源，消息长度为L，符号熵为H(X),对信源进行m元变长编码，一定存在无失真的信源编码方法满足：满足：满足：满足：其码字平均长度其码字平均长度其码字平均长度其码字平均长度K K满足：满足：满足：满足：其码字平均信息率其码字平均信息率其码字平均信息率其码字平均信息率R R变长编码定理：变长编码定理：2如何分离码字？变长编码出现的问题P66 例2.4.1 只要4个符号一起编码即

62、可满足要求，所以为了提高编码效率，采样变长编码。要求：码是唯一可译要求：码是唯一可译码的分类判断以下码字是否可分离？例例2.4.1克拉夫特不等式lm元长度为Ki的异前置码存在的充要条件是l如上例即时码的树图结构树与编码的关系树根码的起点树枝码的进制数节点码字或其部分终结点码字节数码长满树等长码非满树变长码0120120120120125.1.2 香农编码香农编码设有离散无记忆信源1234香农编码方法的步骤香农编码方法的步骤按信源符号的概率从大到小的顺序排队不妨设例例设有一单符号离散无记忆信源设有一单符号离散无记忆信源试对该信源编二进制香农码。试对该信源编二进制香农码。编码过程编码过程（1）作业

63、l5.1 信息论与编码信息论与编码Information Theory and codingInformation Theory and coding 内蒙古工业大学电子信息工程系5.1.3 5.1.3 费诺编码费诺编码对概率按m进行分组，使每组概率尽可能相等给每个分组分配一个码元对每个分组重复2、3步，直到不可分为止1234按信源符号的概率从大到小的顺序排队不妨设设有一单符号离散无记忆信源设有一单符号离散无记忆信源试对该信源编二进制费诺码。试对该信源编二进制费诺码。例例编码过程 可以看出本例中费诺码有较高的编码效率。可以看出本例中费诺码有较高的编码效率。费诺码比较适合于每次分组概率都很接近的

64、信源。费诺码比较适合于每次分组概率都很接近的信源。树图树图：将信源符号按概率由大到小顺序排队给两个概率最小的符号各分配一个码位，将其概率相加后合并作为一个新的符号，与剩下的符号一起，再重新排队给缩减信源中概率最小的符号各分配一个码元重复步骤2、3直至概率和为121435.1.4 5.1.4 赫夫曼编码赫夫曼编码设有一单符号离散无记忆信源试对该信源编二进制哈夫曼码。例例编码过程Huffman码的编码方法不是唯一的首先:每次对缩减信源两个最小的符号分配“0”和“1”码元试任意的;其次:若合并后的新符号的概率与其他符号的概率相等，这几个符号的次序可任意排列;一般将合并的概率放在上面，这样可获得较小的

65、码方差。说明：说明：例例 设有离散无记忆信源设有离散无记忆信源用两种不同的方法对其编二进制huffman码方法一方法一方法二方法二信源符号信源符号xi概率概率p(xi)码字码字Wi1码长码长Ki1码字码字Wi2码长码长Ki2x10.411002x20.2012102x30.20003112x40.1001040103x50.1001140113两种不同的编码方法得到的码字和码长的对比平均码长和编码效率平均码长和编码效率码字的码长方差比较码字的码长方差比较可以看出第二种编码方法的码长方差要小许多,码长变化较小，比较接近平均码长。要求：Huffman编码时应使合并的信源符号位于缩减信源序列尽可能高

66、的位置上，码长变化较小，比较接近平均码长，易于实现。结论：结论：三种编码的比较Huffman:不唯一，但对信源没有特殊要求，且编码效率较高，设备要求简单，综合性能优于另外两种。相同点：三种编码都考虑了信源的统计特性，使经常出现的信源符号对应较短的码字，使平均码长缩短，实现了信源压缩。不同点：shnnon：有唯一的编码，但编码效率不是很高；Fano:编码方法不唯一，适合与分组概率相等或相近的信源；作业l5.2 5.3 5.4(1,2,3)信息论与编码信息论与编码Information Theory and codingInformation Theory and coding 内蒙古工业大学电子信息工程系5.1.5 游程编码 游程：指数字序列中连续出现相同符号的一段。在二元信源中，连续的一段0称为一个0游程，0的个数称为此游程的长度，同样，也有1游程。游程序列：用交替出现的0游程、1游程的长度，来表示任意二元序列而产生的一个新序列。它和二元序列是一个一一对应的变换。00010111001000131132131若已知若已知二元序列以以0 0起始，从游程序列很容易起始，从游程序列很容易恢复