信息论与编码第一章

《信息论与编码第一章》由会员分享，可在线阅读，更多相关《信息论与编码第一章（37页珍藏版）》请在装配图网上搜索。

1、 要珍惜这个良好的学习机会，认要珍惜这个良好的学习机会，认真学习，逐渐培养科研能力，树立完真学习，逐渐培养科研能力，树立完善的人格基础，为将来的进一步学习善的人格基础，为将来的进一步学习和科研奠定坚实的基础。和科研奠定坚实的基础。1 信息论基础是通信和信息领域的信息论基础是通信和信息领域的专业基础课程，只有学好这门课，才专业基础课程，只有学好这门课，才能学好后继课程、将来进一步从事通能学好后继课程、将来进一步从事通信 和 信 息 领 域 的 科 研 和 创 新 。信 和 信 息 领 域 的 科 研 和 创 新 。 信息论与编码是一门应用概率论、信息论与编码是一门应用概率论、数理统计和近代数学的

2、方法来研究信息数理统计和近代数学的方法来研究信息的度量、编码和通信的科学；它的主要的度量、编码和通信的科学；它的主要目的是提高信息系统的有效性和可靠性，目的是提高信息系统的有效性和可靠性，最优化；其主要内容包括：信息的度量，最优化；其主要内容包括：信息的度量，信源与信道的模型与特点，信道容量、信源与信道的模型与特点，信道容量、无失真信源编码，有噪信道编码、限失无失真信源编码，有噪信道编码、限失真信源编码及纠错编码。真信源编码及纠错编码。2结合通信系统实际结合通信系统实际应用应用3 信息理论信息理论为中心，区别为中心，区别 “ “信源编码信源编码”与与“信道编码信道编码”概念和物理意义概念和物理

3、意义为主，数学推导尽量为主，数学推导尽量放到课外放到课外n掌握一定的科学思想方法掌握一定的科学思想方法( (用信息论用信息论的思想和观点的思想和观点) )和怎样描述和怎样描述4n充分理解、熟练掌握教材的内容充分理解、熟练掌握教材的内容n熟练掌握基本的信息理论概念和定理。熟练掌握基本的信息理论概念和定理。n熟练掌握通信与信息工程中基本研究对象的熟练掌握通信与信息工程中基本研究对象的数学描述。数学描述。n通过学习和习题练习，具备一定的解通过学习和习题练习，具备一定的解决问题分析问题的能力决问题分析问题的能力n讲课讲课: :（概念、方法、实际应用）（概念、方法、实际应用）n自学自学: :（数学推导、

4、定理证明）（数学推导、定理证明）n考试考试：基本概念、基本计算、实际应用：基本概念、基本计算、实际应用n平时成绩平时成绩：上课情况：上课情况+ +作业作业n成绩成绩：考试成绩：考试成绩+ +平时成绩平时成绩51 1信息论信息论基础理论与应用基础理论与应用， 傅祖芸，傅祖芸， 电子工业出版社，电子工业出版社，202005052 2信息论与编码信息论与编码，陈运，电子工业出版，陈运，电子工业出版 社，社，202010103. 3. 信息理基础信息理基础，周荫清，北京航空航天，周荫清，北京航空航天 大学出版社，大学出版社，2020121261.1 1.1 信息信息1.2 1.2 信息论信息论1.3

5、1.3 信息论的形成与发展信息论的形成与发展1.4 1.4 信息论的主要研究成果信息论的主要研究成果8什么是信息什么是信息? ?n信息是指各个事物运动的状态及状态信息是指各个事物运动的状态及状态 变化的方式。变化的方式。n人们从来自对周围世界的观察得到的人们从来自对周围世界的观察得到的 数据中获得信息。数据中获得信息。n信息是抽象的意识或知识，它是看不信息是抽象的意识或知识，它是看不 见、摸不到的。见、摸不到的。1.1.11.1.1信息的定义信息的定义9信息的定义从以下三方面总结：信息的定义从以下三方面总结：自然信息自然信息：信息存在于自然界，也存在于人类社：信息存在于自然界，也存在于人类社会

6、，其本质是运动和变化。可以说哪里有事物的会，其本质是运动和变化。可以说哪里有事物的运动和变化，哪里就会产生信息。运动和变化，哪里就会产生信息。如种子发芽，破土而出如种子发芽，破土而出；太阳东出西落；太阳东出西落；不同季节不同季节开不同的花开不同的花；宇宙星辰的位置变化等宇宙星辰的位置变化等，以上自然界，以上自然界的变化的变化产生了信息产生了信息。由此得知由此得知信息不是静止的过程，信息不是静止的过程，只有运动、变化才能产生信息。只有运动、变化才能产生信息。当信息产生以后，当信息产生以后，由人们或其他动物获取这个信息后，就会对这个信由人们或其他动物获取这个信息后，就会对这个信息进行记录（或记为存

7、储），然后传递。息进行记录（或记为存储），然后传递。10表征信息表征信息：用文字、符号、数据、语言、图片、：用文字、符号、数据、语言、图片、图像等能够被人们感觉器官所感知的形式，把客图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。观物质运动和主观思维活动的状态表达出来。 人们逐渐意识到信息的存在。对信息的认识随着社会文人们逐渐意识到信息的存在。对信息的认识随着社会文明的程度的提高而不断提高和深入明的程度的提高而不断提高和深入。 最早对信息进行科学定义的，是最早对信息进行科学定义的，是哈特莱哈特莱( (R.V.L.HartleyR.V.L.Hartley) )。

8、他认为，发信者所发出的信息，就是他在通信符号表中选择他认为，发信者所发出的信息，就是他在通信符号表中选择符号的具体方式，并主张用所选择的自由度来度量信息。符号的具体方式，并主张用所选择的自由度来度量信息。美国科学家美国科学家维纳维纳（N.WienerN.Wiener）指出：）指出：美国数学家美国数学家香浓香浓事物运动状态及其变化方式的外在形式，实际上事物运动状态及其变化方式的外在形式，实际上研究的是语法信息研究的是语法信息。“信息是信息，不是物质，也不是能量信息是信息，不是物质，也不是能量”。11概率信息：概率信息：采用概率论的方法对信息统计特性采用概率论的方法对信息统计特性的一种定量描述。的

9、一种定量描述。从数学观点出发研究香农信息论，可以认为信息是对信息从数学观点出发研究香农信息论，可以认为信息是对信息统计特性的一种定量描述。统计特性的一种定量描述。例如，有人告诉你一条消息，这条消息告诉了许多原来不例如，有人告诉你一条消息，这条消息告诉了许多原来不知道的信内容，知道的信内容，也就是事件发生概率小，也就是事件发生概率小，这条消息就很有这条消息就很有意义，信息量就大；反之，如果这条消息告诉的是原来就意义，信息量就大；反之，如果这条消息告诉的是原来就已经知道的新内容，那么这条消息意义就不大，信息量就已经知道的新内容，那么这条消息意义就不大，信息量就小。小。1212 是事物运动状态或存在

10、方式的不是事物运动状态或存在方式的不确定性的描述。确定性的描述。信息信息 是消息的物理体现。是消息的物理体现。在通信系统在通信系统中，实际传输的是信号，但本质中，实际传输的是信号，但本质内容的是信息。信息包含在信号内容的是信息。信息包含在信号之中，之中， 信号是信息的载体。信号是信息的载体。信号信号香农信息的定义香农信息的定义 是指包含有信息的语言、文字和是指包含有信息的语言、文字和图像等。图像等。 消息消息13 在物质世界中任何事物都处于永恒的运在物质世界中任何事物都处于永恒的运动和普遍的相互作用之中。只要有运动动和普遍的相互作用之中。只要有运动和相互作用的事物，就需要有能量，也和相互作用的

11、事物，就需要有能量，也就会产生各种各样事物运动的状态和方就会产生各种各样事物运动的状态和方式，就产生了信息。信息是作为物质存式，就产生了信息。信息是作为物质存在方式和状态的自身显示，同样也是相在方式和状态的自身显示，同样也是相互作用的自身显示。可见信息源于物质互作用的自身显示。可见信息源于物质世界本身，源于物质世界的运动和相互世界本身，源于物质世界的运动和相互作用之中，所以信息是普遍存在的。作用之中，所以信息是普遍存在的。14信息有如下的重要性质信息有如下的重要性质： 无形性无形性信息本身是看不见、摸不着的，它必须依附于一定的信息本身是看不见、摸不着的，它必须依附于一定的物质形式，通过物质形式

12、承载信息，表达信息。例如物质形式，通过物质形式承载信息，表达信息。例如语言、文字、图像、电波等都能体现一定的信息。语言、文字、图像、电波等都能体现一定的信息。 相对独立性相对独立性信息是物质的属性，但不是物质自身，信息具有信息是物质的属性，但不是物质自身，信息具有相对独立性。事物运动的状态和方式一旦体现出相对独立性。事物运动的状态和方式一旦体现出来，就可以脱离原来的事物而相对独立地栽负于来，就可以脱离原来的事物而相对独立地栽负于别的事物上，而被提取、变换、传递、存储、加别的事物上，而被提取、变换、传递、存储、加工或处理。因此，信息不等于它的源事物，也不工或处理。因此，信息不等于它的源事物，也不

13、等于它的载体。等于它的载体。 可度量性可度量性信息虽然很抽象，但它是可以度量的。信息的多少信息虽然很抽象，但它是可以度量的。信息的多少可从结构的、统计的和语义三个方面进行度量。结可从结构的、统计的和语义三个方面进行度量。结构理论是通过简单计算信息元的方法，或大量信息构理论是通过简单计算信息元的方法，或大量信息简易编码所提供的组合方法对信息进行测量。统计简易编码所提供的组合方法对信息进行测量。统计理论是利用熵的概念，作为统计发生概率的不确定理论是利用熵的概念，作为统计发生概率的不确定性度量，从而得到信息的信息量。性度量，从而得到信息的信息量。15 永恒性永恒性信息作为事物运动状态和存在状态的一般

14、描述，信息作为事物运动状态和存在状态的一般描述，与事物及它们的运动一样是永恒的。只要世界不与事物及它们的运动一样是永恒的。只要世界不停止运动、变化，信息就永远在产生、更新、演停止运动、变化，信息就永远在产生、更新、演变，是一种取之不尽、用之不竭的源泉，因此信变，是一种取之不尽、用之不竭的源泉，因此信息在时空上还具有无限性和可扩展性。息在时空上还具有无限性和可扩展性。 可存储、传可存储、传输与携带性输与携带性信息依附于信息载体而存在，而任何物质都可以信息依附于信息载体而存在，而任何物质都可以成为信息的载体。既然物质可以存储、传输和携成为信息的载体。既然物质可以存储、传输和携带，所以信息可通过信息

15、载体以多种形式存储、带，所以信息可通过信息载体以多种形式存储、传输和携带。传输和携带。 共享性共享性当信息持有者传递一条信息给另一个人的时候，他自当信息持有者传递一条信息给另一个人的时候，他自己所拥有的信息并不会丧失。正如每天报纸都会刊登己所拥有的信息并不会丧失。正如每天报纸都会刊登很多信息，每一个阅读的人都能接收到相同的信息，很多信息，每一个阅读的人都能接收到相同的信息，但不能因为读者收到信息后，报纸上的信息就会消失。但不能因为读者收到信息后，报纸上的信息就会消失。如果没有信息的共享性，我们就不可能学到老一辈人如果没有信息的共享性，我们就不可能学到老一辈人流传给我们的知识，没有信息的共享性就

16、没有人类社流传给我们的知识，没有信息的共享性就没有人类社会的发展和进步。会的发展和进步。16 时效性时效性整个世界是不断运动使之不断的变化，随之整个世界是不断运动使之不断的变化，随之而来的是不断产生新的信息。每一次变化带而来的是不断产生新的信息。每一次变化带来的状态具有一定的信息。对于同一事物，来的状态具有一定的信息。对于同一事物，后一个状态取代前一个状态，那就意味着新后一个状态取代前一个状态，那就意味着新的信息产生，而前一个信息消亡。因此，信的信息产生，而前一个信息消亡。因此，信息是有息是有“寿命寿命”的。的。不确定性。不确定性。信息是能使认识主 不确定性不确定性信息是能使认识主体对某一事物

17、的未知性或不确信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识，例如自己有某种形式的信定性减少的有用知识，例如自己有某种形式的信息要告诉对方，同时估计对方在关于这个信息的息要告诉对方，同时估计对方在关于这个信息的知识上存在着不确定性。另者如果估计对方已经知识上存在着不确定性。另者如果估计对方已经了解了所欲告之的消息，自然就没有必要通信了；了解了所欲告之的消息，自然就没有必要通信了；在后一种情况，如果自己没有疑问，当然就不必在后一种情况，如果自己没有疑问，当然就不必询问了。询问了。 这里所谓这里所谓“疑问疑问”、 “ “不知道不知道”，就是一种知识上的就是一种知识上的“不确定性不确定

18、性”，即对某个事情，即对某个事情的若干种可能结果，或对某个问题的若干可能答的若干种可能结果，或对某个问题的若干可能答案，不能做出明确的判断。案，不能做出明确的判断。171.2.11.2.1信息论研究的内容信息论研究的内容 信息论是在信息可以量度的基础上，研究有效信息论是在信息可以量度的基础上，研究有效地和可靠地传递信息的科学，它涉及信息量度、信地和可靠地传递信息的科学，它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。输的影响等方面的知识。 目前，对信息论研究的内容一般有以下目前，对信息论研究的内容一般有以下三种理解

19、：三种理解： 狭义信息论狭义信息论一般信息论一般信息论广义信息论广义信息论18 狭义信息论：狭义信息论：也称经典信息论也称经典信息论, ,它主要是以香浓的研究成它主要是以香浓的研究成果为主，在信息可以度量的基础上，研究果为主，在信息可以度量的基础上，研究信息的测度、信道容量及信源和信道编码信息的测度、信道容量及信源和信道编码理论等问题。这部分内容是信息论的基础理论等问题。这部分内容是信息论的基础理论，又称为香农基本理论。理论，又称为香农基本理论。 通过消息的传递，收信者知道了消息的具体内容，通过消息的传递，收信者知道了消息的具体内容，原先的原先的“不知不知”、“不确定不确定”和和“疑问疑问”消

20、除或部消除或部分消除了。因此，对收信者来说，消息的传递过程分消除了。因此，对收信者来说，消息的传递过程是一个从不知到知的过程，或是从知之甚少到知之是一个从不知到知的过程，或是从知之甚少到知之甚多的过程甚多的过程。经常出现的天气是经常出现的天气是“晴转多云晴转多云”、“晴晴”或或“多多云云”，其次是，其次是“多云转阴多云转阴”、“阴阴”、“阴有小雨阴有小雨”等，而等，而“小雪小雪”这种天气状态出现的概率是极小的，这种天气状态出现的概率是极小的，“大雪大雪”的可能性则更小。的可能性则更小。19以十月份北京地区天气为例，以十月份北京地区天气为例，当预报明天白天当预报明天白天“晴转多云晴转多云”或或“

21、晴晴”，我们并不，我们并不觉得稀奇，因为和我们猜测的是基本一致，所消除觉得稀奇，因为和我们猜测的是基本一致，所消除的不确定性要小，获得的信息量就不大。而出现的不确定性要小，获得的信息量就不大。而出现“小雪小雪”的概率很小，我们就要大吃一惊，感到气的概率很小，我们就要大吃一惊，感到气候反常，这时候获得更大的信息量。候反常，这时候获得更大的信息量。 由此可见，由此可见，“不确定性不确定性”与概率的大小存在与概率的大小存在着一定的联系，着一定的联系，“不确定性不确定性”应该是概率的某应该是概率的某一一 函数；那么，函数；那么，“不确定性不确定性”的消除量的消除量( (减减 少量少量) )，也就是狭义

22、信息量。，也就是狭义信息量。20一般信息论一般信息论：主要也是研究信息传输和处理问题，除香农主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论统计检测和估计、调制理论、信息处理理论以及保密理论等。以及保密理论等。 维纳研究的重点是在接收端。研究一个信号维纳研究的重点是在接收端。研究一个信号( (消消息息) )如果在传输过程中被某些因素（如噪声、非线性如果在传输过程中被某些因素（如噪声、非线性失真等）所干扰后，在接收端怎样把它恢复、再现，失真等）所干扰后，在接收端怎样把它恢复、再现，从干扰中

23、提取出来。从干扰中提取出来。 而香农研究的对象则是从信源到信宿之间的全过而香农研究的对象则是从信源到信宿之间的全过程，是收、发段联合最优化问题，其重点是放在编码。程，是收、发段联合最优化问题，其重点是放在编码。 只要在传输前后对消息进行适当的编码和只要在传输前后对消息进行适当的编码和译码，就能保证在干扰的存在下，最佳的传送译码，就能保证在干扰的存在下，最佳的传送和准确或近似的再现消息。和准确或近似的再现消息。21广义信息论广义信息论： 不仅包括上述两方面内容，而且包括所不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识有与信息有关的自然和社会领域，如模式识别、计算机翻译、

24、心理学、遗传学、神经生别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有理学、语言学、语义学甚至包括社会学中有关信息的问题关信息的问题 在本课程中，我们讨论的范围限于一般信息在本课程中，我们讨论的范围限于一般信息论之内。以香农提出信息理论为基础，从研究论之内。以香农提出信息理论为基础，从研究通信系统传输的实质出发，讨论信息的测度，通信系统传输的实质出发，讨论信息的测度，信道容量及信息传输的可靠性的知识信道容量及信息传输的可靠性的知识。1.2.2 通信系统模型 从上节关于信息概念及性质的讨论中，我们已从上节关于信息概念及性质的讨论中，我们已经看到：信息具有共享性，可传输

25、性，这就要通过经看到：信息具有共享性，可传输性，这就要通过系统将信息传输给接受者，各种系统如电报、电话系统将信息传输给接受者，各种系统如电报、电话、电视、广播、遥控、雷达和导航等，虽然它们的、电视、广播、遥控、雷达和导航等，虽然它们的形成和用途各不相同，但本质是相同的，都是信息形成和用途各不相同，但本质是相同的，都是信息的传输系统。为了便于研究信息传输和处理的共同的传输系统。为了便于研究信息传输和处理的共同规律，我们将各种通信系统中具有共同特性的部分规律，我们将各种通信系统中具有共同特性的部分抽取出来，概括成一个统一的理论模型，如抽取出来，概括成一个统一的理论模型，如下下图图所所示。通常称它为

26、通信系统模型。示。通常称它为通信系统模型。23 信源：信源：发送消息的源发送消息的源。 编码器：编码器：把消息变换成信号的方法，编码器输出把消息变换成信号的方法，编码器输出的是适合信道传输的信号，信号携带着的是适合信道传输的信号，信号携带着消息，它是消息的载荷者。消息，它是消息的载荷者。 信道：信道：传输信息的物理媒介。传输信息的物理媒介。 译码器译码器：把信道输出的编码信号（已叠加了干扰）把信道输出的编码信号（已叠加了干扰）进行反变换。要从受干扰的编码信号中进行反变换。要从受干扰的编码信号中最大限度的提取出有关信源输出的信息。最大限度的提取出有关信源输出的信息。 信宿：信宿：信息归宿之意，亦

27、即收信者或用户，是信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。信息传送的终点或目的地。通信系统模型主要分成下列五个部分。通信系统模型主要分成下列五个部分。2424 信源编码器的作用信源编码器的作用是把信源发出的消息变换成由二进制码元是把信源发出的消息变换成由二进制码元( (或多进制码元或多进制码元) )组成的代码组组成的代码组, ,这种代码组这种代码组就是基带信号；就是基带信号； 同时通过信源编码可以压缩信源的冗余度同时通过信源编码可以压缩信源的冗余度, ,以提高通信系统传输消息的效率。以提高通信系统传输消息的效率。 信道编码器的作用信道编码器的作用主要作用是提高信息传送的可靠性

28、。主要作用是提高信息传送的可靠性。2525 信源译码器的作用信源译码器的作用是把信道译码器输出的代码组变换成信宿是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源所需要的消息形式，它的作用相当于信源编码器的逆过程。编码器的逆过程。 信道译码器的作用信道译码器的作用具有检错或纠错的功能具有检错或纠错的功能, ,它能将落在其检错它能将落在其检错或纠错范围内的错传码元检出或纠正或纠错范围内的错传码元检出或纠正, ,以提以提高传输消息的可靠性。高传输消息的可靠性。 26 1.3 1.3 信息论的形成和发展信息论的形成和发展 当法拉第于当法拉第于1820-18301820-1830

29、年期间发现电磁感应的基本年期间发现电磁感应的基本规律后，不久莫尔斯就建立起电报系统（规律后，不久莫尔斯就建立起电报系统（1832-1832-18351835）。）。18761876年，贝尔又发明了电话系统。年，贝尔又发明了电话系统。18641864年麦克斯韦预言了电磁波的存在，年麦克斯韦预言了电磁波的存在，18881888年赫兹年赫兹用实验证明了这一预言。接着用实验证明了这一预言。接着18951895年英国的马可尼年英国的马可尼和俄国的波波夫就发明了无线电通信。和俄国的波波夫就发明了无线电通信。2020世纪初世纪初（19071907），根据电子运动规则，福雷斯特发明了能），根据电子运动规则，福

30、雷斯特发明了能把电磁波进行放大的电子管把电磁波进行放大的电子管。之后，很快出现了远距离无线电通信系统。之后，很快出现了远距离无线电通信系统。大功率超高频电子管发明以后，电视系统就大功率超高频电子管发明以后，电视系统就建立起来了（建立起来了（1925-19271925-1927）。）。27 接着，在接着，在2020世纪世纪3030年代末和年代末和4040年代初的第年代初的第二次世界大战初期，微波通信系统、微波雷达二次世界大战初期，微波通信系统、微波雷达系统等就迅速发展起来。系统等就迅速发展起来。5050年代后期发明了量年代后期发明了量子放大器。子放大器。6060年代初发明的激光技术，使人类年代初

31、发明的激光技术，使人类进入了光纤通信的时代。进入了光纤通信的时代。 随着工程技术的发展，有关理论问题的研究也随着工程技术的发展，有关理论问题的研究也逐渐深入。逐渐深入。个可能的消息。他提出“定义信息量18321832年莫尔斯电报系统中高效率编码方法对后来年莫尔斯电报系统中高效率编码方法对后来香农的编码理论是有启发的。香农的编码理论是有启发的。18851885年凯尔文曾经研究过一条电缆的极限穿信率年凯尔文曾经研究过一条电缆的极限穿信率问题。问题。28 1922 1922年卡逊对调幅信号的频谱结构进行了研究，年卡逊对调幅信号的频谱结构进行了研究，并明确了边带的概念。并明确了边带的概念。 1924

32、1924年奈奎斯特和屈夫缪勒分别独立地指出，如年奈奎斯特和屈夫缪勒分别独立地指出，如果以一个确定的速度来传输电报信号，就需要一定的果以一个确定的速度来传输电报信号，就需要一定的带宽。证明了信号传输速率与信道带宽成正比。带宽。证明了信号传输速率与信道带宽成正比。1928年哈特莱发展了奈奎斯特的工作，并提出把消息考虑为代码或单语的序列。在s个代码中选N个码即构成 1928 1928年哈特莱发展了奈奎斯特的工作，并提出把年哈特莱发展了奈奎斯特的工作，并提出把消息考虑为代码或单语的序列消息考虑为代码或单语的序列。 1936 1936年阿姆斯特朗提出增加信号带宽可以使抑制噪年阿姆斯特朗提出增加信号带宽可

33、以使抑制噪声干扰的能力增强，并给出了调制指数大的调频方式声干扰的能力增强，并给出了调制指数大的调频方式，使调频实用化，出现了调频通信装置。，使调频实用化，出现了调频通信装置。 1939 1939年达德利发明了声码器。当时他提年达德利发明了声码器。当时他提出的概念是通信所需要的带宽至少应与所出的概念是通信所需要的带宽至少应与所传送的消息的带宽相同。传送的消息的带宽相同。292020世纪世纪4040年代初期，由于军事上的需要，维纳在年代初期，由于军事上的需要，维纳在研究防空火炮的控制问题时，提出了研究防空火炮的控制问题时，提出了“平稳时间平稳时间序列的外推，内插与平滑及其工程应用序列的外推，内插与

34、平滑及其工程应用”的论文。的论文。他把随机过程和数理统计的观点引入通信和控制他把随机过程和数理统计的观点引入通信和控制系统中来，揭示了信息传输和处理过程的统计本系统中来，揭示了信息传输和处理过程的统计本质。质。19381938年年6 6月和月和1010月香农在贝尔实验室出版的著名月香农在贝尔实验室出版的著名的贝尔系统技术杂志上发表了两篇有关的贝尔系统技术杂志上发表了两篇有关“通通信的数学理论信的数学理论”的文章。在这两篇文章中，他用的文章。在这两篇文章中，他用概率测度和数理统计的方法系统的讨论了通信的概率测度和数理统计的方法系统的讨论了通信的基本问题，首先严格定义了信息的度量基本问题，首先严格

35、定义了信息的度量熵的熵的概念概念。3019521952年费诺给出并证明了费诺不等式，并年费诺给出并证明了费诺不等式，并给出了关于香农信道编码你定理的证明。给出了关于香农信道编码你定理的证明。19571957年沃尔维夫兹采用了类似典型序列方年沃尔维夫兹采用了类似典型序列方法证明了信道编码强逆定理法证明了信道编码强逆定理。19611961年费诺又描述了分组码中码率、码长年费诺又描述了分组码中码率、码长和错误概率的关系，并提供了香农信道编和错误概率的关系，并提供了香农信道编码定理的充要性证明。码定理的充要性证明。19651965年格拉格尔发展了费诺的证明结论并提供年格拉格尔发展了费诺的证明结论并提供

36、了一种简明的证明方法。而科弗尔于了一种简明的证明方法。而科弗尔于19751975年采年采用典型序列方法来证明。用典型序列方法来证明。1972年阿莫托和布莱哈特分别发展了信道容量的迭代算法。1972年阿莫托和布莱哈特分别发展了信道容量的迭代算法。311972年阿莫托和布莱哈特分别发展了信道容量的迭代算法。1972年阿莫托和布莱哈特分别发展了信道容量的迭代算法。 1972 1972年阿莫托和布莱哈特分别发展了信道年阿莫托和布莱哈特分别发展了信道容量的迭代算法。容量的迭代算法。 关于高斯信道是香农在关于高斯信道是香农在19481948年原论文中首先年原论文中首先分析和研究的分析和研究的。 1964

37、1964年霍尔辛格发展了有色高斯噪声信道容年霍尔辛格发展了有色高斯噪声信道容量的研究。量的研究。19691969年平斯克尔提出了具有反馈的非白噪声高年平斯克尔提出了具有反馈的非白噪声高斯信道容量问题。科弗尔于斯信道容量问题。科弗尔于19891989年对平斯克尔的年对平斯克尔的结论给出了简洁的证明。结论给出了简洁的证明。香农在香农在19481948年论文提出了无失真信源编年论文提出了无失真信源编码定理，也给出了简单的编码方法（香码定理，也给出了简单的编码方法（香农编码）。农编码）。32麦克米伦于麦克米伦于19561956年首先证明了惟一可译变长年首先证明了惟一可译变长码的克拉夫特不等式。关于无失

38、真信源的编码的克拉夫特不等式。关于无失真信源的编码方法码方法19521952年费诺提出了一种费诺码年费诺提出了一种费诺码同年，霍夫曼首先构造了一种霍夫曼编码方法，同年，霍夫曼首先构造了一种霍夫曼编码方法，并证明了它是最佳码。并证明了它是最佳码。2020世纪世纪7070年代后期开始，人们把兴趣放在与实际年代后期开始，人们把兴趣放在与实际应用有关的信源编码问题上。应用有关的信源编码问题上。19681968年前后，埃利斯发展了香农年前后，埃利斯发展了香农- -费诺费诺码，提出了算术编码的初步思路。而里码，提出了算术编码的初步思路。而里斯桑内在斯桑内在19761976年给出和发展了算术编码。年给出和发

39、展了算术编码。3319821982年他和兰登一起将算术编码系统化，并年他和兰登一起将算术编码系统化，并省去了乘法运算，更为简化、易于实现省去了乘法运算，更为简化、易于实现关于通用信源编码算法关于通用信源编码算法LZLZ码是于码是于19771977年年由齐弗和兰佩尔提出的。由齐弗和兰佩尔提出的。19781978年他俩又提出了改进算法，而且齐弗也年他俩又提出了改进算法，而且齐弗也证明此方法可达到信源的熵值。证明此方法可达到信源的熵值。19901990年贝尔等在年贝尔等在LZLZ算法基础上又作了一系列变化算法基础上又作了一系列变化和改进。和改进。LZLZ码已广泛应用于文本的数据压缩中。码已广泛应用于

40、文本的数据压缩中。34 语音信号压缩语音信号压缩 长途电话网标准长途电话网标准 19721972年年CCITT G.711CCITT G.711标准中的标准中的 64kbit/s64kbit/s，19951995年年 CCITT G. 723.1CCITT G. 723.1标准中的标准中的 6.3 kbit/s6.3 kbit/s。 移动通信中移动通信中 19891989年年GSMGSM标准中语音编码速率为标准中语音编码速率为13.2 kbit/s13.2 kbit/s19941994年在为半码速年在为半码速GSMGSM研究的研究的VSELPVSELP编码算法中，码编码算法中，码速率为速率为5

41、.6 kbit/s 5.6 kbit/s 军用通信军用通信 美国美国NSANSA标准的速率在标准的速率在19751975年已达年已达2.4 kbit/s 2.4 kbit/s 目前在实验室中已实现目前在实验室中已实现600bit/s600bit/s的低速率语音编码的低速率语音编码, ,特特别是按音素识别与合成原理构造的声码器其速率可低别是按音素识别与合成原理构造的声码器其速率可低于于100bit/s,100bit/s,已接近信息论指出的极限。已接近信息论指出的极限。1.4 1.4 信息论的主要研究成果信息论的主要研究成果 35 图像信号压缩图像信号压缩 图像信号的信息量特别巨大，这对图像信号的

42、传图像信号的信息量特别巨大，这对图像信号的传输及存储都带来极大的不便输及存储都带来极大的不便 。19891989年年 CCITTCCITT提出电视电话提出电视电话/ /会议电视的压缩会议电视的压缩标准标准H.261,H.261,其压缩比达到其压缩比达到25:125:1到到48:148:1左右左右19911991年年CCITTCCITT与与ISOISO联合提出的联合提出的“多灰度静止多灰度静止图像压缩编码图像压缩编码”标准标准JPEG,JPEG,其压缩比为其压缩比为24:124:1在运动图像方面在运动图像方面, ,运动图像专家组继成功定义运动图像专家组继成功定义了了MPEG-1MPEG-1和和M

43、PEG-2MPEG-2之后之后, ,于于19931993年年7 7月开始制月开始制订全新的订全新的MPEG-4MPEG-4标准。随着标准。随着MPEG-4MPEG-4标准的不标准的不断扩展断扩展, ,它不但能支持码率低于它不但能支持码率低于64kbit/s64kbit/s的多的多媒体通信媒体通信, ,也能支持广播级的视频。也能支持广播级的视频。36 降低信息传输所需的功率降低信息传输所需的功率 在远距离无线通信在远距离无线通信, ,特别是深空通信中如何降特别是深空通信中如何降低信息传输所需的功率至关重要。因为在这种低信息传输所需的功率至关重要。因为在这种情况下发送设备的功率和天线的尺寸都已成为

44、情况下发送设备的功率和天线的尺寸都已成为设备生产和使用中的一个困难问题。设备生产和使用中的一个困难问题。 正是在这个领域信息论获得了它第一批令人信正是在这个领域信息论获得了它第一批令人信服的成果。服的成果。6060年代后期起，年代后期起，NASANASA发射的所有深发射的所有深空探测器无一例外地在其通信设备中采取了信空探测器无一例外地在其通信设备中采取了信道编码措施。道编码措施。37 计算机网中数据传输可靠性的保证计算机网中数据传输可靠性的保证 在用各种电缆连接而成的计算机网中电噪声和在用各种电缆连接而成的计算机网中电噪声和各种外界的电磁干扰是必须考虑的，因为它使各种外界的电磁干扰是必须考虑的

45、，因为它使传输的信息发生差错。传输的信息发生差错。 一般情况下，局域网中的差错率在一般情况下，局域网中的差错率在1010-8-8左右左右, ,广域网中的差错率在广域网中的差错率在1010-3-31010-5-5。这样高的差。这样高的差错率在实际应用中是无法接受的，目前普遍采错率在实际应用中是无法接受的，目前普遍采用的解决办法是带用的解决办法是带自动重发请求的差错检测码自动重发请求的差错检测码。 差错检测的方法从最简单的奇偶检验到比较复差错检测的方法从最简单的奇偶检验到比较复杂的循环冗余检验都被采用，但规模较大的网杂的循环冗余检验都被采用，但规模较大的网一般都用循环冗余检验。一般都用循环冗余检验。