《信息论绪论》PPT课件.ppt

《《信息论绪论》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《信息论绪论》PPT课件.ppt（19页珍藏版）》请在装配图网上搜索。

1、第1章 绪论 第1章 绪论1.1 信息定义、特征与性质1.2 信息的分类1.3 信息论的形成和发展1.4 信息论研究对象及内容1.5 本书的主要内容 1.1 信息定义、特征与性质1.1.1 信息定义1.1.2 信息的特征1.1.3 信息的性质 1.1.1 信息定义信息一词来源于人们的通信实践活动，在日常生活中，信息是指“消息”、“情况”、“知识”、“情报”等等。 信息是一个十分抽象而又复杂的概念，是人们对客观事物感触到的新知识；消息是信息的载荷者，是描述信息的一种表现形式；同一种信息可以用不同的消息来载荷，即对某个事物的描述和反映，是表示事物内涵的一种形式。 1.1.2 信息的特征信息来源于物

2、质，但又不是物质本身，它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在。信息来源于精神世界，但又不限于精神领域。信息与能量息息相关，但又与能量有本质的区别。信息具有知识的本质，但比知识的内涵更广泛。信息是具体的，并且可以被信息主体所感知、提取、识别，可以被传递、存储、变换、处理、显示、检索和利用。信息可以被众多主体所共享。信息可以产生，也可以消失。信息是可以度量的，信息量有多少的差别。 1.1.3 信息的性质普遍性。无限性。相对性。变换性。转换性。有序性。动态性。共享性。可度量性。 1.2 信息的分类 信息按照性质划分，可以分为：语法信息、语义信息、语用信息三类。按观察的过程分类，可

3、以有：实在信息、先验信息、实得信息。按信息的地位分类，可以有：客观信息(包括观察对象的初始信息，经过观察者干预之后的效果信息、环境信息等)、主观信息(包括决策信息、指令信息、控制信息、目标信息等)。 按信息的作用分类，可以有：有用信息、无用信息、干扰信息。按信息的逻辑意义分类，可以有：真实信息、虚假信息、不定信息。 按信息的传递方向分类，可以有：前馈信息、反馈信息。 1.2 信息的分类 按信息的生成领域分类，可以有：宇宙信息、自然信息、社会信息、思维信息等。按信息的应用部门分类，可以有：工业信息、农业信息、军事信息、政治信息、科技信息、文化信息、经济信息、市场信息、管理信息等。按信息源的性质分

4、类，可以有：语声信息、图像信息、文字信息、数据信息、计算信息等。 按信息的载体性质分类，可以有：电子信息、光学信息、生物信息等。按携带信息的信号的形式分类，还可以有：连续信息、离散信息、半连续信息(混合信息)等。 1.3 信息论的形成和发展 信息论理论基础的建立，一般来说开始于香农(C.E Shannon)研究通信系统时所发表的论文。随着研究的深入与发展，信息论具有了较为宽广的内容。信息在早些时期的定义是由奈奎斯特(Nyquist，H.)和哈特莱(Hartley，L.V.R.)在20世纪20年代提出来的。1924年奈奎斯特解释了信号带宽和信息速率之间的关系；1928年哈特莱最早研究了通信系统传

5、输信息的能力，给出了信息度量方法；1936年阿姆斯特朗 (Armstrong)提出了增大带宽可以使抗干扰能力加强。这些工作都给香农很大的影响，他在1941至1944年对通信和密码进行深入研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念，指出通信系统的中心问题是在噪声下如 何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。 1.3 信息论的形成和发展 50年代信息论在学术界引起了巨大的反响。1951年美国IRE成立了信息论组，并于 1955年正式出版了信息论汇刊。60年代信道编码技术有较大进展，使它成为信息论的又一重要分支

6、。它把代数方法引入到纠错码的研究，使分组码技术发展到了高峰，找到了大量可纠正多个错误的码，而且提出了可实现的译码方法。其次是卷积码和概率译码有了重大突破；提出了序列译码和Viterbi译码方法。 信源编码的研究落后于信道编码。香农1959年的文章(Coding theorems for a discrete source with a fidelity criterion)系统地提出了信息率失真理论，它是数据压缩的数学基础，为各种信源编码的研究奠定了基础。 1.3 信息论的形成和发展 到70年代，有关信息论的研究，从点与点间的单用户通信推广到多用户系统的研究。1972年盖弗(Cover)发表了

7、有关广播信道的研究，以后陆续有关于多接入信道和广播信道模型的研究，但由于这些问题比较难，到目前为止，多用户信息论研究得不多，还有许多尚待解决的课题。 由于信息理论的创建与发展是以通信实践与理论为基础的。香农将各种通信系统概括成如图1.1所示的框图，并且针对人类通信活动的特点，香农精辟地提出了“形式化假说”、“非决定论”、“不确定性”等三个论点，以新颖的思想和方法，打破了这个僵局，跨出了用数学方法定量描述信息的关键一步，开创了通信领域信息理论新局面。 1.3 信息论的形成和发展图1.1 通信系统框图 1.3 信息论的形成和发展 1. 形式化假说： Shannon认为，通信的任务只是在接收端把发送

8、端发出的消息从形式上复制出来，通信工程并不须要对复制出来的消息的语义作任何处理和判断。对消息的语义内容的处理和判断，是接收者自己的事，不是通信工程师本身的任务，与通信工程师无关。至于消息的效用问题，更应该是接收者自己的感受问题，与传送消息的通信系统无关。例如网上出现一则消息，有的人看了兴高采烈；有的则灰心丧气；有的人看了漠不关心，毫无反应。不论不同的人有什么不同的效用反应，对电视通信工程来说，已经完成了它本身的任务。这就是香农对通信活动的“形式化”假说。这种通信工程的“形式化”假说，大胆地去掉了消息的语义、语用因素，巧妙地保留了能用数学描述的形式因素，使用数学工具 定量度量信息成为可能，打开了

9、信息理论进入科学殿堂的大门。 1.3 信息论的形成和发展 2. 非决定论： Shannon指出一切有通信意义的消息的发生都是随机的，是事先无法预料的。消息传递过程中遇到的噪声干扰也是随机的，通信系统的工程设计者也是无法事先预料的。面对公众的通信系统，不是针对某一特定的通信对象设计的，什么样的用户，什么时候使用，传递什么样的消息都是无法预料的。显然，根据通信工程系统的这些特点，必须应用概率论、随机过程、数理统计等数学工具，从大量不可预料的随机消息(包括噪声)中，寻求其统计规律，作为通信工程师设计通信系统的依据，用非决定论观点揭示信息的本质。这就是香农看待通信活动的“非决定论”观点。这种“非决定论

10、”观点是对通信活动的总的认识观，它从原则上 解决了用什么样的数学工具解决信息的度量问题。 1.3 信息论的形成和发展 3. 不确定性： 由于通信后，消除了或部分消除了通信前存在的“不确定性”。所以，通信的作用就是通过消息的传递，使接收者从收到的消息中获取一定的“信息”，消除原先存在的某些“不确定性”。这样，我们就有理由明确地说，“信息就是用来消除不确定性的东西”，通信后接收者获取的“信息”，在数量上等于通信前后“不确定性”的消除量。这就是香农从“不确定性”观点出发，给“信息”下的明确的定义。它告诉我们，“信息”与“消息”两者之间既有联系，又有区别，两者不应混为一谈。“消息”是表达“信息”的形式

11、，是载荷“信息”的客体；“信息”是“消息”统计特性的函数，是“消息”的抽象本质。不同形式的“消息”，可能有相同数量的“信息”，相同形式的“消息”，可能有不同数量的“信息”。信息论的研究对象不是具体 的消息，而是抽象于各种不同形式的“消息”的“信息”。信息论是一门高度抽象和概括的学科。 1.4 信息论研究对象及内容信息论的研究对象是消息传输系统。由于消息中包含着信息，所以消息传输系统也是信息传输系统，简称通信系统。人们通过消息的传输和处理过程来研究信息传输和处理过程中的共同规律。 研究一个概括性很强的通信系统，其目的就是要找到信息传输过程的共同规律。一旦总结出这种共同规律，就可以用来指导具体通信

12、系统的设计，使设计出来的各种通信系统具有更高的可靠性和有效性。所谓可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现于接收端。而所谓有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。两者的结合就能使系统达到最优化。 1.4 信息论研究对象及内容 归纳起来，信息论研究的内容大致包括以下几个方面。 1. 通信的统计理论的研究 主要研究利用统计数学工具分析信息和信息传输的统计规律，其具体内容有：(1）信息的度量；(2）信息速率与熵；(3）信道传输能力信道容量。 2. 信源的统计特性 主要包括：(1）文字(如汉字)、字母(如英文)统计特性；(2

13、）语音的参数分析和统计特性；(3）图片及活动图像(如电视)的统计特性；(4）其他信源的统计特性。 3. 收信者接收器官的研究 主要包括：(1）人的听觉和视觉器官的特性；(2）人的大脑感受和记忆能力的模拟。这些问题的研究与生物学、生理学、心理学的研究密切相关。 1.4 信息论研究对象及内容 4. 编码理论与技术的研究 主要包括：(1）有效性编码：用来提高信息传输效率，主要是针对信源的统计特性进行编码，所以有时也称为信源编码；(2）抗干扰编码：用来提高信息传输的可靠性，主要是针对信道统计特性进行编码，所以有时也称为信道编码。 5. 提高信息传输效率的研究 主要包括：(1）功率的节约；(2）频带的压

14、缩；(3）传输时间的缩短，即快速传输问题。 6. 抗干扰理论与技术的研究 主要包括：(1）各种调制制度的抗干扰性；(2）理想接收机的实践。 7. 噪声中信号检测理论与技术的研究 主要包括：(1）信号检测的最佳准则；(2）信号最佳检测的实践。 1.5 本书的主要内容 本书将以香农信息论为基本内容，分五章进行论述。第2章信息的度量，主要内容是不同类型信息的定义，度量。第3章信道及信道容量，主要论述了不同类型信道的描述方法及其信道容量。第4章信源编码，对信源编码及其相关理论进行了论述，并介绍了目前广泛使用的语音、图像和视频压缩编码。第5章信道编码，介绍了信道编码的基本概念、基本数学知识并对线形分组码等主要的信道编码方式作了论述。第6章数据保密，讲解了保密通信系统模型、传统密码体制、分组(块)密码以及公开密钥密码体制。