香农的生平简介

《香农的生平简介》由会员分享，可在线阅读，更多相关《香农的生平简介（36页珍藏版）》请在装配图网上搜索。

1、sogsblog图灵的生平简介-I回首页| 2005年索引| -西蒙的生平简介香农的生平简介香农是现代信息论的著名创始人。现代信息论的出现，对现代通信技术和电子计算机的 设计，产生了巨大的影响。如果没有信息论，现代的电子计算机是无法研制成功的。香农在美国密执安大学和麻省理工学院学习时，修过布尔代数课，并在布尔的指导 下使用微分分析仪，这使他对继电器电路的分析产生兴趣。他认为这些电路的设计可用 符号逻辑来实现，并意识到分析继电器的有效数学工具正是布尔代数。1938年，香农发表了著名的论文继电器和开关电路的符号分析，首次用布尔 代数进行开关电路分析，并证明布尔代数的逻辑运算，可以通过继电器电路来实

2、现，明 确地给出了实现加，减，乘，除等运算的电子电路的设计方法。这篇论文成为开关电路 理论的开端。香农在贝尔实验室工作中进一步证明，可以采用能实现布尔代数运算的继电器或电 子元件来制造计算机，香农的理论还为计算机具有逻辑功能奠定了基础，从而使电子计 算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领 域中都得到了广泛的应用。信息论的创始人香农对现代电子计算机的产生和发展有重要影响，是电子计算机理 论的重要奠基人之一。克劳德艾尔伍德香农（Claude Elwood Shannon，1916 年 4 月 30 日 2001 年 2 月26日）美国数学家、信息论的创始人。香

3、农于1916年4月30日出生于美国密歇根州的Petoskey, 1936年毕业于密歇根大学 并获得数学和电子工程学士学位，1940年获得麻省理工学院（MIT）数学博士学位和电 子工程硕士学位。1941年他加入贝尔实验室数学部，工作到1972年。1956年他成为 麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授。 香农博士于2001年2月26日去世，享年84岁。香农于1940年在普林斯顿高级研究所（The Institute for Advanced Study at Prince ton）期间开始思考信息论与有效通信系统的问题。经过8年的努力，香农在1948年

4、6 月和10月在贝尔系统技术杂志（Bell System Technical Journal）上连载发表了 他影像深远的论文通讯的数学原理。1949年，香农又在该杂志上发表了另一著名论文噪声下的通信。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系 统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、 信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息。这是数学家香农(Claude E.Shanon)在他的惊世之著通信的数学理论中的一 句铭言。正是沿着这一思路他应用数理统计的方法来研究通

5、信系统，从而创立了影响深 远的信息论。香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的 高度敏感。他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。后来，他就职于 贝尔电话研究所。在这个世界上最大的通信公司(美国电话电报公司)的研究基地里， 他受着前辈的工作的启示，其中最具代表性的是贝尔系统技术杂志上所披露的奈奎 斯特的影响电报速率的一些因素和哈特莱的信息的传输。正是他们最早研究了 通信系统的信息传输能力，第一次提出了信息量的概念，并试图用教学公式予以描述。 而香衣则创造性地继承了他们的事业，在信息论的领域中钻研了8年之久，终于在194 8年也在贝尔系统技术杂志上发

6、表了 244页的长篇论著，这就是上面提到的那篇通 信的数学理论。次年，他又在同一杂志上发表了另一篇名著噪声下的通信。在这 两篇文章中，他解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出 了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信 源编码、信道编码等有关精确地传送通信符号的基本技术问题。两篇文章成了现在信息 论的寞基著作。而香农，也一鸣惊人，成了这门新兴学科的寞基人。那时，他才不过刚 刚三十出头。 他的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研 究规模象浪雪球一样越来越大。不仅在电子学的其他领域，如计算机、自动控制等方面 大

7、显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、 统计学、管理学等学科。它已远远地突破了香衣本人所研究和意料的范畴，即从香 农的所谓狭义盾息论发展到了广义信息论。一进入80年代以来，当人们在议论 未来的时候，人们的注意力又异口同声的集中到信息领域。按照国际一种流行的说法， 未来将是一个高度信息化的社会。信息工业将发展成头号工业，社会上大多数的人将是 在从事后息的生产、加工和流通。这时，人们才能更正确地估价香农工作的全部含义。 信息论这个曾经只在专家们中间流传的学说，将来到更广大的人群之中。香农这个名字 也飞出了专家的书斋和实验室，为更多的人所熟悉和了解。香农，181

8、6年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度 敏感。他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。后来，他就职于贝尔 电话研究所。在这个世界上最大的通信公司（美国电话电报公司）的研究基地里，他受 着前辈的工作的启示，其中最具代表性的是贝尔系统技术杂志上所披露的奈奎斯特 的影响电报速率的一些因素和哈特莱的信息的传输。正是他们最早研究了通信 系统的信息传输能力，第一次提出了信息量的概念，并试图用教学公式予以描述。而香 衣则创造性地继承了他们的事业，在信息论的领域中钻研了 8年之久，终于在1948年 也在贝尔系统技术杂志上发表了244页的长篇论著，这就是上面提到的那篇通信

9、 的数学理论。次年，他又在同一杂志上发表了另一篇名著噪声下的通信。在这两 篇文章中，他解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了 通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源 编码、信道编码等有关精确地传送通信符号的基本技术问题。两篇文章成了现在信息论 的寞基著作。而香农，也一鸣惊人，成了这门新兴学科的寞基人。那时，他才不过刚刚 三十出头。 他的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研 究规模象浪雪球一样越来越大。不仅在电子学的其他领域，如计算机、自动控制等方面 大显身手，而且遍及物理学、化学、生物学、心理学、医学

10、、经济学、人类学、语音学、 统计学、管理学等学科。它已远远地突破了香衣本人所研究和意料的范畴，即从香 农的所谓狭义盾息论发展到了广义信息论。一进入80年代以来，当人们在议论 未来的时候，人们的注意力又异口同声的集中到信息领域。按照国际一种流行的说法， 未来将是一个高度信息化的社会。信息工业将发展成头号工业，社会上大多数的人将是 在从事后息的生产、加工和流通。这时，人们才能更正确地估价香农工作的全部含义。 信息论这个曾经只在专家们中间流传的学说，将来到更广大的人群之中。香农这个名字 也飞出了专家的书斋和实验室，为更多的人所熟悉和了解。&160;克劳德艾尔伍德香农（Claude Elwood Sh

11、annon，1916 年 4 月 30 日一2001年2月26日）美国数学家、信息论的创始人。香农于1916年4月30日出生于美国密歇根州的Petoskey，1936年毕业于密歇根 大学并获得数学和电子工程学士学位，1940年获得麻省理工学院（MIT）数学博士学位 和电子工程硕士学位。1941年他加入贝尔实验室数学部，工作到1972年。1956年他 成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教 授。香农博士于2001年2月26日去世，享年84岁。香农于1940年在普林斯顿高级研究所（The Institute for Advanced Study at

12、Prin ceton）期间开始思考信息论与有效通信系统的问题。经过8年的努力，香农在1948 年6月和10月在贝尔系统技术杂志（Bell System Technical Journal）上连载发 表了他影像深远的论文通讯的数学原理。1949年，香农又在该杂志上发表了另一 著名论文噪声下的通信。在这两篇论文中，香农阐明了通信的基本问题，给出了通 信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源 编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。香农是现代信息论的著名创始人。现代信息论的出现，对现代通信技术和电子计算机 的设计，产生了巨大的影响。如

13、果没有信息论，现代的电子计算机是无法研制成功的。香农在美国密执安大学和麻省理工学院学习时，修过布尔代数课，并在布什的指导 下使用微分分析仪，这使他对继电器电路的分析产生兴趣。他认为这些电路的设计可用 符号逻辑来实现，并意识到分析继电器的有效数学工具正是布尔代数。1938年，香农发表了著名的论文继电器和开关电路的符号分析，首次用布尔 代数进行开关电路分析，并证明布尔代数的逻辑运算，可以通过继电器电路来实现，明 确地给出了实现加，减，乘，除等运算的电子电路的设计方法。这篇论文成为开关电路 理论的开端。香农在贝尔实验室工作中进一步证明，可以采用能实现布尔代数运算的继电器或电 子元件来制造计算机，香农

14、的理论还为计算机具有逻辑功能奠定了基础，从而使电子计 算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领 域中都得到了广泛的应用。（图）信息论的创始人香农对现代电子计算机的产生和发展有重要影响，是电子计算 机理论的重要奠基人之一-通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息。这是数学家香农（Claude E.Shanon）在他的惊世之著通信的数学理论中的一 句铭言。正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深 远的信息论。香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的 高度敏感。他的硕士论文就是关

15、于布尔代数在逻辑开关理论中的应用。后来，他就职于 贝尔电话研究所。在这个世界上最大的通信公司（美国电话电报公司）的研究基地里， 他受着前辈的工作的启示，其中最具代表性的是贝尔系统技术杂志上所披露的奈奎 斯特的影响电报速率的一些因素和哈特莱的信息的传输。正是他们最早研究了 通信系统的信息传输能力，第一次提出了信息量的概念，并试图用教学公式予以描述。 而香衣则创造性地继承了他们的事业，在信息论的领域中钻研了8年之久，终于在194 8年也在贝尔系统技术杂志上发表了 244页的长篇论著，这就是上面提到的那篇通 信的数学理论。次年，他又在同一杂志上发表了另一篇名著噪声下的通信。在这 两篇文章中，他解决了

16、过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出 了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信 源编码、信道编码等有关精确地传送通信符号的基本技术问题。两篇文章成了现在信息 论的寞基著作。而香农，也一鸣惊人，成了这门新兴学科的寞基人。那时，他才不过刚 刚三十出头。信息论的奠基人一香农通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息。这是数学家香农(Claude E.Shanon)在他的惊世之著通信的数学理论中的一 句铭言。正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深 远的信息论。香农，1816年生于美国密执安州的加

17、洛德。在大学中他就表现出了对数理问题的 高度敏感。他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。后来，他就职于 贝尔电话研究所。在这个世界上最大的通信公司(美国电话电报公司)的研究基地里， 他受着前辈的工作的启示，其中最具代表性的是贝尔系统技术杂志上所披露的奈奎 斯特的影响电报速率的一些因素和哈特莱的信息的传输。正是他们最早研究了 通信系统的信息传输能力，第一次提出了信息量的概念，并试图用教学公式予以描述。 而香衣则创造性地继承了他们的事业，在信息论的领域中钻研了8年之久，终于在194 8年也在贝尔系统技术杂志上发表了 244页的长篇论著，这就是上面提到的那篇通 信的数学理论。次年，他又

18、在同一杂志上发表了另一篇名著噪声下的通信。在这 两篇文章中，他解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出 了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信 源编码、信道编码等有关精确地传送通信符号的基本技术问题。两篇文章成了现在信息 论的寞基著作。而香农，也一鸣惊人，成了这门新兴学科的寞基人。那时，他才不过刚 刚三十出头。 他的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研 究规模象浪雪球一样越来越大。不仅在电子学的其他领域，如计算机、自动控制等方面 大显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学

19、、 统计学、管理学等学科。它已远远地突破了香衣本人所研究和意料的范畴，即从香 农的所谓狭义盾息论发展到了广义信息论。一进入80年代以来，当人们在议论 未来的时候，人们的注意力又异口同声的集中到信息领域。按照国际一种流行的说法， 未来将是一个高度信息化的社会。信息工业将发展成头号工业，社会上大多数的人将是 在从事后息的生产、加工和流通。这时，人们才能更正确地估价香农工作的全部含义。 信息论这个曾经只在专家们中间流传的学说，将来到更广大的人群之中。香农这个名字 也飞出了专家的书斋和实验室，为更多的人所熟悉和了解。-香农香农是现代信息论的著名创始人。现代信息论的出现，对现代通信技术和电子计算 机的设

20、计，产生了巨大的影响。如果没有信息论，现代的电子计算机是无法研制成功的。香农在美国密执安大学和麻省理工学院学习时，修过布尔代数课，并在布尔的指导 下使用微分分析仪，这使他对继电器电路的分析产生兴趣。他认为这些电路的设计可用 符号逻辑来实现，并意识到分析继电器的有效数学工具正是布尔代数。1938年，香农发表了著名的论文继电器和开关电路的符号分析，首次用布尔 代数进行开关电路分析，并证明布尔代数的逻辑运算，可以通过继电器电路来实现，明 确地给出了实现加，减，乘，除等运算的电子电路的设计方法。这篇论文成为开关电路 理论的开端。香农在贝尔实验室工作中进一步证明，可以采用能实现布尔代数运算的继电器或电

21、子元件来制造计算机，香农的理论还为计算机具有逻辑功能奠定了基础，从而使电子计 算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领 域中都得到了广泛的应用。信息论的创始人香农对现代电子计算机的产生和发展有重要影响，是电子计算机理 论的重要奠基人之一。克劳德艾尔伍德香农（Claude Elwood Shannon，1916 年 4 月 30 日 2001 年 2 月26日）美国数学家、信息论的创始人。香农于1916年4月30日出生于美国密歇根州的Petoskey, 1936年毕业于密歇根大学 并获得数学和电子工程学士学位，1940年获得麻省理工学院（MIT）数学博士学位和

22、电 子工程硕士学位。1941年他加入贝尔实验室数学部，工作到1972年。1956年他成为 麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授。 香农博士于2001年2月26日去世，享年84岁。香农于1940年在普林斯顿高级研究所（The Institute for Advanced Study at Prince ton）期间开始思考信息论与有效通信系统的问题。经过8年的努力，香农在1948年6 月和10月在贝尔系统技术杂志（Bell System Technical Journal）上连载发表了 他影像深远的论文通讯的数学原理。1949年，香农又在该杂志上发表

23、了另一著名 论文噪声下的通信。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系 统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、 信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息。这是数学家香农（Claude E.Shanon）在他的惊世之著通信的数学理论中的一 句铭言。正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深 远的信息论。香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的 高度敏感。他的硕士论文就是关于布尔代数在逻辑开关理论中的

24、应用。后来，他就职于 贝尔电话研究所。在这个世界上最大的通信公司（美国电话电报公司）的研究基地里， 他受着前辈的工作的启示，其中最具代表性的是贝尔系统技术杂志上所披露的奈奎 斯特的影响电报速率的一些因素和哈特莱的信息的传输。正是他们最早研究了 通信系统的信息传输能力，第一次提出了信息量的概念，并试图用教学公式予以描述。 而香衣则创造性地继承了他们的事业，在信息论的领域中研了 8年之久，终于在1948 年也在贝尔系统技术杂志上发表了244页的长篇论著，这就是上面提到的那篇通 信的数学理论。次年，他又在同一杂志上发表了另一篇名著噪声下的通信。在这 两篇文章中，他解决了过去许多悬而未决的问题：经典地

25、阐明了通信的基本问题，提出 了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信 源编码、信道编码等有关精确地传送通信符号的基本技术问题。两篇文章成了现在信息 论的寞基著作。而香农，也一鸣惊人，成了这门新兴学科的寞基人。那时，他才不过刚 刚三十出头。 他的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研 究规模象浪雪球一样越来越大。不仅在电子学的其他领域，如计算机、自动控制等方面 大显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、 统计学、管理学等学科。它已远远地突破了香衣本人所研究和意料的范畴，即从香 农的所谓狭义盾息论发

26、展到了广义信息论。一进入80年代以来，当人们在议论 未来的时候，人们的注意力又异口同声的集中到信息领域。按照国际一种流行的说法， 未来将是一个高度信息化的社会。信息工业将发展成头号工业，社会上大多数的人将是 在从事后息的生产、加工和流通。这时，人们才能更正确地估价香农工作的全部含义。 信息论这个曾经只在专家们中间流传的学说，将来到更广大的人群之中。香农这个名字 也飞出了专家的书斋和实验室，为更多的人所熟悉和了解。通讯中的科学熵的概念起源于热力学，是度量分子不规则热运动的单位。香农的伟大贡献在 于，利用概率分布的理论给出熵的严格定义，在熵的基础上定义的信道容量也是通 讯中一个至关重要的概念。在数

27、字通讯中，各种语音信号在用数学模型提取参数（有损压缩)后也要对参数进行熵编码做无损压缩，这一无损压缩过程的算法就是根据熵的概念及其公式导出的。香农的伟大贡献在于利用概率分布的理论给出熵的严格定义2001年2月24日，当代最伟大的数学家和贝尔实验室最杰出的科学家之一的香农(Claude Elwood Shannon)博士在与疾病顽强搏斗了五年之后不幸与世长辞，享年84岁。1948年6月和10月，由贝尔实验室出版的科技界著名杂志贝尔系统技术(BellSystem Tech)连载了香农博士的文章通讯的数学原理(A mathematical Theory of Communication)，从而奠定了

28、信息基本理论的基础。在这篇文章中，他首 先严格定义了信息的单位熵的概念。在此基础上，他又定义了信道容量的概念，并给出在不同噪音情况下无失真通信的极限传输速率。这些贡献对现在的通信工业具有革命性的影响。香农极限已广泛应用于信息处理和实际通信中在熵的基础上定义的信道容量也是通讯中一个至关重要的概念。由此，香农推出了一个公式，明确表达了在不同噪声情况下传输速率与失真的定量关系。从这一个公式导出的为达到无失真通讯的传输速率的极限，现已称为香农极限。打个比方来说，在周围干扰严重的情况下，要想使对方听清楚，你就只有慢慢地讲，甚至还要不断重复。如今，这两个原理已广泛应用于信息处理和实际通信中。由于熵表达了事

29、物所含的信息量，我们不可能用少于熵的比特数来确切表达这一事物。所以这一概念已成为所有无损压缩的标准和极限。同时，它也是导出无损压缩算法达到或接近熵的编码的源泉。像现在人们在电脑上常用的WinZip就是一个例子。在数字通讯中，各种语音信号 在用数学模型提取参数(有损压缩)后也要对参数进行熵编码做无损压缩，这一无损压缩 过程的算法就是根据熵的概念及其公式导出的。经过压缩后的数据还要进行扩张（信道 编码）。因为根据香农的第二个理论，要尽量做到无失真的传送，就要用类似重复的方 法来纠正可能出现的错误。毫不夸张地说，没有这两个方法，就没有今天的手机通讯。只要涉及信息的压缩与传递，就要用到香农的理论同样的

30、，在因特网上传递多媒体数据，无损压缩往往是必不可少的。比如现在所用 的图像格式，除了 BMP文件以外，其它格式都用到基于熵概念的无损压缩算法。在当 今广为人知的MP3音乐压缩格式中，也同样用到基于熵概念的无损压缩算法。所以不论在 电讯业还是计算机业中，只要涉及信息的压缩与传递，就要用到香农的理论。与很多伟人一样，香农有着极其广泛的爱好。他是最早致力于研究电动老鼠钻迷宫 和自动下象棋机器的科学家。正如他自己所说的：我总是奇怪事物是怎样拼在一起的？（I just wondered how things were put together.）正是这种好奇心驱使他不断地思考和创新。一个为人所津津乐道的

31、故事是，香农经常骑着一个独轮自行 车在贝尔实验室的大厅内蹿来蹿去，这也从另一个侧面反映出他在贝尔实验室的自由环 境中的确是如鱼得水。当然，科学领域里从来就没有顶峰。香农理论打开了一扇探索信息奥秘的大门，但 这一理论并没有也不可能终止我们的探索之路。例如，目前人们关注的网络服务质量问 题（Quality of Service，QoS）至今还没有一个像熵那样明确的定义。同时，人们早在实践经验中知道为保证QoS就要做一些牺牲和转换，例如安排优先权（priority）。但 是，也没有像香农极限那样有一个清楚的公式表明这种转换方式的限度。所以，信息时代 仍有很多奥秘需要我们去探索。贝尔实验室基础科学研究

32、院（中国）供稿2001年2月24日，当代最伟大的数学家和贝尔实验室最杰出的科学家之一，84岁的 香农（Claude Elwood Shannon）博士不幸去世。香农1916年生于美国，1940年获得麻省理工学院数学博士学位和电子工程硕士学 位。1941年他加入了贝尔实验室数学部，在此工作了 15年。1948年6月和10月，由贝尔实验室出版的贝尔系统技术杂志连载了香农博士 的文章通讯的数学原理，该文奠定了香农信息基本理论的基础。他在文中用非常简洁的 数学公式定义了信息时代的基本概念：熵。在此基础上，他又定义了信道容量的概念， 指出了用降低传输速率来换取高保真通讯的可能性。这些贡献对今天的通信工业

33、具有革 命性的影响。熵的概念起源于热力学，是度量分子不规则热运动的单位。香农的伟大贡献在 于，利用概率分布的理论给出熵的严格定义。根据香农的定义，确定发生的事件如 太阳从东边升起与确定不发生的事件如太阳从西边升起，其熵都是零。只有当 发生与不发生的概率相同时，事件的熵才达到极大。在熵的基础上定义的信道容量也是通讯中一个至关重要的概念。由此，香农推出了 一个公式，明确表达了在不同噪声情况下传输速率与失真的定量关系。从这一个公式导 出的为达到无失真通讯的传输速率的极限，现已称为香农极限。打个比方来说，在周围 干扰严重的情况下，要想使对方听清楚，你就只有慢慢地讲，甚至还要不断重复。如今，这两个原理已

34、广泛应用于信息处理和实际通信中。由于熵表达了事物所含的 信息量，我们不可能用少于熵的比特数来确切表达这一事物。所以这一概念已成为所有 无损压缩的标准和极限。同时，它也是导出无损压缩算法做达到或接近熵的编码的源泉。像现在人们在PC机上常用的WinZip就是一个例子。在数字通讯中，各种语音 信号在用数学模型提取参数（有损压缩）后也要对参数进行熵编码做无损压缩，这一无损压 缩过程的算法就是根据熵的概念及其公式导出的。经过压缩后的数据还要进行扩张（信 道编码），因为根据香农的第二个理论，要尽量做到无失真的传送，就要用类似重复的 方法来纠正可能出现的错误。毫不夸张地说，没有这两个方法，就没有今天的手机通

35、讯 。同样，在因特网上传递多媒体数据，无损压缩往往是必不可少的。比如现在所用的图 像格式，除了 BMP文件以外，其他格式都用到基于熵概念的无损压缩算法。在当今广为人知的MP3音乐压缩格式中，也同样用到基于熵概念的无损压缩算法。所以不论在电讯业还是计算机业中，只要涉及信息的压缩与传递，就要用到香农的理论。和世界各地一样，中国的科研工作者也很早就注意到香农的工作。北京大学的江泽 培教授在五十年代就翻译了有关香农理论的小册子；南开大学的胡国定教授更是身体力 行地建立了中国信息论的研究中心.香农是现代信息论的著名创始人。现代信息论的出现，对现代通信技术和电子计算机的 设计，产生了巨大的影响。如果没有信

36、息论，现代的电子计算机是无法研制成功的。香农在美国密执安大学和麻省理工学院学习时，修过布尔代数课，并在布什的指导 下使用微分分析仪，这使他对继电器电路的分析产生兴趣。他认为这些电路的设计可用 符号逻辑来实现，并意识到分析继电器的有效数学工具正是布尔代数。1938年，香农发表了著名的论文继电器和开关电路的符号分析，首次用布尔 代数进行开关电路分析，并证明布尔代数的逻辑运算，可以通过继电器电路来实现，明 确地给出了实现加，减，乘，除等运算的电子电路的设计方法。这篇论文成为开关电路 理论的开端。香农在贝尔实验室工作中进一步证明，可以采用能实现布尔代数运算的继电器或电子元 件来制造计算机，香农的理论还

37、为计算机具有逻辑功能奠定了基础，从而使电子计算机 既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领域中 都得到了广泛的应用。（图）信息论的创始人香农对现代电子计算机的产生和发展有重要影响，是电子计算 机理论的重要奠基人之一104111026 2004 年 11 月 04 日 14 : 10Email:328835725QQ.com香农在美国密执安大学和麻省理工学院学习时，修过布尔代数课，并在布什的指导 下使用微分分析仪，这使他对继电器电路的分析产生兴趣。他认为这些电路的设计可用 符号逻辑来实现，并意识到分析继电器的有效数学工具正是布尔代数。1938年，香农发表了著名的论

38、文继电器和开关电路的符号分析，首次用布尔 代数进行开关电路分析，并证明布尔代数的逻辑运算，可以通过继电器电路来实现，明 确地给出了实现加，减，乘，除等运算的电子电路的设计方法。这篇论文成为开关电路 理论的开端。香农在贝尔实验室工作中进一步证明，可以采用能实现布尔代数运算的继电器或电 子元件来制造计算机，香农的理论还为计算机具有逻辑功能奠定了基础，从而使电子计 算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领 域中都得到了广泛的应用。（图）信息论的创始人香农对现代电子计算机的产生和发展有重要影响，是电子计算 机理论的重要奠基人之一104111021 2004 年 11

39、 月 04 日 14 : 18 Email:gongbiao香农是现代信息论的著名创始人。现代信息论的出现，对现代通信技术和电子计算 机的设计，产生了巨大的影响。如果没有信息论，现代的电子计算机是无法研制成功的。香农在美国密执安大学和麻省理工学院学习时，修过布尔代数课，并在布什的指导 下使用微分分析仪，这使他对继电器电路的分析产生兴趣。他认为这些电路的设计可用 符号逻辑来实现，并意识到分析继电器的有效数学工具正是布尔代数。1938年，香农发表了著名的论文继电器和开关电路的符号分析，首次用布尔 代数进行开关电路分析，并证明布尔代数的逻辑运算，可以通过继电器电路来实现，明 确地给出了实现加，减，乘

40、，除等运算的电子电路的设计方法。这篇论文成为开关电路 理论的开端。香农在贝尔实验室工作中进一步证明，可以采用能实现布尔代数运算的继电器或电 子元件来制造计算机，香农的理论还为计算机具有逻辑功能奠定了基础，从而使电子计 算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领 域中都得到了广泛的应用。（图）信息论的创始人香农对现代电子计算机的产生和发展有重要影响，是电子计算 机理论的重要奠基人之一龚彪 104111021 2004 年 11 月 04 日 14 : 21 Email:gongbiao-香农香农是现代信息论的著名创始人。现代信息论的出现，对现代通信技术和电子计算

41、 机的设计，产生了巨大的影响。如果没有信息论，现代的电子计算机是无法研制成功的。香农在美国密执安大学和麻省理工学院学习时，修过布尔代数课，并在布尔的指导 下使用微分分析仪，这使他对继电器电路的分析产生兴趣。他认为这些电路的设计可用 符号逻辑来实现，并意识到分析继电器的有效数学工具正是布尔代数。1938年，香农发表了著名的论文继电器和开关电路的符号分析，首次用布尔 代数进行开关电路分析，并证明布尔代数的逻辑运算，可以通过继电器电路来实现，明 确地给出了实现加，减，乘，除等运算的电子电路的设计方法。这篇论文成为开关电路 理论的开端。香农在贝尔实验室工作中进一步证明，可以采用能实现布尔代数运算的继电

42、器或电 子元件来制造计算机，香农的理论还为计算机具有逻辑功能奠定了基础，从而使电子计 算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领 域中都得到了广泛的应用。信息论的创始人香农对现代电子计算机的产生和发展有重要影响，是电子计算机理 论的重要奠基人之一。104111015 2004 年 11 月 04 日 14 : 34-香农香农在美国密执安大学和麻省理工学院学习时，修过布尔代数课，并在布尔的指导 下使用微分分析仪，这使他对继电器电路的分析产生兴趣。他认为这些电路的设计可用 符号逻辑来实现，并意识到分析继电器的有效数学工具正是布尔代数。1938年，香农发表了著名的论

43、文继电器和开关电路的符号分析，首次用布尔 代数进行开关电路分析，并证明布尔代数的逻辑运算，可以通过继电器电路来实现，明 确地给出了实现加，减，乘，除等运算的电子电路的设计方法。这篇论文成为开关电路 理论的开端。香农在贝尔实验室工作中进一步证明，可以采用能实现布尔代数运算的继电器或电 子元件来制造计算机，香农的理论还为计算机具有逻辑功能奠定了基础，从而使电子计 算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领 域中都得到了广泛的应用。信息论的创始人香农对现代电子计算机的产生和发展有重要影响，是电子计算机理 论的重要奠基人之一。香农香农是现代信息论的著名创始人。现代信息

44、论的出现，对现代通信技术和电子计算机的设计，产生了 巨大的影响。如果没有信息论，现代的电子计算机是无法研制成功的。香农在美国密执安大学和麻省理工学院学习时，修过布尔代数课，并在布尔的指导 下使用微分分析仪，这使他对继电器电路的分析产生兴趣。他认为这些电路的设计可用 符号逻辑来实现，并意识到分析继电器的有效数学工具正是布尔代数。1938年，香农发表了著名的论文继电器和开关电路的符号分析，首次用布尔 代数进行开关电路分析，并证明布尔代数的逻辑运算，可以通过继电器电路来实现，明 确地给出了实现加，减，乘，除等运算的电子电路的设计方法。这篇论文成为开关电路 理论的开端。香农在贝尔实验室工作中进一步证明

45、，可以采用能实现布尔代数运算的继电器或电 子元件来制造计算机，香农的理论还为计算机具有逻辑功能奠定了基础，从而使电子计算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领 域中都得到了广泛的应用。信息论的创始人香农对现代电子计算机的产生和发展有重要影响，是电子计算机理 论的重要奠基人之一。克劳德艾尔伍德香农（Claude Elwood Shannon，1916年4月30日一2001年2 月26日）美国数学家、信息论的创始人。香农于1916年4月30日出生于美国密歇根州的Petoskey, 1936年毕业于密歇根大学 并获得数学和电子工程学士学位，1940年获得麻省理工学

46、院（MIT）数学博士学位和电 子工程硕士学位。1941年他加入贝尔实验室数学部，工作到1972年。1956年他成为 麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授。 香农博士于2001年2月26日去世，享年84岁。香农于1940年在普林斯顿高级研究所（The Institute for Advanced Study at Prince ton）期间开始思考信息论与有效通信系统的问题。经过8年的努力，香农在1948年6 月和10月在贝尔系统技术杂志（Bell System Technical Journal）上连载发表了 他影像深远的论文通讯的数学原理。194

47、9年，香农又在该杂志上发表了另一著名 论文噪声下的通信。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系 统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、 信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息。这是数学家香农（Claude E.Shanon）在他的惊世之著通信的数学理论中的一 句铭言。正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深 远的信息论。香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的 高度敏感。他的硕士论文就是关于

48、布尔代数在逻辑开关理论中的应用。后来，他就职于 贝尔电话研究所。在这个世界上最大的通信公司（美国电话电报公司）的研究基地里， 他受着前辈的工作的启示，其中最具代表性的是贝尔系统技术杂志上所披露的奈奎 斯特的影响电报速率的一些因素和哈特莱的信息的传输。正是他们最早研究了 通信系统的信息传输能力，第一次提出了信息量的概念，并试图用教学公式予以描述。 而香衣则创造性地继承了他们的事业，在信息论的领域中钻研了8年之久，终于在194 8年也在贝尔系统技术杂志上发表了 244页的长篇论著，这就是上面提到的那篇通 信的数学理论。次年，他又在同一杂志上发表了另一篇名著噪声下的通信。在这 两篇文章中，他解决了过

49、去许多悬而未决的问题：经典地阐明了通信的基本问题，提出 了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信 源编码、信道编码等有关精确地传送通信符号的基本技术问题。两篇文章成了现在信息 论的寞基著作。而香农，也一鸣惊人，成了这门新兴学科的寞基人。那时，他才不过刚 刚三十出头。 他的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研 究规模象浪雪球一样越来越大。不仅在电子学的其他领域，如计算机、自动控制等方面 大显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、 统计学、管理学等学科。它已远远地突破了香衣本人所研究和意料的范畴，

50、即从香 农的所谓狭义盾息论发展到了广义信息论。一进入80年代以来，当人们在议论 未来的时候，人们的注意力又异口同声的集中到信息领域。按照国际一种流行的说法， 未来将是一个高度信息化的社会。信息工业将发展成头号工业，社会上大多数的人将是 在从事后息的生产、加工和流通。时，人们才能更正确地估价香农工作的全部含义。信 息论这个曾经只在专家们中间流传的学说，将来到更广大的人群之中。香农这个名字也 飞出了专家的书斋和实验室，为更多的人所熟悉和了解。郑京京2004年11月04日14 : 39香农香农是现代信息论的著名创始人。现代信息论的出现，对现代通信技术和电子计算 机的设计，产生了巨大的影响。如果没有信

51、息论，现代的电子计算机是无法研制成功的。香农在美国密执安大学和麻省理工学院学习时，修过布尔代数课，并在布尔的指导 下使用微分分析仪，这使他对继电器电路的分析产生兴趣。他认为这些电路的设计可用 符号逻辑来实现，并意识到分析继电器的有效数学工具正是布尔代数。1938年，香农发表了著名的论文继电器和开关电路的符号分析，首次用布尔 代数进行开关电路分析，并证明布尔代数的逻辑运算，可以通过继电器电路来实现，明 确地给出了实现加，减，乘，除等运算的电子电路的设计方法。这篇论文成为开关电路 理论的开端。香农在贝尔实验室工作中进一步证明，可以采用能实现布尔代数运算的继电器或电 子元件来制造计算机，香农的理论还

52、为计算机具有逻辑功能奠定了基础，从而使电子计 算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领 域中都得到了广泛的应用。信息论的创始人香农对现代电子计算机的产生和发展有重要影响，是电子计算机理 论的重要奠基人之一。克劳德艾尔伍德香农（Claude Elwood Shannon , 1916年4月30日一2001年2 月26日）美国数学家、信息论的创始人。香农于1916年4月30日出生于美国密歇根州的Petoskey, 1936年毕业于密歇根大学 并获得数学和电子工程学士学位，1940年获得麻省理工学院（MIT）数学博士学位和电 子工程硕士学位。1941年他加入贝尔实

53、验室数学部，工作到1972年。1956年他成为 麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授。 香农博士于2001年2月26日去世，享年84岁。香农于1940年在普林斯顿高级研究所（The Institute for Advanced Study at Prince ton）期间开始思考信息论与有效通信系统的问题。经过8年的努力，香农在1948年6 月和10月在贝尔系统技术杂志（Bell System Technical Journal）上连载发表了 他影像深远的论文通讯的数学原理。1949年，香农又在该杂志上发表了另一著名 论文噪声下的通信。在这两篇论文

54、中，香农阐明了通信的基本问题，给出了通信系 统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、 信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息。这是数学家香农（Claude E.Shanon）在他的惊世之著通信的数学理论中的一 句铭言。正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深 远的信息论。香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的 高度敏感。他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。后来，他就职于 贝尔电话研究所。在这

55、个世界上最大的通信公司（美国电话电报公司）的研究基地里， 他受着前辈的工作的启示，其中最具代表性的是贝尔系统技术杂志上所披露的奈奎 斯特的影响电报速率的一些因素和哈特莱的信息的传输。正是他们最早研究了 通信系统的信息传输能力，第一次提出了信息量的概念，并试图用教学公式予以描述。 而香衣则创造性地继承了他们的事业，在信息论的领域中钻研了8年之久，终于在194 8年也在贝尔系统技术杂志上发表了 244页的长篇论著，这就是上面提到的那篇通 信的数学理论。次年，他又在同一杂志上发表了另一篇名著噪声下的通信。在这 两篇文章中，他解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出 了通信系统的

56、模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信 源编码、信道编码等有关精确地传送通信符号的基本技术问题。两篇文章成了现在信息 论的寞基著作。而香农，也一鸣惊人，成了这门新兴学科的寞基人。那时，他才不过刚 刚三十出头。 他的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研 究规模象浪雪球一样越来越大。不仅在电子学的其他领域，如计算机、自动控制等方面 大显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、 统计学、管理学等学科。它已远远地突破了香衣本人所研究和意料的范畴，即从香 农的所谓狭义盾息论发展到了广义信息论。一进入80年代以来，当

57、人们在议论 未来的时候，人们的注意力又异口同声的集中到信息领域。按照国际一种流行的说法， 未来将是一个高度信息化的社会。信息工业将发展成头号工业，社会上大多数的人将是 在从事后息的生产、加工和流通。这时，人们才能更正确地估价香农工作的全部含义。 信息论这个曾经只在专家们中间流传的学说，将来到更广大的人群之中。香农这个名字 也飞出了专家的书斋和实验室，为更多的人所熟悉和了解。郑京京2004年11月04日14 : 39引自光明日报 走近信息论之父一香农博士 杨贝2001年2月24日，当代最伟大的数学家和贝尔实验室最杰出的科学 家之一，84岁的香农(Claude Elwood Shannon)博士不

58、幸去世。香农1916年生于美国，1940年获得麻省理工学院数学博士学位和 电子工程硕士学位。1941年他加入了贝尔实验室数学部，在此工作了 15年。1948年6月和10月，由贝尔实验室出版的贝尔系统技术杂志连 载了香农博士的文章通讯的数学原理，该文奠定了香农信息基本 理论的基础。他在文中用非常简洁的数学公式定义了信息时代的基本 概念：熵。在此基础上，他又定义了信道容量的概念，指出了用降低 传输速率来换取高保真通讯的可能性。这些贡献对今天的通信工业具 有革命性的影响。104111026 2004 年 11 月 04 日 16 : 19Email:328835725香农公式香农定理指出，如果信息源

59、的信息速率R小于或者等于信道容量C，那么，在理论上存 在一种方法可使信息源的输出能够以任意小的差错概率通过信道传输。该定理还指出：如果RC,则没有任何办法传递这样的信息，或者说传递这样的二进 制信息的差错率为1/2。可以严格地证明；在被高斯白噪声干扰的信道中，传送的最大信息速率C由下述公式确定：该式通常称为香农公式。B是信道带宽（赫），S是信号功率（瓦），N是噪声功率（瓦）。公式表明，信道带宽限制了比特率的增加，信道容量还取决于系统信噪比以及编码技术 种类。104111026 2004 年 11 月 04 日 16 : 25Email:328835725香农是现代信息论的著名创始人。现代信息论

60、的出现，对现代通信技术和电子计算机 的设计，产生了巨大的影响。如果没有信息论，现代的电子计算机是无法研制成功的。1938年，香农发表了著名的论文继电器和开关电路的符号分析，首次用布尔 代数进行开关电路分析，并证明布尔代数的逻辑运算，可以通过继电器电路来实现，明 确地给出了实现加，减，乘，除等运算的电子电路的设计方法。这篇论文成为开关电路 理论的开端。香农于1940年在普林斯顿高级研究所（The Institute for Advanced Study at Prince ton）期间开始思考信息论与有效通信系统的问题。经过8年的努力，香农在1948年6 月和10月在贝尔系统技术杂志（Bell

61、System Technical Journal）上连载发表了 他影像深远的论文通讯的数学原理。1949年，香农又在该杂志上发表了另一著名 论文噪声下的通信。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系 统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、 信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。香农博士于2001年2月26日去世，享年84岁。104102052 2004 年 11 月 05 日 15 : 50信息论的创始人香农首次阐明了布尔代数在开关电路上的作用香农是现代信息论的著名创始人。现代信息论的出现，对现代通信技术和电子计算

62、机的设计，产生了巨大的影响。如果没有信息论，现代的电子计算机是无法研制成功的。香农在美国密执安大学和麻省理工学院学习时，修过布尔代数课，并在布什的指导 下使用微分分析仪，这使他对继电器电路的分析产生兴趣。他认为这些电路的设计可用 符号逻辑来实现，并意识到分析继电器的有效数学工具正是布尔代数。1938年，香农发表了著名的论文继电器和开关电路的符号分析，首次用布尔 代数进行开关电路分析，并证明布尔代数的逻辑运算，可以通过继电器电路来实现，明 确地给出了实现加，减，乘，除等运算的电子电路的设计方法。这篇论文成为开关电路 理论的开端。香农在贝尔实验室工作中进一步证明，可以采用能实现布尔代数运算的继电器

63、或电 子元件来制造计算机，香农的理论还为计算机具有逻辑功能奠定了基础，从而使电子计 算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领 域中都得到了广泛的应用。（图）信息论的创始人香农对现代电子计算机的产生和发展有重要影响，是电子计算 机理论的重要奠基人之一104102032 2004 年 11 月 05 日 15 : 34哇靠他比我强！104102038 2004 年 11 月 05 日 15 : 41信息论的创始人香农首次阐明了布尔代数在开关电路上的作用.香农是现代信息论的著名创始人。现代信息论的出现，对现代通信技术和电子计算机的 设计，产生了巨大的影响。如果没有

64、信息论，现代的电子计算机是无法研制成功的。 香农在美国密执安大学和麻省理工学院学习时，修过布尔代数课，并在布什的指导下使 用微分分析，这使他对继电器电路的分析产生兴趣。他认为这些电路的设计可用符号逻 辑来实现，并意识到分析继电器的有效数学工具正是布尔代数。1938年，香农发表了著名的论文继电器和开关电路的符号分析，首次用布尔 代数进行开关电路分析，并证明布尔代数的逻辑运算，可以通过继电器电路来实现，明 确地给出了实现加，减，乘，除等运算的电子电路的设计方法。这篇论文成为开关电路 理论的开端。香农在贝尔实验室工作中进一步证明，可以采用能实现布尔代数运算的继电器或电 子元件来制造计算机，香农的理论还为计算机具有逻辑功能奠定了基础，从而使电子计 算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领 域中都得到了广泛的应用。（图）信息论的创始人香农对现代电子计算