克劳德·香农的贡献

《沟通的数学原理》在普林斯顿高等研究院期间，香农开始思考信息论和有效的沟通系统。1948年6月至10年6月，香农在贝尔系统技术期刊上发表了一篇影响深远的论文《通信的数学原理》。1949年，香农在这本杂志上发表了另一篇著名论文《噪音下的沟通》。在这两篇论文中，香农解决了许多过去没有解决的问题:阐明了通信的基本问题，给出了通信系统的模型，提出了信息的数学表达，解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。这两篇论文成为信息论的基础理论著作。那时候他刚刚三十出头。香农的成果在世界上引起了轰动，激起了人们对信息论的极大热情。它冲击了各个学科，研究规模滚雪球。不仅在电子学的其他领域，如计算机和自动控制，而且在物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学等学科。它已经远远突破了香溢本人研究和预期的范畴，即从香农所谓的“窄盾理论”发展到“广义信息论”。香农一鸣惊人，成为这门新学科的创始人。自20世纪80年代以来，当人们谈论未来时，人们的注意力不约而同地集中在信息领域。根据一个流行的国际说法，未来将是一个高度信息化的社会。信息产业将发展成为第一大产业，社会上大部分人将从事信息的生产、加工和流通。这时，人们才能更正确地评价香农工作的全部意义。曾经只在专家中流传的信息论将面向更广泛的人群。香浓这个名字也飞出了专家的书房和实验室，被更多的人所熟悉和了解。香农被誉为“信息论之父”。人们通常把香农于1948+00年6月发表在《贝尔系统技术杂志》上的论文《通信的数学原理》作为现代信息论研究的开端。本文部分基于harry nyquist和Ralph Hartley之前对claude shannon的定义，可以用来计算传输二进制编码后的原始信息所需的信道带宽。熵的概念是衡量一条消息所包含的信息量，去掉由消息的固有结构决定的部分，如语言结构的冗余，以及语言中字母和单词的使用频率等统计特征。信息论中的熵概念与物理学中的熵概念密切相关。玻尔兹曼和吉布斯在统计物理学的熵方面做了很多工作。信息论中的熵也是受其启发。