信息论是关于信息的本质和传输规律的科学的理论，是研究信息的计量、发送、传递、交换、接收和储存的一门新兴学科。 人类的社会生活是不能离开信息的，人类的社会实践活动不仅需要对周围世界的情况有所了解帮能做出正确的反应，而且还要与周围的人群沟通关系才能协调地行动，这就是说，人类不仅时刻需要从自然界获得信息，而且人与人之间也需要进行通讯，交流信息。人类需要随时获取、传递、加工、利用信息，否则就不能生存。人们获得信息的方式有两种；一种是直接的，即通过自己的感觉器官，耳闻、目睹、鼻嗅、口尝、体触等直接了解外界情况；一种是间接的，即通过语言、文字、信号……等等传递消息而获得信息。 通讯是人与人之间交流信息的手段，语言是人类通讯的最简单要素的基础。人类早期只是用语言和手势直接进行通讯，交流信息。“仓颉造字”则使信息传递摆脱了直接形式，同时扩大了信息的储存形式，可算是一次信息技术的革命。印刷术的发明，扩大了信息的传播范围和容量，也是一次重大的信息技术变革。但真正的信息革命则是电报、电话、电视等现代通讯技术的创造与发明，它们大大加快了信息的传播速度，增大了信息传播的容量。正是现代通讯技术的发展导致了关于现代通讯技术的理论 信息论的诞生。 信息论的创始人是美贝尔电话研究所的数学家申农（C.E.Shannon1916——），他为解决通讯技术中的信息编码问题，突破老框框，把发射信息和接收信息作为一个整体的通讯过程来研究，提出通讯系统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础。1948年申农发表的《通讯的数学理论》一文，成为信息论诞生的标志。 申农创立信息论，是在前人研究的基础上完成的。1922年卡松提出边带理论，指明信号在调制（编码）与传送过程中与频谱宽度的关系。1922年哈特莱发表《信息传输》的文章，首先提出消息是代码、符号而不是信息内容本身，使信息与消息区分开来，并提出用消息可能数目的对数来度量消息中所含有的信息量，为信息论的创立提供了思路。美国统计学家费希尔从古典统计理论角度研究了信息理论，苏联数学家哥尔莫戈洛夫也对信息论作过研究。控制论创始人维纳建立了维纳滤波理论和信号预测理论，也提出了信息量的统计数学公式，甚至有人认为维纳也是信息论创始人之一。 在信息论的发展中，还有许多科学家对它做出了卓越的贡献。法国物理学家L.布里渊（L.Brillouin）1956年发表《科学与信息论》专著，从热力学和生命等许多方面探讨信息论，把热力学熵与信息熵直接联系起来，使热力学中争论了一个世纪之久的“麦克斯韦尔妖”的佯谬问题得到了满意的解释。英国神经生理学家（W.B.Ashby）1964年发表的《系统与信息》等文章，还把信息论推广应用于生物学和神经生理学领域，也成为信息论的重要著作。这些科学家们的研究，以及后来从经济、管理和社会的各个部门对信息论的研究，使信息论远远地超越了通讯的范围。因此，信息论可以分成两种：狭义信息论与广义信息论。 狭义信息论是关于通讯技术的理论，它是以数学方法研究通讯技术中关于信息的传输和变换规律的一门科学。广义信息论，则超出了通讯技术的范围来研究信息问题，它以各种系统、各门科学中的信息为对象，广泛地研究信息的本质和特点，以及信息的取得、计量、传输、储存、处理、控制和利用的一般规律。显然，广义信息论包括了狭义信息论的内容，但其研究范围却比通讯领域广泛得多，是狭义信息论在各个领域的应用和推广，因此，它的规律也更一般化，适用于各个领域，所以它是一门横断学科。广义信息论，人们也称它为信息科学。关于信息的本质和特点，是信息论研究的首要内容和解决其它问题的前提。信息是什么？迄今为止还没有一个公认的定义。 英文信息一词（Information）的含义是情报、资料、消息、报导、知识的意思。所以长期以来人们就把信息看作是消息的同义语，简单地把信息定义为能够带来新内容、新知识的消息。但是后来发现信息的含义要比消息、情报的含义广泛得多，不仅消息、情报是信息，指令、代码、符号语言、文字等，一切含有内容的信号都是信息。哈特莱第一次把消息、情报、信号、语言等等都是信息的载体，而信息则是它们荷载着的内容。但是信息到底是什么呢？申农的狭义信息论第一个给予信息以科学定义：信息是人们对事物了解的不确定性的消除或减少。这是从通讯角度上下的定义，即信源发出了某种情况的不了解的状态，即消除了不定性。并且用概率统计数学方法，来度量为定性被消除的量的大小：H（x）为信息熵，是信源整体的平均不定度。而信息I（p）是从信宿角度代表收到信息后消除不定性的程度，也就是获得新知识的量，所以它只不在信源发出的信息熵被信宿收到后才有意义。在排除干扰的理想情况下，信源发出的信号与信宿接收的信号一一对应，H（x）与I（p）二者相等。所以信息熵的公式也就是信息量的分式。式中的k是一个选择单位的常数，当对数以2为底时，单位称比特（bit）,信息熵是l0g2=1比特。 在申农寻信息量定名称时，数学家冯.诺依曼建议称为熵，理由是不定性函数在统计力学中已经用在熵下面了。在热力学中熵是物质系统状态的一个函数，它表示微观粒子之间无规则的排列程度，即表示系统的紊乱度，维纳说：“信息量的概念非常自然地从属于统计学的一个古典概念——熵。作者dapplehou
