信息的历史

在1928中，R.V.L. Hatle提出了信息量化的设想。他把符号值数m的对数定义为信息量，即I=log2m。对信息量进行深入系统研究的是信息论的创始人C.E香农。在1948中，香农指出信源给出的符号是随机的，信源的信息量应该是概率的函数，用信源的信息熵来表示，即其中Pi代表信源不同种类符号的概率，i= 1，2，…，n。

例如，如果一个连续的源以相等的概率被量化成四层，即四个符号。这个信源的每个符号给出的信息应该是最符合Hatle公式I=log2m=log24=2bit的。本质上，哈特尔公式是等概率香农公式的特例。

基本内容实际信源多为记忆序列信源，通常只有在掌握了所有序列的概率特征后，才很难计算出该信源中一个平均符号的熵HL(U)(L为符号数)。如果把序列源简化成简单的一阶齐次遍历马尔可夫链，就更简单了。根据符号的条件概率Pji(即前一个符号为I，后一个符号为J的概率)，可以得到穿越源的稳定概率Pi，再由Pi和Pji得到HL(U)。如图1所示。

其中H(U|V)称为条件熵，即前一个符号V已知时后一个符号U的不确定性。

信息量和信息熵在概念上是不同的。在接收到符号之前，你无法确定信源发送的是什么符号。传播的目的是使接受者在接受符号后消除对来源的怀疑(不确定性)，使不确定性为零。这说明接收者从发送者来源获得的信息量是一个相对量(H(U)-0)。信息熵是描述源本身统计特征的物理量。它代表了信源产生的符号的平均不确定性，无论有无接收方，它始终是一个客观量。

从源中一个符号v获取另一个符号u的信息。

数量可以用互信息表示，即

I(U；V)= H(U)-H(U|V)

表示接收v后对源符号u仍有疑问(不确定性)正常情况下

I(U；V)≤H(U)

即获得的信息小于信源给出的信息熵。

连续信息源可以有无穷大的值，输出信息也是无穷大的，但互信息是两个熵值之差，是一个相对量。这样，无论来源是连续的还是离散的，接收者获得的信息量仍然保持着信息的全部特征，并且是有限的。

信息的引入使传播学、信息论及相关学科建立在定量分析的基础上，保证了相关理论的建立和发展。