信息量的历史

1928年，R．V．L．哈特莱提出了信息定量化的初步设想，他将符号取值数m的对数定义为信息量，即I=log2m。对信息量作深入、系统研究的是信息论创始人C．E．仙农。1948年，仙农指出信源给出的符号是随机的，信源的信息量应是概率的函数，以信源...