最大熵原理的历史背景

最大熵原理是由E.T.Jaynes在1957中提出的。其主要思想是，当只掌握一些关于未知分布的知识时，应选择熵值最大的概率分布。因为在这种情况下，符合已知知识的概率分布可能不止一个。我们知道熵的定义实际上是一个随机变量的不确定性。当熵最大时，意味着随机变量最不确定。换句话说，它是最随机的变量，也是最难准确预测其行为的变量。

从这个意义上说，最大熵原理的本质是，关于未知分布的最合理的推断，是最不确定的或最符合已知知识的随机推断，这是我们唯一能做出的公正选择。任何其他的选择都意味着我们增加了其他的约束和假设，而这些是无法根据我们所掌握的信息做出的。

参见《论最大熵原理与统计物理》。