人工神经网络的发展历史

1943年，心理学家W.S.McCulloch和数学逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和网络构造方法，并证明了单个神经元可以执行逻辑功能，从而开创了人工神经网络研究的时代。1949年，心理学家提出了突触连接的强度是可变的这一观点。20世纪60年代，人工神经网络得到进一步发展，提出了更完善的神经网络模型，包括感知器和自适应线性元件。在仔细分析了以感知器为代表的神经网络系统的功能和局限性后，M.Minsky在1969发表了感知器，指出感知器不能解决高阶谓词问题。他们的争论极大地影响了神经网络的研究，而当时串行计算机和人工智能的成就掩盖了发展新计算机和人工智能新方式的必要性和紧迫性，使得人工神经网络的研究处于低潮。在此期间，人工神经网络的一些研究者仍然致力于这方面的研究，提出了自适应共振理论(ART网络)、自组织映射、认知机器网络，同时研究了神经网络的数学理论。上述研究为神经网络的研究和发展奠定了基础。1982年，美国加州理工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，引入了“计算能量”的概念，给出了网络稳定性的判断。1984年，他提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开创性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究。1985年，另一位学者提出了尼尔斯玻尔Zmann模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定。从65438到0986，研究了认知微结构，提出了并行分布式加工理论。在1986中，Rumelhart，Hinton，Williams开发了BP算法。鲁梅尔哈特和麦克莱兰发表了《平行分布处理:认知微观结构的探索》。到目前为止，BP算法已经被用于解决大量的实际问题。在1988中，Linsker提出了一种新的感知器网络自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。在1988中，Broomhead和Lowe提出了径向基函数(RBF)分层网络的设计方法，从而将NN的设计与数值分析和线性自适应滤波联系起来。20世纪90年代初，Vapnik等人提出了支持向量机(SVM)和VC(Vapnik-Chervonenkis)维数的概念。人工神经网络的研究已受到各个发达国家的重视。美国国会通过决议，将从1990年10月5日开始的十年定为“大脑十年”，国际研究组织呼吁其成员国将“大脑十年”变成一种全球行为。在日本的“真实世界计算(RWC)”项目中，人工智能的研究已经成为重要的一部分。