神经网络的发展历史
65438年至0945年，冯·诺依曼领导的设计团队成功试制出存储程序电子计算机，标志着电子计算机时代的开始。1948年，他在研究工作中比较了人脑结构与存储程序计算机的根本区别，提出了由简单神经元组成的再生自动机网络结构。但由于指令存储计算机技术的飞速发展，他放弃了神经网络研究的新途径，继续致力于指令存储计算机技术的研究，并在该领域做出了巨大贡献。虽然冯·诺依曼的名字与普通计算机联系在一起，但他也是人工神经网络研究的先驱之一。
20世纪50年代末，罗森布拉特(F. Rosenblatt)设计制造了一种“感知器”，这是一种多层神经网络。这项工作首次将人工神经网络的研究从理论探讨推向工程实践。当时，世界各地的许多实验室都效仿制造感知机，将其应用于研究字符识别、语音识别、声纳信号识别以及学习和记忆问题。然而，人工神经网络的研究高潮并没有持续很久，很多人相继放弃了这方面的研究工作，因为当时数字计算机的发展正处于鼎盛时期，很多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的所有问题，使得感知器的工作被忽视。其次，当时的电子技术水平比较落后，主要元器件都是电子管或者晶体管。他们制作的神经网络庞大而昂贵，因此完全不可能在规模上与真正的神经网络相似。另外，在一本名为《感知器从65438到0968》的书中指出，线性感知器的作用是有限的，它不能解决异或等基本问题，多层网络也找不到有效的计算方法。这些争论促使大量研究人员对人工神经网络的前景失去信心。20世纪60年代后期，人工神经网络的研究进入低潮。
此外，20世纪60年代初，Widrow提出了自适应线性元网络，这是一种具有连续值的线性加权求和阈值网络。后来在此基础上发展了非线性多层自适应网络。当时这些著作中虽然没有标注神经网络的名称，但实际上是一种人工神经网络模型。
随着人们对感知机兴趣的下降，神经网络的研究沉寂了很久。80年代初，模拟和数字混合的超大规模集成电路制造技术被提高到一个新的水平，并投入实际应用。此外，数字计算机的发展在几个应用领域遇到了困难。这一背景表明，从人工神经网络中寻求出路的时机已经成熟。美国物理学家Hopfield在1982和1984年的《美国科学院院刊》上发表了两篇关于人工神经网络的论文，引起了很大的反响。人们重新认识了神经网络的力量及其应用的现实性。随即，一大批学者和研究人员围绕Hopfield提出的方法开展了进一步的工作，形成了20世纪80年代中期以来人工神经网络的研究热潮。