神经网络算法的人工神经网络
神经元和其他类型的细胞一样，包括细胞膜、细胞质和细胞核。但神经细胞形态特殊，突起多，所以分为细胞体、轴突、树突三部分。细胞中有细胞核，突起的功能是传递信息。树突是引入输入信号的突起，而轴突是充当输出终端的突起。只有一个枝晶。
树突是细胞体的延伸，从细胞体发出后逐渐变细，整个长度的各个部分都可以与其他神经元的轴突末梢相连，形成所谓的“突触”。在突触处，两个神经元并不相连，只是发生信息传递的连接点。接触界面之间的间隙约为(15 ~ 50) × 10米。突触可分为兴奋性和抑制性两种，对应于神经元之间耦合的极性。每个神经元的突触数量正常，最多10。神经元之间的连接强度和极性不同，可以调整。基于这一特性，人脑具有储存信息的功能。由大量相互连接的神经元组成的人工神经网络可以显示人脑的某些特征。
人工神经网络是由大量简单的基本元素——神经元组成的自适应非线性动态系统。每个神经元的结构和功能都很简单，但是大量神经元产生的系统行为却非常复杂。
人工神经网络反映了人脑功能的一些基本特征，但不是对生物系统的逼真描述，而是一种模仿、简化和抽象。
与数字计算机相比，人工神经网络的组成原理和功能特点更接近人脑。它不是按照给定的程序一步一步地执行操作，而是能够自我适应环境，总结规律，完成一些操作、识别或过程控制。
人工神经网络首先要按照一定的学习准则进行学习，然后才能工作。以人工神经网络书写的字母“A”和“B”的识别为例，规定“A”输出“1”，“B”输出“0”。
所以网络学习的准则应该是:如果网络做出了错误的判断，网络要通过网络学习来降低下次犯同样错误的可能性。首先在(0，1)的区间内给网络的每个连接权值一个随机值，将“a”对应的图像模式输入网络。网络将输入模式加权相加，与阈值比较，然后进行非线性运算，得到网络的输出。在这种情况下，网络输出为“1”和“0”的概率分别为50%，这意味着它是完全随机的。此时，如果输出为“1”(结果正确)，则增加连接权重，使网络再次遇到“A”模式输入时仍能做出正确判断。
如果输出为“0”(即结果错误)，则向降低综合输入权重的方向调整网络连接权重，旨在降低网络下次遇到“A”模式输入时犯同样错误的可能性。有了这个操作调整，当几个手写字母“A”和“B”依次输入网络，按照上述学习方法通过网络学习几次后，网络判断的正确率会大大提高。这说明网络已经成功学习了这两种模式，并且在网络的每一个连接权值中都记忆了这两种模式。当网络再次遇到这些模式中的任何一种，都可以做出快速准确的判断和识别。一般来说，一个网络包含的神经元越多，它能记住和识别的模式就越多。(1)人脑具有很强的适应性和自组织特性，后天的学习和训练可以开发出许多独特的活动功能。比如盲人的听觉和触觉都很灵敏；聋人善于使用手势；训练有素的运动员可以展现出非凡的运动技能等等。
普通计算机的功能取决于程序中给出的知识和能力。显然，通过总结来规划智能活动将非常困难。
人工神经网络也具有初步的自适应和自组织能力。改变学习或训练过程中的突触权重，以适应周围环境的要求。同一个网络，由于学习方法和内容不同，可以有不同的功能。人工神经网络是一个具有学习能力的系统，可以开发出超越设计者原有知识水平的知识。通常，它的学习和训练方法可以分为两种。一种是监督或监督学习，其中给定的样本标准用于分类或模仿。另一种是无监督学习或无监督导师学习。此时只规定了学习方法或一些规则，具体的学习内容随系统所处的环境(即输入信号情况)而变化。系统可以自动发现环境特征和规律，更类似于人脑的功能。
(2)概括能力
泛化能力是指对未训练样本的预测和控制能力。特别是当存在一些噪声样本时，网络具有良好的预测能力。
(3)非线性映射能力
当系统对设计者来说非常透彻或清晰时，一般会使用数值分析、偏微分方程等数学工具来建立精确的数学模型。然而，当系统复杂、未知或信息量少时，很难建立精确的数学模型。神经网络的非线性映射能力显示出优势，因为它不需要对系统有透彻的了解，但同时可以实现输入输出之间的映射关系，大大简化了设计难度。
(4)高并行性
并行是有争议的。承认并行性理由:神经网络是从人脑中抽象出来的数学模型，既然人可以同时做一件事，那么从功能模拟的角度来说，神经网络也应该具有很强的并行性。
多年来，人们试图从医学、生物学、生理学、哲学、信息学、计算机科学、认知和组织协同学的角度来理解和回答上述问题。在寻找上述问题答案的过程中，多年来逐渐形成了一个新的交叉学科技术领域，称为“神经网络”。神经网络的研究涉及多个学科，相互结合、相互渗透、相互促进。不同领域的科学家从各自学科的兴趣和特点出发，提出不同的问题，从不同的角度进行研究。
让我们比较一下人工神经网络和通用计算机的工作特性:
从速度上看，人脑神经元之间的信息传递速度远低于计算机，前者在毫秒量级，后者往往达到数百兆赫。但由于人脑是一个大规模并行和串行相结合的处理系统，可以对很多问题做出快速的判断、决策和处理，其速度远高于串行结构的普通计算机。人工神经网络的基本结构模仿人脑，具有并行处理的特点，可以大大提高工作速度。
人脑存储信息的特点是利用突触效率的变化来调整存储内容，即信息存储在神经元之间连接强度的分布中，存储区与计算机区融为一体。虽然人类大脑中每天都有大量的神经细胞死亡(平均每小时约1000个)，但并不影响大脑的正常思维活动。
普通计算机有独立的存储器和运算器，知识存储和数据运算互不关联。只有通过人编写的程序才能相互交流，而这种交流不能超出程序员的预期。部件的局部损坏和程序中的微小错误可能导致严重的紊乱。心理学家和认知科学家研究神经网络的目的是探索人脑处理、存储和搜索信息的机制，阐明人脑功能的机制，建立人类认知过程的微结构理论。
生物、医学、脑科学专家试图通过神经网络的研究，推动脑科学向定量化、精确化、理论化体系发展，也希望临床医学有新的突破；信息处理和计算机科学家研究这一问题的目的是寻找新的方法来解决大量无法解决或极难解决的问题，构造更接近人脑功能的新一代计算机。
人工神经网络的早期研究工作应追溯到20世纪40年代。下面以著名人物或杰出研究成果为线索，按时间顺序简要介绍人工神经网络的发展历史。
65438-0943年，心理学家W·麦克库洛奇和数学逻辑学家W·皮茨在分析和总结神经元基本特征的基础上，首先提出了神经元的数学模型。这个模型一直沿用到今天，它直接影响着这一领域的研究进展。因此，他们两个可以称得上是人工神经网络研究的先驱。
65438年至0945年，冯·诺依曼领导的设计团队成功试制出存储程序电子计算机，标志着电子计算机时代的开始。1948年，他在研究工作中比较了人脑结构与存储程序计算机的根本区别，提出了由简单神经元组成的再生自动机网络结构。但由于指令存储计算机技术的飞速发展，他放弃了神经网络研究的新途径，继续致力于指令存储计算机技术的研究，并在该领域做出了巨大贡献。虽然冯·诺依曼的名字与普通计算机联系在一起，但他也是人工神经网络研究的先驱之一。
20世纪50年代末，罗森布拉特(F. Rosenblatt)设计制造了一种“感知器”，这是一种多层神经网络。这项工作首次将人工神经网络的研究从理论探讨推向工程实践。当时，世界各地的许多实验室都效仿制造感知机，将其应用于研究字符识别、语音识别、声纳信号识别以及学习和记忆问题。然而，人工神经网络的研究高潮并没有持续很久，很多人相继放弃了这方面的研究工作，因为当时数字计算机的发展正处于鼎盛时期，很多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的所有问题，使得感知器的工作被忽视。其次，当时的电子技术水平比较落后，主要元器件都是电子管或者晶体管。他们制作的神经网络庞大而昂贵，因此完全不可能在规模上与真正的神经网络相似。另外，在一本名为《感知器从65438到0968》的书中指出，线性感知器的作用有限，不能解决异感等基本问题，多层网络找不到有效的计算方法。这些争论促使大量研究人员对人工神经网络的前景失去信心。20世纪60年代后期，人工神经网络的研究进入低潮。
此外，20世纪60年代初，Widrow提出了自适应线性元网络，这是一种具有连续值的线性加权求和阈值网络。后来在此基础上发展了非线性多层自适应网络。当时这些著作中虽然没有标注神经网络的名称，但实际上是一种人工神经网络模型。
随着人们对感知机兴趣的下降，神经网络的研究沉寂了很久。80年代初，模拟和数字混合的超大规模集成电路制造技术被提高到一个新的水平，并投入实际应用。此外，数字计算机的发展在几个应用领域遇到了困难。这一背景表明，从人工神经网络中寻求出路的时机已经成熟。美国物理学家Hopfield在1982和1984年的《美国科学院院刊》上发表了两篇关于人工神经网络的论文，引起了很大的反响。人们重新认识了神经网络的力量及其应用的现实性。随即，一大批学者和研究人员围绕Hopfield提出的方法开展了进一步的工作，形成了20世纪80年代中期以来人工神经网络的研究热潮。
1985年，Ackley、Hinton和Sejnowski将模拟退火算法应用于神经网络训练，提出了Boltzmann机。这种算法的优点是避免陷入极值，但训练时间需要较长时间。
在1986中，Rumelhart、Hinton和Williams提出了一种多层前馈神经网络的学习算法，即BP算法。从证明的角度推导了算法的正确性，为学习算法提供了理论基础。从学习算法的角度来说，是很大的进步。
1988年，Broomhead和Lowe首先提出了径向基网络:RBF网络。
总的来说，神经网络经历了一个从高潮到低谷再到高潮的曲折过程。