人工神经网络，人工神经网络是什么意思？
人工神经网络(ANN)是基于生物学中神经网络基本原理的数学模型。它是在了解和抽象了人脑的结构和对外界刺激的反应机制后，基于网络拓扑的知识，模拟人脑的神经系统对复杂信息的处理机制。该模型具有并行分布式处理能力、高容错性、智能化和自学习能力等特点，集信息处理和存储于一体，以其独特的知识表示和智能自适应学习能力吸引了各学科的关注。实际上是一个由大量简单元件互联而成的复杂网络，具有高度的非线性，可以进行复杂的逻辑运算和非线性关系。
神经网络是一种运算模型，由大量相互连接的节点(或神经元)组成。每个节点代表一个特定的输出函数，称为激活函数。每两个节点之间的连接代表通过该连接的信号的加权值，该值称为权重。这样，神经网络模拟了人类的记忆。网络的输出取决于网络结构、网络连接方式、权重和激活函数。网络本身通常是某种算法或函数的近似，或者它可能是一种逻辑策略的表达。神经网络的构建思想受到生物神经网络运行的启发。人工神经网络将生物神经网络的认识与数理统计模型相结合，借助数理统计工具实现。另一方面，在人工智能的人工感知领域，我们利用数理统计的方法，使神经网络具有类似于人类的决策能力和简单判断能力。这种方法是传统逻辑演算的进一步扩展。
在人工神经网络中，神经元处理单元可以表示不同的对象，如特征、字母、概念或一些有意义的抽象模式。网络中有三种类型的处理单元:输入单元、输出单元和隐藏单元。输入单元从外界接收信号和数据；输出单元实现系统处理结果的输出；隐藏单元是位于输入和输出单元之间的单元，不能被系统外部观察到。神经元之间的连接权重反映了细胞之间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、自适应、脑式的信息处理。其本质是通过网络变换和动态行为，获得一种并行、分布式的信息处理功能，不同程度、不同层次地模仿人脑神经系统的信息处理功能。
神经网络是一种信息处理的数学模型，类似于大脑的突触连接结构。它是基于人类对大脑组织组合和思维机制的理解而模拟出来的。它是植根于神经科学、数学、思维科学、人工智能、统计学、物理学、计算机科学和工程科学的技术。
二、人工神经网络的发展
神经网络的发展有着悠久的历史。其发展过程大致可以概括为以下四个阶段。
1.第一阶段——启蒙时期
(1)，M-P神经网络模型:20世纪40年代，人们开始研究神经网络。1943年，美国心理学家麦克库洛奇和数学家皮茨提出了简单而有意义的M-P模型。在该模型中，神经元被视为实现算法的功能逻辑器件，神经网络模型的理论研究也由此展开。
(2) Hebb法则:1949年，心理学家Hebb发表了《行为的组织》，他在书中提出了突触联系的强度是可变的假设。该假说认为，学习过程最终发生在神经元之间的突触处，突触的连接强度随着突触前后神经元的活动而变化。这个假设在后来的神经网络中发展成了非常著名的Hebb规则。这个定律告诉人们，神经元之间突触连接的强度是可变的，这种可变性是学习和记忆的基础。Hebb规则为构造具有学习功能的神经网络模型奠定了基础。
(3)感知器模型:1957，Rosenblatt提出了基于M-P模型的感知器模型。感知器模型具有现代神经网络的基本原理，其结构非常符合神经生理学。这是一个具有连续可调权向量的MP神经网络模型。经过训练，可以达到对某些输入向量模式进行分类识别的目的。虽然比较简单，但却是第一个真正意义上的神经网络。Rosenblatt证明了两层感知器可以对输入进行分类，他还提出了具有隐层处理元素的三层感知器的重要研究方向。罗森布拉特的神经网络模型包含了现代神经计算机的一些基本原理，从而形成了神经网络方法和技术的重大突破。
(4) ADALINE网络模型:1959美国著名工程师B.Widrow、M.Hoff等提出了自适应线性元素和Widrow-Hoff学习规则(也称最小均方误差算法或δ规则)的神经网络训练方法，并将其应用于实际工程中。ADALINE网络模型是一种具有连续值的自适应线性神经网络模型，可用于自适应系统。
2.第二阶段——低潮期
人工智能的创始人之一Minsky和Papert对数学中以感知器为代表的网络系统的功能和局限性进行了深入的研究，并在1969出版了轰动一时的《感知器》一书，指出简单线性感知器的功能是有限的，它不能解决线性不可分的两类样本的分类问题，比如简单线性感知器不能实现异或的逻辑关系。这个结论给当时人工神经网络的研究带来了沉重的打击。神经网络发展史上10年的低潮期开始了。
(1)，自组织神经网络的SOM模型:1972，芬兰KohonenT教授提出了SOM(自组织特征图)。后来的神经网络主要是根据KohonenT的工作实现的。SOM网络是一种无监督学习网络，主要用于模式识别、语音识别和分类。它采用了一种“胜者为王”的竞争学习算法，与之前提出的感知器有很大不同。同时，它的学习和训练模式是无监督训练，是一个自组织网络。当我们不知道存在哪些分类类型时，这种学习和训练方法经常被用作提取分类信息的一种训练。
(2)自适应共振理论ART: 1976美国Grossberg教授提出了著名的自适应共振理论ART(Adaptive Resonance Theory)，其学习过程具有自组织、自稳定的特点。
3.第三阶段——复兴时期
(1)，Hopfield模型:1982，美国物理学家Hopfield提出了离散神经网络，即离散Hopfield网络，有力地推动了神经网络的研究。在网络中，它第一次将李亚普诺夫函数引入其中，后来的研究者也将李亚普诺夫函数称为能量函数。证明了网络的稳定性。1984中，Hopfield提出了连续神经网络，将网络中神经元的激活函数由离散变为连续。在1985中，Hopfield和Tank用Hopfield神经网络解决了著名的旅行商问题。Hopfield神经网络是一组非线性微分方程。Hopfield的模型不仅总结了人工神经网络在非线性数学中的信息存储和提取功能，提出了动力学方程和学习方程，还为网络算法提供了重要的公式和参数，为人工神经网络的构建和学习提供了理论指导。在Hopfield模型的影响下，一大批学者激起了研究神经网络的热情，积极投身于这一学术领域。由于Hopfield神经网络在许多方面具有巨大的潜力，人们非常重视神经网络的研究，更多的人开始研究神经网络，极大地促进了神经网络的发展。
(2)玻尔兹曼机器模型:1983，柯克帕特里克等人实现了模拟退火算法可以用来求解NP完全组合优化问题。这种模拟高温物体退火过程寻找全局最优解的方法，最早是由Metropli等人在1953提出的。1984年，Hinton与青年学者Sejnowski合作提出了大规模并行网络学习机，并明确提出了隐单元的概念，后来被称为Boltzmann机。
Hinton和Sejnowsky利用统计物理的概念和方法，首先提出了多层网络的学习算法，称为Boltzmann机模型。
(3) BP神经网络模型:在1986中，D.E.Ru melhart等人提出了多层神经网络权值校正的反向传播学习算法——BP算法，解决了多层前馈神经网络的学习问题，证明了多层神经网络具有很强的学习能力。
(4)并行分布式处理理论:1986《并行分布式处理:认知微观结构中的探索》鲁梅尔哈特和麦克肯德主编，他们在其中建立了并行分布式处理理论。主要致力于认知的微观研究，同时详细分析了具有非线性连续传递函数的多层前馈网络的误差反向传播(BP)算法，解决了长期以来没有有效算法进行权值调整的问题。可以解决感知器解决不了的问题，回答了关于神经网络在感知器中的局限性的问题，证明了人工神经网络在实践中具有很强的计算能力。
(5)细胞神经网络模型:在1988中，Chua和Yang提出了细胞神经网络(CNN)模型，这是一种具有细胞自动机特性的大规模非线性计算机模拟系统。Kosko建立了双向联想记忆模型(BAM)，具有无监督学习能力。
(6)达尔文主义模型:埃德尔曼提出的达尔文主义模型在90年代初影响很大，他建立了神经网络系统理论。
(7)在1988中，Linsker提出了一种新的感知器网络自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。
(8)，1988，Broomhead和Lowe提出了具有径向基函数的分层网络(RBF)的设计方法，从而将NN的设计与数值分析和线性自适应滤波联系起来。
(9)1991年，哈肯将协作引入神经网络。在他的理论框架中，他认为认知过程是自发的，并断言模式识别过程是模式形成过程。
(10)和1994，廖提出了细胞神经网络的数学理论和基础，带来了该领域的新进展。通过扩展神经网络的激活函数，给出了延迟细胞神经网络(DCNN)、Hopfield神经网络(HNN)和双向联想记忆网络(BAM)的更一般模型。
(11)，90年代初，Vapnik等人提出了支持向量机(Supportvector machines，SVM)和VC(Vapnik-Chervonenkis)维数的概念。
经过多年的发展，已经提出了数百种神经网络模型。