有人能介绍一下什么是“神经网络”吗?
每个人都有自己的看法。所以科学界对神经网络有很多不同的定义。
洞察力。目前,T.Koholen的定义应用最广,即“神经网络是由自适应的
一种由自适应简单单元组成的广泛平行的互联网络,其组织可以模拟生物神经
系统对现实世界物体的交互反应。"
如果我们将人脑信息活动的特征与当前冯·诺依曼计算机的工作面进行比较
类型比较,可以看出人脑有以下显著特征:
1.大规模并行。
在冯·诺依曼机器中,信息处理的方式是集中的、串行的,即所有程序都引用。
命令必须传送到CPU,然后逐一执行。人们正在识别一幅图像或制作一件物品。
在做决定的时候,大脑中存在的很多方面的知识和经验会同时行动,做出快速的回答。
据研究,人脑中大约有10(10)~ 10(11)个神经元,每个神经元
103数量级的连接,这就提供了巨大的存储容量,需要的时候可以高水平使用。
判断反应速度。
2.信息处理和存储单元结合在一起。
在冯诺依曼机中,存储内容和存储地址是分开的,必须先找到存储。
地址,然后我们就可以找出存储了什么。一旦存储器中出现硬件故障,存储器
所有存储的信息都将被销毁。而人脑神经元既有信息处理能力,又有存储能力。
函数,所以它不仅不需要在调出存储内容之前找到存储地址,而且可以
以便从内容的一部分恢复整个内容。当“硬件”故障发生时(如头部受伤),以及
并不是所有存储的信息都是无效的,只是丢失了信息中损坏最严重的部分。
3.自组织和自学习功能。
冯·诺依曼机器没有主动学习能力和适应能力,它只能跟着字母走。
人们已经编制了程序步骤来进行相应的数值计算或逻辑计算。人脑可以
通过内部的自组织和自学习能力,我们可以不断适应外部环境,这样我们就可以有效地
处理各种模拟的、模糊的或随机的问题。
神经网络研究的主要发展过程大致可以分为四个阶段:
1.第一阶段是20世纪50年代中期以前。
西班牙解剖学家卡哈尔在19世纪末创立了神经元理论,认为神经
该细胞呈双极形状,其细胞体和树突接收来自其他神经元的脉冲,而轴突则发出信号。
从细胞体转移出去。在他之后,各种染色技术和微电极技术不断被发明出来。
提供了神经元的主要特征和电特性。
1943年,美国心理学家W.S .麦卡洛克和数学家W.A .皮茨写了他们的论文《神经》。
思维活动中包含的逻辑活动,提出了一个非常简单的神经元模型,即
M-p模型。这个模型把神经元当作一个功能逻辑器件,从而创造了神经。
网络模型的理论研究。
1949年,心理学家D.O. Hebb写了一本名为《行为的组织》的书,其中
在书中,他提出了神经元之间连接强度变化的规律,后来被称为Hebb学习规律。
赫布写道:“当神经细胞A的轴突足够靠近细胞B并能使其兴奋时,如果A很重,
如果重复或连续刺激B,那么这两个细胞或其中一个细胞上一定有一些生长或生成。
得益于流程的改变,这个改变提高了A激活b的效率”简单来说就是
如果两个神经元都被兴奋,它们之间的突触连接强度就会增加。
强壮。
20世纪50年代初,生理学家霍迪金和数学家赫胥黎正在研究神经细胞膜的等效电。
路径,膜上的离子迁移分别相当于可变的Na+电阻和K+电阻,从而建立
著名的霍迪金-赫胥黎方程成立了。
这些先驱的工作激励了许多学者从事这方面的研究,从而成为一个神经测量仪。
计算的出现奠定了基础。
第二阶段是从50年代中期到60年代末。
1958年,F.Rosenblatt等人开发了历史上第一个学习型神经网络。
模式识别装置的特征,即代号为Mark I的感知器,这个重
这个大事件标志着神经网络研究的第二阶段。对于没有中间层的最简单的
罗森布拉特证明了学习算法的收敛性,这是迭代。
更改连接权限,使网络执行预期的计算。
后来,罗森布拉特、B.Widrow等人创造了一种不同类型的学习神经。
网络处理单元,即自适应线性元件Adaline,还发现了一种Adaline与
强制学习规则,这个规则现在还在广泛使用。Widrow还建立了第一个神经测量仪。
计算机硬件公司,实际上在20世纪60年代中期生产了商用神经计算机和神经计算机软件。
件。
除了Rosenblatt和Widrow,现阶段还有很多人在研究神经计算的结构和构造。
他为思想的实现做出了巨大的贡献。例如,K.Steinbuch研究了所谓的学习矩阵。
一种二元联想网络结构及其硬件实现。N.Nilsson于1965出版
《机器学习》一书总结了这一时期的活动。
第三阶段是20世纪60年代末至80年代初。
第三阶段的开始,以M .明斯基和S.Papert在1969年写的《感知机器》一书为标志。
的出版。在本书中,对单层神经网络进行了深入的分析和数学证明。
复杂函数有限,甚至不能解决像异或这样简单的逻辑运算问题。同时,他们
也发现有很多模式是单层网络无法训练出来的,多层网络是否可行值得研究。
怀疑。
由于M.Minsky在人工智能领域的巨大声望,他在著作中所作出的悲观结论
给当时沿着感知机方向的神经网络研究泼了一盆冷水。发表在《感知机器》一书中
之后的15年美国联邦基金没有资助神经网络的研究工作,前苏联也有。
几个有前途的研究项目被取消了。
然而,即使在这种低潮中,仍然有一些研究人员继续致力于神经网络的研究。
作品,如美国波士顿大学的S.Grossberg和芬兰赫尔辛基理工大学的T.Kohonen。
以及日本东京大学的甘利军。他们不懈的工作是研究神经网络。
复兴开辟了道路。
4.第四阶段是80年代初至今。
1982,加州理工学院生物物理学家J.J.Hopfield采用了全互联型。
神经网络模型使用定义的计算能量函数,成功地解决了如下计算复杂性
NP-完全旅行商问题(TSP)。这
这一突破标志着对神经网络的研究进入了第四阶段,也是蓬勃发展的阶段。
舞台。
Hopfield模型提出后,许多研究人员试图扩展该模型,使其更接近人脑。
功能特点。在1983中,T.Sejnowski和G.Hinton提出了“隐藏单元”的概念,并且
玻尔兹曼机已经研制出来了。在罗森布拉特感知机的基础上,
通过增加隐层单元,构造了一个可以实现联想学习的“认知机”。Kohonen应用程序3000
二维网络的联想学习功能是通过用三个阈值器件构造神经网络来实现的。1986,
D.鲁梅尔哈特和J .麦克莱兰出版了一本轰动一时的书《并行分布式处理-认知》。
《微观结构的探索》,该书的出版宣告了神经网络的研究进入了一个高潮。
1987,第一届国际神经网络会议在圣地亚哥召开,国际神经网络联合会。
(客栈)成立。INNS随后创办了《神经网络》等杂志。
神经计算和IEEE神经学报等专业杂志。
网络,国际神经系统杂志等。
出来吧。世界上许多著名大学相继宣布成立神经计算研究所,并制定相关教育。
计划,许多国家也成立了神经网络学会,并举办各种地区性和国际性的。
会议、优秀作品、重大成果不断涌现。
今天,经过多年的准备和探索,神经网络的研究工作已经进入了决定性阶段。
定性阶段。日本、美国和西欧国家都制定了相关的研究计划。
日本制定了“人类前沿科学计划”。该计划持续15-20年,仅
初期投资超过1万亿日元。在这个计划中,神经网络和大脑功能的研究占据了。
重要的地位,因为所谓“人类前沿科学”首先指的是人脑和经。
参照人脑开发新一代计算机的科学领域。
在美国,神经网络的研究得到了军方的大力支持。美国国防部投资
4亿美元,由国防部高级研究计划局(DAPRA)制定了一项为期8年的研究计划。
并成立相应的组织和指导委员会。同时,海军研究办公室(ONR)和空军
科学研究办公室(AFOSR)等也在神经网络的研究上投入了巨额资金。DARPA认识到
因为神经网络“似乎是解决机器智能的唯一希望”,并认为“这是一个比原子弹更好的东西”。
工程是更重要的技术”。国家科学基金会、国家航空航天局(美国国家航空航天局)
和其他政府机构也非常重视神经网络的发展,它以不同的形式支持许多。
研究课题。
欧共体也制定了相应的研究计划。在其ESPRIT计划中,有一个项目是
《神经网络在欧洲工业中的应用》,除了英国和德国的原子能机构,还有很多。
三家欧洲大公司参与了这一研究项目,如英国航空航天公司和德国西门子公司。
另外,西欧一些国家也有自己的研究计划,比如德国,从1988开始就在进行一个。
一个名为“神经信息理论”的研究项目。
从1986开始,中国举办了多次非正式的神经网络研讨会。1990
65438+2月,由中国计算机联合会、电子所、人工智能所、自动化所、通信所。
物理学会、生物物理学会、心理学会等8个学会在北京联合召开“中国”大会。
中国首届神经网络学术会议”,从而开创了中国神经网络研究的新纪元。