深度学习的历史

1孵化阶段

这个阶段主要指1956之前。从古至今,人们一直试图用各种机器来代替人的部分脑力劳动,以提高人征服自然的能力。其中,对人工智能的产生和发展产生重大影响的主要研究成果包括:

早在公元前384- 322年,伟大的哲学家亚里士多德就在其代表作《工具主义》中提出了形式逻辑的一些主要规律,他的三段论至今仍是演绎推理的基本基础。

F.英国哲学家培根系统地提出了归纳法和“知识就是力量”的警句。这对20世纪70年代以来人类思维过程的研究以及从人工智能到以知识为中心的研究的转变产生了重要影响。

德国数学家和哲学家G. W .莱布尼茨提出了通用符号和推理计算的思想。他认为可以建立一种通用的符号语言,并在这种符号语言上进行推理演算。这一思想不仅为数理逻辑的产生和发展奠定了基础,也是现代机器思维设计思想的萌芽。

英国逻辑学家c·布尔致力于思维规律的形式化和机械化,创立了布尔代数。他在《思维规律》一书中首次用符号语言描述了思维活动的基本推理规则。

A.英国数学家m·图灵在1936年提出了理想计算机的数学模型,为电子数字计算机的问世奠定了理论基础。

美国神经生理学家w·麦卡洛克和w·皮茨在1943年建立了第一个神经网络模型(M-P模型),开创了微观人工智能的研究领域,为后来的人工神经网络研究奠定了基础。

美国爱荷华州立大学的阿塔纳索夫教授和他的研究生贝里在1937到1941年间研制的世界上第一台电子计算机“阿塔纳索夫-贝里计算机(ABC)”为人工智能的研究奠定了物质基础。需要说明的是,世界上第一台计算机并不是像很多书上说的那样,是美国的莫克利和埃克特在1946年发明的。这是美国历史上一个著名的案例。

从以上发展过程可以看出,人工智能的产生和发展绝不是偶然的,它是科技发展的必然产物。

2形成阶段

这个阶段主要指1956-1969。1956年夏天,当时达特茅斯大学的青年数学助理、现在斯坦福大学的教授j·梅卡西(J. MeCarthy)加入了哈佛大学青年数学家、神经科学家、麻省理工学院教授m·l·明斯基(M. L. Minsky)和IBM信息研究中心负责人n·罗切斯特(N. Rochester)。由贝尔实验室信息部数学研究员C. E. Shannon共同发起,邀请普林斯顿大学的T.Moore和IBM的A. L. Samuel,麻省理工学院的O. Selfridge和R. Romof,美国兰德公司和卡内基梅隆大学的newell (A. Newell)和Simon (H. A. Simon)。会上,麦卡锡提议正式采用“人工智能”这一术语。麦卡锡因此被称为人工智能之父。这是一次具有历史意义的重要会议,标志着人工智能作为一门新学科正式诞生。此后,美国形成了一批人工智能研究组织,如纽维尔和西蒙的卡内基-兰德合作组、明斯基和麦卡锡的麻省理工学院研究组、塞缪尔的IBM工程研究组等。

在这次会议以来的10年中,人工智能的研究在机器学习、定理证明、模式识别、问题求解、专家系统和人工智能语言等方面取得了许多令人瞩目的成就,例如:

在机器学习方面,Rosenblatt在1957成功开发了感知器。这是一个利用神经元进行识别的系统。它的学习功能引起了广泛的兴趣,促进了连接机制的研究,但人们很快发现了感知器的局限性。

在定理证明方面,美籍华人数学逻辑学家王浩在1958年在IBM-704机器上证明了《数学原理》中关于命题演算的所有定理(220个),还证明了谓词演算中150个定理的85%,1965 Robinson (J.A

在模式识别方面,Ritchie,cerf在1959推出了模式识别程序,Roberts在1965编写了区分积木块的程序。

在问题解决方面,在1960中,newell等人通过心理学实验总结了人们解决问题的思维规律,编制了通用问题求解器(GPS),可以用来解决11不同类型的问题。

在专家系统方面,美国斯坦福大学feigenbaum领导的研究团队从1965开始研究专家系统DENDRAL,并于1968完成并投入使用。该专家系统能够根据质谱仪的实验,通过分析推理确定化合物的分子结构,其分析能力已经接近甚至超过相关化学专家的水平,并在美国、英国等国家得到了应用。该专家系统的成功开发,不仅为人们提供了一个实用的专家系统,而且对于知识的表示、存储、获取、推理和利用也是一次非常有益的探索,为未来专家系统的构建树立了榜样,对人工智能的发展产生了深远的影响,其意义远远超过了系统本身所创造的实用价值。

在人工智能语言方面,1960年,麦卡锡开发了人工智能语言(LISP),成为构建专家系统的重要工具。

国际人工智能联合会议(IJCAI)成立于1969,是人工智能发展史上的一个重要里程碑,标志着人工智能这一新兴学科得到了世界的肯定和认可。《人工智能》( Artificial Intelligence)是一本国际人工智能杂志,创刊于1970,对人工智能的发展和研究者之间的交流起到了重要的推动作用。

3发展阶段

这个阶段主要指1970之后。自20世纪70年代以来,许多国家开展了人工智能的研究,涌现出大量的研究成果。比如1972年,法国马赛大学的A. Comerauer提出并实现了逻辑程序设计语言PROLOG;从1972开始,斯坦福大学的E. H. Shorliffe等人开始开发MYCIN,这是一个用于传染病诊断和治疗的专家系统。

然而,和其他新兴学科的发展一样,人工智能的发展道路并不平坦。比如机器翻译的学习,并不像人们最初想象的那么容易。当时人们一直认为只有双向词典和一些词汇知识才能实现两种语言之间的互译。后来发现机器翻译远没有这么简单。事实上,有时候机器翻译出来的单词会出现可笑的错误。例如,当英语句子“眼不见,心不烦”被放。翻译成俄语,就变成“瞎了,疯了”;当英语句子“心有余而力不足”被翻译成俄语,然后又变成了“酒好肉坏”,即“酒好肉坏了”;当英语句子“时间像箭一样飞逝”被翻译成日语,然后回来,原来是“像箭一样飞逝”。由于机器翻译中的这些问题,美国政府顾问委员会在1960的一份报告中裁定:“没有通用的科学文本机器翻译,也没有近期的前景。”所以英美当时停止了对大部分机器翻译项目的资助。在其他方面,比如问题求解、神经网络、机器学习等。,他们也遇到了困难,让人工智能的研究一时陷入了两难的境地。

人工智能研究的先驱们认真反思和总结了前人研究的经验和教训。1977费根鲍姆在第五届国际人工智能联合大会上提出了“知识工程”的概念,在基于知识的智能系统的研究和构建中发挥了重要作用。大多数人已经接受了费根鲍姆关于人工智能以知识为中心的研究的观点。自此,人工智能的研究迎来了以知识为中心的蓬勃发展的新时期。

在此期间,专家系统的研究在许多领域取得了重大突破,各种不同功能、不同类型的专家系统如雨后春笋般建立起来,产生了巨大的经济效益和社会效益。如地质矿产勘查专家系统PROSPECTOR,拥有15种矿产资源知识,可以根据岩样和地质勘查资料进行矿产资源的估算和预测,推断矿床的分布、储量、品位和开采价值,制定合理的开采方案。利用这一系统,我们成功地发现了一个超过1亿美元的钼矿。专家系统MYCIN可以识别51种病菌,正确治疗23种抗生素,可以帮助医生诊断和治疗细菌感染性血液疾病,为患者提供最佳处方。该系统成功处理了数百例病例,并通过了严格的测试,显示了较高的医疗水平。美国DEC公司的专家系统XCON可以根据用户的要求确定电脑配置。专家做这项工作一般需要3个小时,而系统只需要0.5分钟,快了360倍。DEC还建立了其他专家系统,由此产生的净收入每年超过4000万美元。美国运通信用卡认证和决策专家系统可以防止不应有的损失,据说每年可以节省约2700万美元。

专家系统的成功使人们越来越清楚地认识到,知识是智能的基础,对人工智能的研究必须以知识为中心。知识表示、利用和获取的研究取得了很大进展,特别是不确定知识的表示和推理,建立了主观贝叶斯理论、确定性理论和证据理论,为人工智能中模式识别和自然语言理解的发展提供了支持,解决了许多理论和技术问题。

人工智能在游戏中的成功应用也引起了全世界的关注。人们一直对游戏的研究感兴趣。早在1956,人工智能作为一门学科刚刚问世的时候,塞缪尔就开发了一个跳棋程序。这个程序可以借鉴棋谱,从下棋的练习中提高棋艺。1959战胜了塞缪尔本人,1962战胜了另一个州冠军。1991 8月在悉尼举行的12人工智能国际联合会议上,IBM开发的“深度思维”计算机系统与澳大利亚国际象棋冠军D. Johansen进行了一场人机比赛,结果以1:1的平局告终。1957年,西蒙预言计算机可以在10年内打败人类世界冠军。虽然在10年没有实现,但是40年后,深蓝计算机战胜了棋王卡斯帕罗夫,只比预测晚了30年。

1996从10年2月到17年2月,为了纪念世界上第一台电子计算机诞生50周年,美国IBM公司斥巨资邀请棋王卡斯帕罗夫与IBM的深蓝计算机系统进行了一场6局的“人机大战”。这款游戏被称为“人脑与计算机的世界决战”。双方代表了世界上人类大脑和计算机的最高水平。当时深蓝是一台运算速度为每秒1亿次的超级计算机。第一盘,深蓝给卡斯帕罗夫决斗,夺得世界冠军,给了世界棋坛极大的震动。但卡斯帕罗夫总结经验,稳扎稳打,赢了剩下的五局三局,平了两盘,最终以总比分4:2获胜。一年后,1997年5月3日至11年5月3日,深蓝再次挑战卡斯帕罗夫。此时的深蓝是一台RS/6000SP/2超级计算机,拥有32个处理器和强大的并行计算能力,运算速度为每秒2亿次。电脑储存了一百多年来世界顶尖棋手的棋谱。5月3日,棋王卡斯帕罗夫首盘击败深蓝,5月4日深蓝扳回一盘。之后双方战平三局。双方决胜局于5月11拉开帷幕。卡斯帕罗夫在这场比赛中只走了19步就放弃了抵抗,比赛只用了1小时多一点。就这样,深蓝最终以3.5: 2.5的总比分赢得了举世瞩目的“人机大战”。深蓝的胜利显示了人工智能的成就。虽然它的棋局远非真正模拟人类的思维模式,但它已经向世人表明,计算机可以以远超人类的速度和精度,完成大量属于人类思维的任务。深蓝精妙的残局策略让观战的棋手们大吃一惊。卡斯帕罗夫还说:“这个游戏有很多新发现,其中之一就是计算机有时可以走出人性化的棋步。在一定程度上,我忍不住称赞这台机器,因为它对潜在因素有着深刻的理解,我认为这是一项杰出的科学成就。”因为这场胜利,IBM的股票升值到6543.8+08亿美元。

4人工智能学院

根据前面的讨论,我们知道,要理解人工智能,必须研究如何在一般意义上定义知识。不幸的是,准确定义知识也是一件非常复杂的事情。严格地说,人们所使用的知识的最早定义是柏拉图在《泰亚德斯》中给出的,即“被证明的真信念”(简称JTB条件)。

然而,这个延续了两千多年的定义,在1963年被哲学家盖蒂尔否定了。Gettier提出了一个著名的悖论(简称“Gettier悖论”)。这种悖论表明,柏拉图的书面知识存在严重缺陷。虽然后来给出了很多可供选择的知识定义,但直到现在仍然没有定论。

但是关于知识,至少有一点是明确的,那就是知识的基本单位是概念。掌握任何一门知识,都要从这门知识的基本概念开始学习。而知识本身就是一个概念。所以,如何定义一个概念,对人工智能来说意义重大。给出一个定义看似简单,其实很难,因为它往往涉及到自指的性质(自指:词性的转换——从谓语到体词性,而语义不变)。一旦涉及到自我指称,就会出现很多问题,很多语义悖论都是出于概念上的自我指称

自指与移情的概念最早源于朱的《自指与移情》(方言1983,第1期,《朱文集》第3卷)。卢建明先生在《20世纪80年代中国语法研究》(第98页)中说:“自指和转指的区别在于,自指只不过是一种词性的转换——从谓语变成体词性,而语义不变;移情不仅是词类的转换,也是语义的改变,尤其是行为或本质本身转化为与行为或本质相关的东西。”

例如:

(1)老师来了(“老师”指授课的人);教的时候要小心(“教”的意思没变,是自指)。

②不插电这个词的本义是“不要使用(电源)插座”,指的是本身;常用来指不使用电子乐器的演唱。

(3)③表示有颜色时,有色是指它本身。有色指有色人的时候,就是转身的意思。

有钱,有钱,指的是自己。有钱人,有钱人,都是声东击西。

知识本身就是一个概念。相应地,人工智能的问题就变成了以下三个问题:第一,如何定义(或表达)一个概念,如何学习一个概念,如何应用一个概念。因此,深入研究这一概念是非常必要的。

那么如何定义一个概念呢?为简单起见,这里先讨论最简单的经典概念。经典概念的定义由三部分组成:第一部分是概念的符号表示,即概念的名称,说明概念叫什么,或简称概念名;第二部分是概念的内涵表达,用一个命题来表达,这个命题是一个可以判断真假的陈述句。第三部分是概念的外延,以经典集为代表,解释概念对应的实际对象是什么。

以一个常见的经典概念为例——素数,其内涵是一个命题,即只能被1和自身整除的自然数。

这个概念是做什么的?或者说概念定义的各个组成部分的作用是什么?经典概念定义的三个部分各有其作用,不能相互替代。具体来说,一个概念有三个功能。要掌握一个概念,必须明确它的三个功能。

第一个功能是概念的指称功能,即指向客观世界的对象,代表对象在客观世界中的可观测性。物体的可观测性是指物体对人或仪器的感知特征,不依赖于人的主观感受。从《阿q正传》中举个例子:赵的狗为什么看我?句子中的“赵的狗”应该是指现实世界中的一只真狗。但概念的所指功能有时可能实现不了,有些概念假设对象在现实世界中是不存在的,比如“鬼”。

第二个功能是指心的功能,即指向人的心理世界中的对象,代表心理世界中的对象表征。鲁迅有一篇著名的文章《论失落的资本家的走狗》。显然,这个“狗”不是现实世界的狗,而是他精神世界的狗,也就是他心中的狗(客观世界里,梁实秋先生显然无论如何也不是狗)。指向概念核心的功能必须存在。如果一个概念的指心功能对于某个人来说没有实现,这个词对那个人来说就是看不见的。简而言之,那个人不理解这个概念。

最后一个功能是命名功能,即指向认知世界或符号世界来表示物体的符号名称,这些符号名称形成了各种语言。最著名的例子是乔姆斯基的《无色的绿色思想沉睡狂怒》,翻译过来就是“无色的绿色思想正在狂怒地休息”。这句话没有任何意义,但完全符合语法,纯粹是在语义符号世界里,也就是只指向符号世界。当然,还有其他的事情。“如何用鸳鸯两个字写一本书”指的是由鸳鸯两个字组成的名字。一般来说,概念的命名功能依赖于不同的语言系统或符号系统,这些语言系统或符号系统是人类创造的,属于认知世界。同一个概念,在不同的符号体系中可能没有相同的名称,比如中文的“雨”,英文的“雨”。

根据波普尔的三个世界理论,认知世界、物理世界和心理世界是相关的,但又是不同的。因此,虽然一个概念的三个功能是相互关联的,但它们也是不同的。更重要的是,自从人类文明发展以来,这三种功能一直在发展,变得越来越复杂,但三种功能的概念并没有改变。

在现实生活中,要想理解一个概念,需要知道概念的三个作用:知道概念的名称,知道概念所指的对象(可能是物理世界)。要有概念在自己的心理世界里的形象(或形象)。如果只有一个,那就不行。

了解了概念的三大功能后,我们就可以了解人工智能的三大流派以及它们之间的关系。

人工智能也是一个概念,而要让一个概念成为现实,自然要实现概念的三大功能。人工智能三大流派重点在于如何让机器具备人工智能,并根据概念的不同作用给出了不同的研究路线。侧重于AI命名功能的人工智能学派变成了象征主义,侧重于AI指心功能的人工智能学派是联结主义,侧重于AI指物功能的人工智能学派变成了行为主义。

1.象征主义

象征主义的代表人物是西蒙和纽维尔,他们提出了物理符号系统假说,即只要在符号计算中实现了相应的功能,在现实世界中也实现了相应的功能,这是智能的充要条件。所以,象征主义认为,只要在机器上是正确的,现实世界就是正确的。说的通俗一点,名字对了,引用自然就对了。

在哲学上,还有一个著名的关于物理符号系统假设的思想实验——本章1.1.3节提到的图灵测试。图灵测试要解决的问题是如何判断一台机器是否具有智能。

图灵测试将智能的表现完全限制在命名功能上。但是,马教授的故事已经表明,在命名功能中只实现了概念的功能,并不意味着一定要实现概念的指称功能。实际上,哲学家约翰·赛勒根据命名和指称的区别,专门设计了一个思想实验来批判图灵测试,也就是著名的中国屋实验。

《中国之家》中的实验清楚地表明,即使符号化成功了,计算也全是符号化的,并不一定与现实世界相联系,即完全实现命名功能也不一定是智能的。这是哲学上对象征主义的正式批判,明确指出根据象征主义实现的人工智能不等于人类智能。

尽管如此,符号主义仍然在人工智能的研究中发挥着重要作用,其早期工作的主要成果体现在机器证明和知识表示上。在机器证明方面,西蒙和纽维尔早期做出了重要贡献,王浩、吴文俊等中国人也得到了非常重要的成果。经过机器证明,象征主义最重要的成果是专家系统和知识工程,最著名的学者是费根鲍姆。如果你认为所有的智能都可以沿着这条路实现,那显然有问题。日本的五代智能机走的是知识工程的道路,后来的失败在现在来看完全合乎逻辑。

实现象征主义主要有三个思路。首先是概念组合爆炸的问题。每个人都有5万个左右的基本概念,但它们形成的组合概念是无穷无尽的。因为常识是无穷无尽的,推理的步骤也可以是无穷无尽的。二是命题的组合悖论。两者都是合理的命题,组合起来就成了无法判断真假的句子,比如著名的库里悖论)(1942+0942)。第三个也是最难的问题是,经典概念在现实生活中很难得到,知识很难提取。以上三个问题成为象征主义发展的瓶颈。

2.连接主义

连接主义认为,大脑是一切智能的基础,主要着眼于大脑神经元及其连接机制,试图发现大脑的结构及其处理信息的机制,揭示人类智能的本质机制,进而在机器上实现相应的模拟。有人指出,知识是智能的基础,概念是知识的基本单位,所以联结主义实际上关注的是概念的心理表征以及如何在计算机上实现,这与概念的心理功能相对应。2016发表在《自然》杂志上的一篇学术论文揭示了大脑语义图谱的存在。文章指出,概念可以在每个脑区找到对应的表征区域,概念的心智表征确实存在。因此,联结主义也有其坚实的物理基础。

联结主义的早期代表人物包括麦卡洛克、皮茨、霍普菲尔德等。按照这条道路,连接主义认为完全的人工智能是可以实现的。对此,哲学家普特南设计了著名的“坦克实验中的大脑”,可以看作是对联结主义的哲学批判。

罐子里的大脑实验是这样描述的:一个人(你可以假设你自己)被一个邪恶的科学家做了手术,他的大脑被切了下来,放在一个装有营养液的罐子里。大脑的神经末梢与计算机相连,计算机根据程序向大脑传递信息。对于这个人来说,人、物、天都是存在的,可以输入神经感受。这个大脑也是可以输入和截取的,比如脑外科手术的记忆,然后输入他可能经历的各种环境和日常生活,甚至可以输入代码来“感觉”他在读这段有趣而荒诞的文字。

大桶实验中的大脑表明,即使实现了连接主义,手指中枢也没有问题,但手指仍然存在严重的问题。所以,连接主义实现的人工智能不等于人类智能。

尽管如此,连接主义仍然是最知名的AI实现路线。围棋中,使用深度学习技术的AlphaGo战胜了李世石,之后又战胜了柯洁。在机器翻译中,深度学习技术已经超越了人类翻译水平。在语音识别和图像识别中,深度学习也达到了实用化的水平。客观来说,深度学习的研究成果已经有了产业化的进展。

然而,这并不意味着连接主义可以实现人类的智能。更重要的是,即使我们想实现完全的连接主义,也会面临巨大的挑战。到目前为止,人们并不清楚人脑表达概念的机制,也不清楚概念在人脑中的具体形式、表现形式和组合方式。现在的神经网络和深度学习,其实离人脑的真实机制还很远。

3.行为主义

行为主义假设智能依赖于感知和行动,不需要知识、表征和推理,只需要表现出智能的行为,即只要能实现指称事物的功能,就可以认为是智能的。这个学派的早期代表作品是布鲁克斯的六足爬行机器人。

对此,哲学家普特南也设计了一个思想实验,可以看作是对行为主义的哲学批判,即“完美的伪装者和斯巴达人”。一个完美的伪装者可以根据外界的需要进行一场完美的表演。当他需要哭的时候,他可以让人哭,当他需要笑的时候,他可以让人开心,但他的内心可能永远平静如常。而斯巴达人,无论是极度兴奋还是冷酷无情,在他们面前总是一副泰山崩于前的样子。完美伪装者和斯巴达人的外在表现与他们的内心无关。这样的智力如何从外在行为中测试出来?所以行为主义路线实现的人工智能不等于人类智能。

对于行为主义路线,它所面临的最大困难可以用莫拉维克悖论来解释。所谓莫拉维克悖论,就是计算机难的问题很简单,简单的问题很难。最难复制的是人类技能中的无意识技能。目前,模拟人的动作技能面临着巨大的挑战。比如我在网上看到波士顿动力的人形机器人可以做高难度后空翻,大狗机器人可以在任何地形上负重,动作能力好像很强。但是这些机器人都有一个很大的缺点——能耗太高,噪音太大。大狗机器人最初是美军订购的,但由于大狗机器人的声音十英里外都能听到,大大提高了成为活靶子的可能性,使其在战场上几乎毫无用处,美军最终放弃了购买。