我的网站

深度学习(deep learning)发展史

2022-01-21 09:02分类:招聘海报 阅读:

学习任一门知识都答该先从其历史结果,把握了历史,也就抓住了此刻与将来 ———by BryantLJ

近几年深度学习发展迅猛,更是由于前段时间的谷歌的AlphaGo而轰动暂时,国内也结果迎来这一技术的钻研炎潮,那这么火的深度学习到底是经历了一段怎样的发展过程呢?下面吾们就来知道一下深度学习发展史。

1943年

由神经科学家麦卡洛克(W.S.McCilloch) 和数学家皮兹(W.Pitts)在《数弟子物物理学公告》上发外论文《神经疏通中内在想法的逻辑演算》(A Logical Calculus of the Ideas Immanent in Nervous Activity)。设置了神经网络和数学模型,称为MCP模型。所谓MCP模型,其实是驯服征服生物神经元的结宣战办事原理布局出来的一个抽象和简化了的模型,也就诞生了所谓的“模拟大脑”,人为神经网络的大门由此开启。

麦卡洛克(W.S.McCilloch)

皮兹(W.Pitts)

MCP那时是企看不妨用计算机来模拟人的神经元逆答的过程,该模型将神经元简化为了三个过程:输入信号线性加权,乞降,非线性激活(阈值法)。如下图所示

1958年

计算机科学家罗森布拉特( Rosenblatt)挑出了两层神经元构成的神经网络,称之为“感知器”(Perceptrons)。第一次将MCP用于机器学习(machine learning)分类(classification)。“感知器”算法算法运用MCP模型对输入的多维数据进动二分类,且不妨运用梯度灰心法从训练样本中自动学习更新权值。1962年,该手腕被说明为不妨抑制,理论与实践成绩引首第一次神经网络的浪潮。

1969年

纵不好看科学发展史,无疑都是足够挫折的,深度学习也毫不破例。 1969年,美国数学家及人为智能先驱 Marvin Minsky 在其著作中说懂得感知器心里上是一栽线性模型(linear model),只能处理线性分类题目,就连最浅显的XOR(亦或)题目都无法无误分类。这等于直接宣判了感知器的归天刑,神经网络的钻研也陷入了将近20年的呆滞。

1986年

由神经网络之父 Geoffrey Hinton 在1986年发懂得适用于多层感知器(MLP)的BP(Backpropagation)算法,并采用Sigmoid进动非线性映射,有效解决了非线性分类和学习的题目。该手腕引首了神经网络的第二次炎潮。

注:Sigmoid 函数是一个在生物学中常见的S型的函数,也称为S型助长弯线。在消休科学中,由于其单增以及逆函数单增等性质,Sigmoid函数常被用作神经网络的阈值函数,将变量映射到0,1之间。

90年代时期

1991年BP算法被指出存在梯度消散题目,也就是说在谬误梯度后项传递的过程中,后层梯度以乘性方式叠加到前层,由于Sigmoid函数的饱和特性,后层梯度正本就小,谬误梯度传到前层时几乎为0,是以无法对前层进动有效的学习,该题目直接停滞了深度学习的进一步发展。

此外90年代中期,帮助向量机算法诞生(SVM算法)等各栽浅层机器学习模型被挑出,SVM也是一栽有监督的学习模型,使用于模式识别,分类以及回归分析等。帮助向量机以统计学为基础,和神经网络有显著的分别,帮助向量机等算法的挑出再次停滞了深度学习的发展。

发展期 2006年 - 2012年

2006年,加拿大多伦多大学教授、机器学习界限泰斗、神经网络之父—— Geoffrey Hinton 和他的弟子 Ruslan Salakhutdinov 在顶尖学术刊物《科学》上发外了一篇文章,该文章挑出了深层网络训练中梯度消散题目的解决方案:无监督预训练对权值进动初首化+有监督训练微调。斯坦福大学、纽约大学、加拿大蒙特利尔大学等成为钻研深度学习的重镇,至此开启了深度学习在学术界和工业界的浪潮。

Geoffrey Hinton

2011年,ReLU激活函数被挑出,该激活函数不妨有效的按捺梯度消散题目。2011年以来,微柔首次将DL使用在语音识别上,取得了强盛突破。微柔钻研院和Google的语音识别钻研人员先后采用DNN技术降矬语音识别舛错率20%~30%,是语音识别界限十多年来最大的突破性进展。2012年,DNN技术在图像识别界限取得惊人的成绩,在ImageNet评测上将舛错率从26%降矬到15%。在这一年,DNN还被使用于制药公司的DrugeActivity预计题目,并获得世界最益收成。

爆发期 2012 - 2017

2012年,Hinton课题组为了说明深度学习的潜力,首次参加ImageNet图像识别比赛,其经由过程构建的CNN网络AlexNet一举夺得冠军,且碾压第二名(SVM手腕)的分类性能。也正是由于该比赛,CNN吸引到了多多钻研者的肃穆。

AlexNet的创新点在于:

(1)首次采用ReLU激活函数,极大增大抑制速度且从根本上解决了梯度消散题目。

(2)由于ReLU手腕没关系很益按捺梯度消散题目,AlexNet遗舍了“预训练+微调”的手腕,十足采用有监督训练。也正由于如许,DL的主流学习手腕也是以变为了纯粹的有监督学习。

(3)扩展了LeNet5结构,补充Dropout层减小过拟相符,LRN层加强泛化能力/减小过拟相符。

(4)第一次运用GPU加速模型计算。

2013、2014、2015、2016年,经由过程ImageNet图像识别比赛,DL的网络结构,训练手腕,GPU硬件的延续挺进,促使其在其他界限也在延续的慑服战场。

2016年3月,由谷歌(Google)旗下DeepMind公司开发的AlphaGo(基于深度学习)与围棋世界冠军、职业九段棋手李世石进动围棋人机大战,以4比1的总比分获胜;2016年末2017年头,该程序在中国棋类网站上以“老手”(Master)为注册帐号与中日韩数十位围棋高手进动快棋对决,不竭60局无一败绩;2017年5月,在中国乌镇围棋峰会上,它与排名世界第一的世界围棋冠军柯洁对战,以3比0的总比分获胜。围棋界公认阿尔法围棋的棋力已经超过人类职业围棋顶尖程度。

总结

深度学习今朝还处于发展阶段,不管是理论方面依然实践方面都还有很多题目待解决,不过由于吾们处在了一个“大数据”时代,以及计算资源的大大升迁,新模型、新理论的验证周期会大大裁减。人为智能时代的开启肯定会很大程度的变化这个世界,非论是从交通,医疗,购物,军事等方面,大略吾们处于最益的年代,也大略吾们处于最坏的年代,将来无法预知,那就抱着笑不好看的态度接待这个第三次工业革命吧。

文/周同学

对吾们感笑趣?GeoHey迩来在招募对大数据感笑趣的专科人才,练习和正职都想兼得,雅致请戳GeoHey-招贤纳士

郑重声明:文章来源于网络,仅作为参考,如果网站中图片和文字侵犯了您的版权,请联系我们处理!

上一篇:伪如真的有轮回会发生什么?大师:六道轮回苦,孙儿娶祖母!

下一篇:结业三年如何规划本身职业发展?

相关推荐

返回顶部