「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

2020年06月11日 01:35 S水生活

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

坚持你所相信的,直到世界追上你的脚步。

因为伤了背, Geoff Hinton 已经站着工作了  12 年,似乎巧合地迎合了现在「站立工作」的这股风潮。

「我领先于潮流,」Hinton 说。

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

不仅仅是这一点, Hinton 更广为人知的「领先于潮流」,是在深度学习领域。在所有人都不看好神经网络的年头,是他,将这一技术带进了主流学术界。

Bloomberg 近日为这位「深度学习教父」拍摄了一段特写纪录片,用短短  8 分钟,讲述了这位「有点皮」的教授关于神经网络的  40 年传奇经历。

影片来源:Youtube

AI 圈没人听过的 AI 教父,全靠一篇「深度网络」的论文

今天,混  AI 圈的人鲜有人没听过 Geoff Hinton。他是谷歌大脑研究小组的负责人,多伦多大学的荣誉教授。而奠定了他在今天人工智慧圈「教父」地位的,是他在多层神经网络技术的贡献。

Hinton 对  AI 的贡献有多大呢?

学术点说, Hinton 在  1986 年提出的通过反向传播来训练深度网络理论,标誌着深度学习发展的一大转机,为近年来人工智慧的发展奠定了基础。

更实际点说,今天谷歌中通过语音识别进行图片检索、在手机上把语音转化为文字的技术的实现,大部分功劳要归于  Hinton 博士的研究。

他的研究,彻底改变了人工智慧,乃至整个人类发展的轨迹。

想了解大脑,就做一个出来,咦?

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

Geoff Hinton 出生在英国一家「书香门第」,家人多是数学家和经济学家,这样的「学霸爸妈」显然让  Hinton 的童年不太好过,正如他自己所说:「我大概在  7 岁的时候就意识到,不读博士不行了(微笑脸)。」

而最初把  Hinton 引上人工智慧这条路的,是他对人脑的好奇。

Hinton 很早就沈迷于大脑如何工作的问题。于是,他开始进入生理学,解剖大脑以了解其工作方式。

不满足于此,他又开始学习心理学。最后,他决定更多地使用计算机科学的方法来模拟大脑,并进入人工智慧领域,开始了他近  40 年的研究生涯。

「我认为,如果你真的想了解一个非常複 杂的装置,比如大脑,那你就製作一个。」

大家都不认可时,为什幺不放弃?因为坚信「其他人都错了」

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

儘管现在已经成为了人工智慧的主流研究方法,神经网络在最初问世时,命途多舛。

1956 年,美国认知心理学家弗兰克 ・罗森布拉特( Frank Rosenblatt)基于神经元的理论发明了一种模拟神经元的方法。它的基本点是一个被称为神经元的小单位的集合。 这些集合都是小的计算单元,但可以模拟人脑计算的方式。和我们从感官中获取数据一样,这些神经元可以获取传入数据并进行学习,所以神经网络可以随着时间的推移做出决定。

但是, Rosenblatt 的学习算法当时对于多层结构的神经网络不起作用。人工智慧学者们也因此放弃了学习式软件的想法。他们转而使用逻辑来产生智能  —— 比如下棋的能力。

几乎没人再相信神经网络的前景,也没人再研究神经网络。

除了 Hinton。

「大脑是一个巨大的神经网络,因此,神经网络必须也是可以工作的,因为它在我们的大脑中起作用。」Hinton 说。

「那是什幺支持着你不放弃?」

「其他人都错了(everyone else is wrong)。」

不满意自己的研究用在「非善意」的东西上,毅然决然搬到加拿大

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

为了找到一个支持他研究神经网络的栖身之处, Hinton 在美国辗转多地。但是,当时大部分的学术研究都是受到国防部支持。

而  Hinton 对于这样拿到自己的研究经费并不满意:「我不希望我的研究成果被用在一些不善意的目标上。」

的确,深度学习从诞生之日起,就与国防部的一些军事目的有着不可分割的渊源。

甚至直至今天依然如此  —— 今年  3 月谷歌被曝光正参与  Maven 项目,向美国军方提供  TensorFlow APIs 和无人机图像识别技术,引起巨大争议和众多抗议, 6 月谷歌不得不承诺不将  AI 用于武器。 这场声势浩大的争论甚至将战火燃到了李飞飞身上 。

而关于  AI 伦理和技术人员责任的争论也从来没有停止过。

近两年, 将算法用来自动识别一起犯罪是否属于团伙犯罪,或识别一个人是否是同性恋的研究屡见不鲜,算法的缔造者是否应该在研究之外分出心力,了解自己研究背后更深的影响呢?

在  40 年前, Hinton 的选择或许已经给出了他的答案。

为了避免为五角大楼服务, Hinton 最终落脚在加拿大的多伦多大学。这个国家欢迎他,也支持他的神经网络研究。「去这个文明的小镇继续研究对我来说非常有吸引力。」

而  HIinton 也没有让加拿大失望。

正因为  Hinton 和他的学生的研究,加拿大现在已经成为人工智慧研究的重要力量之一,多家人工智慧巨头都将他们的研究中心开在了多伦多,各种前沿人才为了追随  Hinton 的脚步,络绎不绝地来到这座北方国度:「 Hinton 将加拿大拉入了  AI 超级大国的版图。」

当你的理想被质疑时,请温柔的给世界一点时间赶上

在多伦多, Hinton 和他的团队研究出了更深度的神经网络,以解决更複 杂的问题。他们共同开发了一个多层神经网络,这个深度神经网络也被应用于多个方面。

比如有人用它在  80 年代就打造了一辆无人车并且开上了路。

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

而现在已经是深度学习的另一位领袖人物、 Facebook 的  AI 实验室负责人  Yann LeCun 则利用深度神经网络建立了一个可以识别手写数字的系统。这一系统最终实现了商用。

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

在当时,深度神经网络的前景似乎一片大好,但是,现实中的故事往往没有这幺简单。

Hinton 的研究再次遇到了瓶颈。

「我们当时并没有足够的数据,也没有足够的计算机运行能力,AI 和计算机科学的从业者认为神经网络是一厢情愿的想法。」

但  Hinton 始终坚持着,儘管完全不被重视。

他坐在房间的最角落里参加学术会议,在大牛云集的人工智慧会议上完全不被重视。甚至他自己也开始产生了怀疑:「有很多次我都觉得我不会继续这项工作了」。

直到这个世界开始慢慢追上他的脚步。

2006 年,计算机的运行速度有了巨大的提高,超快速芯片的到来以及互联网上产生的大量数据使得  Hinton 的算法变得非常神奇。突然之间,计算机开始可以识别图像中的内容,可以识别语音,可以将一种语言翻译成另一种语言。

2012 年, Geoffry Hinton 和他的团队带着AlexNet 参加了那一年的  ImageNet ILSVRC 挑战赛,以惊人的优势获胜(错误率比第二名低了足足10%)。这篇被NIPS 2012 收录的论文被认为是深度学习热的开啓。

同年,「神经网络」和「机器学习」等词彙也开始在纽约时报的头版出现。

「人们终于理解了这个概念,我感到很欣慰。」Hinton 这样说。

「AI 教父」Hinton 与深度学习 40 年的奇幻旅程

2017 年用胶囊网络,自己推翻自己

儘管已经成为了深度学习的领袖人物, Hinton 的脚步却从没有停歇。 2017 年  10 月  26 日, Hinton 发表了一篇在  AI 圈掀起轩然大波的论文 ——Capsule Networks(胶囊网络)。

Hinton 高喊,「卷积神经网络(CNN)的时代已经过去了!」,将他过去几十年的研究翻了过去。

感兴趣的读者可以查看 论文 。

儘管胶囊网络现在仍然处在婴儿期,在训练庞大的数据集时,仍可能会遇到问题,但在未来, Hinton 相信它还有发展的巨大潜力。

也许,这位深度学习教父还将再次改写深度学习的发展历程。

延伸阅读

年仅 25 岁!这个打败 AlphaGo 的男人,是怎幺 CONNECT with AI?
一场世足赛,让经济学者找出 AI 与商业创新模式的关联
台湾中学教育别歪楼,说要设立「AI 专班」的官员真的知道自己在讲啥吗?

上一篇:
下一篇:

最火资讯

MVP双剑合璧?曝火箭有意争夺威少,Cp3非筹码Morey要

MVP双剑合璧?曝火箭有意争夺威少,Cp3非筹码Morey要

据NBA记者Tim MacMahon报导,联盟消息人士透露,火箭有意交易得到雷霆明星控卫Russel

MVP只有二选一?名宿和现役都给了第三选择:他处于另一个层面

MVP只有二选一?名宿和现役都给了第三选择:他处于另一个层面

台北时间2月13日,据美媒报导,Paul George近期的火爆表现引发了热议,包括NBA名将和现役

MVP对决!论进攻威胁性,萌神和鬍子谁更胜一筹?

MVP对决!论进攻威胁性,萌神和鬍子谁更胜一筹?

Stephen Curry和James Harden身为当今联盟最炙手可热的巨星,他们的进攻能力都能