本字幕由TME AI技术生成
布洛克特坐在西雅图郊外微软总部的一间办公室里
花了将近七年的时间编写自然语言规则
然后在二零零三年的一个下午
在大厅尽头一间通风的会议室里
他的两位同事公布了一个新项目
他们正在打造一个系统
使用基于统计的技术
每个单词在每种语言中出现的频率
在不同语言之间进行翻译
如果一组单词在两种语言中出现的频率和语境相同
这就可能是正确的翻译
两位研究人员在六周前才开始这个项目
但已经获得了至少看起来有点像真实语言的成果
坐在拥挤的房间后面
看着掩饰
布罗克特突然惊恐发作
他以为是心脏病
然后被紧急送往医院
他后来称这是他的灵光乍现的时刻
他意识到自己花了七年时间写下的规则
现在已经过时了
他说
我五十二岁的身体经历过这样的时刻
我看到了未来
但我没有参与其中
全世界的自然语言研究人员很快就彻底转变了他们的方法
接受了当天下午在西雅图教实验室室里布布那那统计模型型
这只是二十世纪九十年代和二十一世纪初
在更大的人工智能研究圈子里传播的众数学方法之一
其其他方包包括随机森林ranmmrests
增强术boostedtrees和支持向量机supportvictormachines等
研究人员将一些方法应用于自然语言理解
将另一些应用于语音识别和图像识别
神经网络的发展停滞不前
但其他很多方法开始变得成熟
得到了改进
并开始到人工智能领域的特定角落
它们离完美都非常遥远
尽管用统计法进行翻译所获得的早期成功足以让克里斯
布洛克特机动到进医院
但它只在一定程度上有效
而且只适用于较短的短语及句子的片段
一旦一个短语被翻译出来
翻译者就需要一套复杂的规则来把它转换成正确的时态
应用正确的词尾
并使它与句子中的其他所有短语相吻合
即便如此
翻译也是混乱的
它只是大致正确应用童年的游戏
通过重新排列只有几个单词的小纸条来编出一个故事
但这仍然超出了神经网络的能力
到二零零四年
神经网络已被视为处理任何任务的第三优选择
一种其最好的时代已经过去的旧技术
正如一位研究人员对当时在瑞士学习神经网络的年轻研究生亚历克斯
格雷夫斯alexgrapes所说的那样
神经网络是为那些部料解统计学的人准备的
在斯坦福大学寻找专业时
一个名叫伊恩
古德
费洛洛goodfellow时九岁本科生选修了一门教做认知科学思维和学习的研究的课程
讲是以渡江神经网络之为无法处理抑惑问题的技术
这是二十年前被反驳过的一条延续了四十年的批评
在美国
连接主义研究几乎从顶尖大学消失了
但纽约大学的一间严肃实验室还没有放弃他
头发往后扎成马尾辫的杨丽坤于二零零三年在此获得了教授职位
加拿大成了那些仍然相信这些想法的人的避难所
金顿在多伦多大学
杨丽坤在贝尔实验室的一位老同事
另一位出生于巴黎的研究人员约书亚
本吉奥在蒙特利尔大学的一间实验室担任主管
在此期间
伊恩 古德
费洛申请了计算机科学专业的研究生
有几所学校给他提供了入学名额
包括斯坦福大学
加州大学伯克利分校和蒙特利尔大学
他更喜欢蒙特利尔大学
但当他拜访该校时
一名蒙特利尔大学的学生试图说服他不要去
斯坦福大学的计算机科学项目在北美排名第三
加州大学伯克利分校排名第四
这两所大学都位于阳光明媚的加州
蒙特利尔大学排名在一百五十名左右
而且那里天气很冷
斯坦福大学世界上最负盛名的大学之一
证明
蒙特利尔大学的学生告诉他
当他们在春末穿过这座城市时
地上还有积雪
你到底在想什么
我想研究神经网络
古德 费洛说
具有讽刺意味的是
当古德
费洛在蒙特利尔大学探索神经网络时
他的一位老教授吴恩达在看到加拿大不断涌现的研究后
在斯坦福大学的实验室里接受了神经网络的想法
但无论是在自己的大学
还是在更广泛的学术圈
吴恩达都是一个离群的人
他没有充分的数据来说服周围的人
让他们认为神经网络值得探索
在此期间
他在波士顿的一场研讨会上做了一次演讲
宣扬神经网络是未来的浪潮
在他演讲时
计算机视觉领域的实际领导者之一
加州大学伯克利分校的教授及腾
德拉
玛利克站了起来
像明斯基一样指责演讲者胡说八道
说他是在发表自嗨式的声明
而完全没有提供可以用来做支撑的证据
他约在同一时间
星顿向nips会议提交了一份论文
他后来正是在这个会议上拍卖了自己的公司
这个会议是在二十世纪八十年代后期构想出来的
目的是为研究人员探索各种神经网络
包括生物神经网络和人工神经网络提供一个渠道
但是会议组织者拒绝了辛顿的论文
因为他们接收了另一篇关于神经网络的论文
并且认为同一年接收两篇是不合适的
神经是一个不好的词
即使在专门讨论神经信息处理系统的会议上也是如此
在整个领域发表的所有研究论文中
关于神经网络的论文出现的比例不足百分之五
一些研究人员在向会议和期刊提交论文时
为了提高成功的概率
会使用完全不同的说法代替神经网络一词
比如函数近似或非线性回归
对于自己最重要的发明
杨丽坤将神近义词从其名称中删除了
卷积神经网络变成了卷积网络
尽管如此
杨丽坤认为一些无可争议的重要论文还是被人工智能领域的权威人士拒绝了
当这些论文被拒绝时
他原本可以公开进行斗争
坚持认为他的观点是正确的
有些人认为这是无拘无束的自信
也有一些人认为这暴露了一种不安全感
一种隐含的遗憾及他的工作没有得到该领域领导者的认可
有一年
他的一名博士生克莱门特
法拉贝特climent贝开发了一个神经网络
它可以分稀释频
并把不同种类的物体区分开
树木与建筑
车与人八这是机器人或自动驾驶汽车向计算机视觉迈出的一步
相比于其他方法
该系统完成任务的误差更小
速度更快
但是
在一个领先的视觉会议上
审查者断然拒绝了他的论文
杨丽坤给会议主席回复了一封信
说这些审查太荒谬了
他都不知道如何在不侮辱审查者的情况下写驳斥理由
会议主席把这封信发到了网上
让所有人都能看到
虽然他去掉了杨丽坤的名字
但很明显
大家都能看出是谁写的
其他真正研究神经网络的地方只有欧洲和日本
其中之一是瑞士的一间实验室
担任主管的是于尔根
斯米德
胡贝jragonsmidtuber
小时候
施米德
胡贝告诉自己的弟弟
人类的大脑可以用铜线重建九
从十五岁开始
他的抱负就是打造一台比他自己更智能的机器
然后退休
一千零二十世纪八十年代
他在读大学本科时就接受了神经网络
后来从研究生院毕业后
他发现自己的报复与一位名叫安杰洛
达勒摩尔angelodellmouth德意大利利口九巨头的报复紧密相连
一千一百二十世纪八十年代末
用杨记酿制利口酒发家致富之后
达勒摩尔在瑞士靠近意大利边境的卢加诺湖畔建立了一间人工智能实验室
致力于用智能机器改造社会
这些机器将可以承担传统上属于人类的所有工作
很快
该实验室就聘请了施米德湖背
施米德
胡贝身高约一米九
身材匀称
下巴方方正正
他喜欢戴软的帽和鸭舌帽
穿尼赫鲁高领夹克
这是模仿早期詹姆斯
邦德电影中的反派恩斯特
布洛菲尔德earnstbluefielt的穿着
后者就穿着自己的尼赫鲁高领夹克
你可以想象他在抚摸一只白猫的样子
他之前的一名学生说
施米德
胡贝的服装不知何故与瑞士的实验室很相配
这个实验室看起来也像是邦德电影中会出现的一做湖边的欧洲堡垒
四周是棕榈树
在达勒摩尔人工智能研究所内部
施米德
胡贝和他的一名学生打造了他们所描述的具有短期记忆的神经网络
他可以记住最近分析过的数据
并在运行的每一步都利用这种回忆改进它的分析
他们称之为LSTM
机场短期记忆longshortermemory
它实际上并没有发挥多大作用
但施米德
胡贝认为这种技术将在未来几年带来智能
他所描述的一些神经网络不仅有记忆
还有感觉
在我们的实验室里
意识在运转
他说
正如一名学生后来带着几分感情所说的那样
他听起来像一个疯子
清顿会开玩笑说LSTM是在我看来很傻
looksillytome的意思
从罗森
布拉特
明斯基和麦卡锡开始到现在
人工智能研究人员具有悠久的传统
施米德
胡贝是其中一个特别丰富多彩的例子
自从这个领域被开创出来
其领导人物就漫不经心的预示了逼真的技术
但这种技术远没有真正发挥作用
有时这是一种从政府机构或风险资本家那里筹集资金的方式
有时人们真的相信人工智能即将到来
这种态度可以推动研究向前发展
如果技术没有达到所宣传的效果
那么他可能会停滞多年
连接主义的圈子很小
领导人物都是欧洲人
英国人
法国人
德国人
连这些研究人员背后的政治
宗教和文化信仰也不属于美国主流
辛顿公开宣称自己是社会主义者
本
吉奥放弃了法国国籍
因为他不想服兵役
杨丽坤称自己是激进的无神论者
辛顿将坚持一些非常个人化的信仰
无神论
社会主义
连接主义
尽管在以四四百万美元将公司卖给谷歌之后
他常常称自己有一股鱼子酱做派衣
这是恰当的术语吗
他会这么问
尽管他很清楚
答案是肯定的
二十世纪九十年代对杨丽坤来说很艰难
而对辛顿来说就更为艰难了
搬到多伦多之后不久
他和妻子收养了两个来自南美洲的孩子
一个是来自秘鲁的男孩托马斯
一个是来自危蒂马拉的女孩艾玛
当他的妻子感到腹部疼痛
并且体重开始下降时
两个孩子都不到六岁
虽然这种情况持续了几个月
但他拒绝去看医生
坚持自己顺势疗法的信念
当他最终让步时
他被诊断出已经患有卵巢癌
即便如此
他还是坚持采取顺势疗法进行治疗
而不肯化疗
六个月后
他去世了
辛顿认为
他当研究员的日子结束了
他必须要照顾孩子们
托马斯在家里存在所谓的特殊需求
需要额外的关注
我习惯于把时间用来思考
辛顿说
二十年后
当他和杨丽坤一起接受图灵奖时
他感谢了自己的第二任妻子
一位名叫杰基
福特jackyford也因国医术士学家
他们开始于二十世纪九十年代末的婚姻晚救了他的事业
杰基邦助他抚养了孩子们
他们在萨塞克斯大学相识
并在英国约会了一年
后来在他移居圣迭戈时
两人分开了
在他们重新相聚后
他搬到了英国
并在伦敦大学学院找到了一份工作
但他们很快就回到了加拿大
因为他觉得孩子们在多伦多更受欢迎
因此
在千禧年之际
辛顿回到了多伦多大学计算机科学大楼角落里的办公室
在这里
他可以眺望穿过校园中心的鹅卵石街道
窗户很大
吸走了办公室里的温暖
并把热量散发到外面零度以下的寒冷之中
这间办公室成了仍然相信神经网络的小规模研究员群体的中心
部分原因在于辛顿在该领域的历史地位
部分原因在于他的创造力
激情以及讽刺性的幽默感吸引了人们围绕在他的周围
即使只是在一些很短暂的时刻
如果你给他发一封电子邮件
问他更喜欢别人叫他杰弗里
jeffrey还是杰夫
杰ff
那么他的回答同样显得聪明可爱
我更喜欢杰弗里
一位名叫阿波
海维里恩applehavernan的研究人员曾经发表过一篇学术论文
时二曾认并总结了新顿的幽默感和他在述学思想上的经验
这篇论文的基本思想是在与杰夫
辛顿的讨论中形成的
然而他不愿意成为合住者
因为这篇论文包含了太多的方程
辛顿会根据自己因为忘记吃饭而减掉多少体重来评价自己的想法
一名学生说
辛顿的家人送给他最好的圣诞礼物就是同意他回到实验室做更多的研究
而且正如很多同事经常说的
他有一个终身的习惯
他会跑进房间
说他终于弄明白了大脑是如何工作的
然后解释他的新理论
接着像来的时候一样快速离开
几天之后
他会回来
说自己关于大脑的理论完全是错的
但他现在又有了一个新的理论
鲁斯
萨拉赫丁诺夫russ
萨lkateenoff将成为是借领先德联接主一研究者之一
也会是凭果公司的一名影响生远的员工
他二零零四年在多伦多大学与道兴顿时
已经退出了这个领域
星顿向他讲述了一个新项目
即一种按照一次一层的方式训练大规模神经网络的方法
并且输入的数据许要比过去可能提供的多得多
星顿称之为深度信仰网络deepbeliefnetworks
在那一刻
星顿哄着萨拉赫丁诺夫回归该领域
同时
这个名称也吸引了他
一个名叫纳富迪普
贾特利navedeepjeely的年轻学生在拜访了楼里的一位教授后
看道辛顿的办公室外有很多学生在排队
然后他就被吸引住了
来道乐多伦多实验室
另一名学生乔治
达尔georgedog在更广泛的机器学习研究领域也发现现了类似的情况
每次看到一篇重要的研究论文
或者一位重要的研究人员
达尔都会发现与辛顿有直接的联系
我不知道是杰夫选择了那些最终取得成功的人
还是他以某种方式让他们获得了成功
经历过之后
我认为是后者
达尔说
达尔是一位英语教授的儿子
他在学术上是一个理想主义者
把进入研究生院比作进入修道院
你希望拥有一个不可逃避的命运
某种召唤
当你的信念消失时
他会带着你度过黑暗时代
他常常这么说
他认定自己的召唤就是杰夫
辛顿
他并不孤单
达尔拜访了阿尔伯塔大学的另一个机器学习小组
一个名叫弗拉德
姆尼fledmini的学神
是土让他相信阿尔伯塔大学而不是多伦多大学才是他的归属
但是
当达尔那年秋天出现在多伦多大学
走进学校给他安排的一张办公桌旁的用品室时
他发现姆尼也在那里
那年夏天
姆尼就加入了辛顿的实验室
二零零四年
尽管整个领域对神经网络的兴趣减弱
但辛顿对这个想法加倍重视
希望在这个小的连接主义者圈子里加速研究
杰夫小组的主题一直是旧的东西也可以是新的
达尔说
如果这是一个好想法
你就继续努力二十年
如果这是一个好想法
你就继续尝试
直到成功
他不会因为你第一次尝试不起作用
就不再是一个好想法
利用加拿大高级研究所的少量资金
每年不足四十万美元
辛顿打造了一个新的集体
专注与他所说的神经计算和适应性感知
每年为那些仍然坚持连接主义信念的研究人员举办两场研讨会
其中包括计算机科学家
电气工程师
神经科学家和心理学家
杨丽坤和本吉奥也是其中的成员
后来加入百度的中国研究员余凯也是
辛顿后来把这个集体在一起进行研究
比作鲍勃
伍德沃德
鲍勃wordworld与卡尔
伯恩斯坦尔
伯恩斯坦再深挖水门事件是一起工作
而不是分开来
这种方式可以分享详法
而在多伦多大学
其中一个想法就是给这项非常古老的技术取一个新名字
六十岁生日那天
辛顿在温哥华举行的年度nips大会上发表演讲
深度学习这个词第一次出现在标题中
这是一次巧妙的品牌重塑
提到多层神经网络
讲深度学习并不是什么新鲜事儿
但深度学习是一个令人回味的术语
只在激励研究人员在一个再次失宠的领域进行研究
当他在演讲中说其他人都在做浅薄学习时
听众们发出了笑声
他知道这是一个好名字
从长远来看
这将被证明是一个高明的选择
他立刻提高了在学术界边缘工作的这一小部分研究人员的声誉
在有一年的nips大会上
有人整理了一段恶搞视频
视频里的人一个接一个去拥抱深度学习
就好像发了疯一样
我曾经是个摇滚明星
一名皈依者说
但后来我发现了深度学习
辛顿是领袖
另一个人说要跟着领袖走
这很有趣
因为他是真实发生的事儿
这是一项有着几十年历史的技术
虽然他从未证明过自身的价值
但有些人仍然相信他
在发起人工智能运动的达特茅斯下级会议召开五十年之后
马文
明斯基和其他很多创始元勋回到达特茅斯大学举行周年庆典
这次明斯基在台上
另一位研究人员站在台下
他就是特里谢诺夫斯基
从东部的巴尔的摩搬到西部的圣迭戈之后
他现在是索尔克研究所的教授
谢文
明斯基告诉明斯基
一些人工智能研究人员将明斯基视为魔鬼
因为他和他的书已经阻碍了神经网络的发展
你是魔鬼吗
谢诺夫斯基问道
明斯基把这个问题搁在一边
解释了神经网络的众多局限性
并正确的指出
神经网络从未实现大家期待他实现的事情
于是谢诺夫斯基又问
你是魔鬼吗
明斯基被激怒了
最后回答说
是的 我是
鱼子酱做派是指某人是富有的社会主义者
医者注
