本字幕由TME AI技术生成
五证据
从谷歌大脑到alexnet真空中的光速成被认为是枚小十三十五英里左右
然后杰夫
迪恩花了一个周末优化了物理学
吴恩达坐在离谷歌总部不远的一家日本餐厅里等待拉里
佩奇的到来
谷歌的这位创始人兼首席执行官迟到了
吴恩达知道他会迟到
那是二零一零年底
近年来
谷歌已经成长为互联网领域最强大的一股力量
从一家规模虽小但利润惊人的网络搜索公司发展为一个科技帝
主导着从个人电子邮件
网络视频到智能手机的一切
文达是附近斯坦福大学的计算机科学教授
他坐在靠墙的一张桌子旁
他觉得相比于坐在餐厅中间
佩奇坐在边上的话
被认出或者被搭讪的可能性要低一些
跟他坐在一起等待的是他的一位斯坦福大学同事
塞巴斯蒂安
特隆sebastian
run
在佩奇让特隆管理一个项目后
特隆就离开了大学
这个项目直到二零一零年十月才被公之于众
谷歌自动驾驶汽车一现在由特隆担任中间人
吴恩达要给佩奇介绍一个新的想法
三十四岁的吴恩达是一个个子挺高的男人
说话的声音却近乎耳语
他在笔记本电脑上准备了一张线图来解释自己的想法
但是当佩奇最终到达并坐下来时
吴恩达觉得在与谷歌首席执行官共进午餐时
从包里拿出一台笔记本电脑不太妥当
所以他用手势来描述这个想法
线图的走势向上向右
随着神经网络分析越来越多的数据
它变得越来越精确
无论是学习视觉
声音还是语言
谷歌拥有的是数据
多年来通过谷歌搜索
gmail和youtube等服务收集的照片
视频与音和文本
温达已经在斯坦福大学的实验室里探索了深度学习
现在他希望依靠谷歌的影响力来支持这个想法
特隆正在谷歌新的登月实验室
也就是之前的谷歌x实验室里制造一辆自动驾驶汽车
他们设想了另一个基于深度学习登月实验室计划
吴恩达出生于伦敦
在新加坡长大
是一位中国香港医生的儿子
在进入斯坦福大学之前
他分别在卡内基梅隆大学
麻省理工学院和加州大学伯克利分校学习了计算机科学
经济学和统计学
在斯坦福大学
他的第一个大项目是自动直升机
他很快就与另一位机器人专家结婚了
并在工程杂志电气和电子工程师学会会刊IEEspespetrum上宣宣了这个消息息
配有彩色照片
二
尽管他曾经告诉整个会场的学生
杨丽坤是地球上唯一能从神经网络中挖掘出有用信息的人
但他还是随着潮流而动
辛顿说
伍恩达是少数几个原本从事其他工作
然后转向神经网络的人之一
因为他意识到发生了什么
他的博士生导师认为他是个叛徒
在获得邀请后
他加入了辛顿用加拿大政府资金创建的小规模研究集体来从事神经计算研究
辛顿将这项技术引入谷歌的一一个部门
而吴恩达将其引入另一个部门
这绝非巧合
从同样的有利位置观察这项技术
吴恩达也看到了其发展方向
但是在向拉里佩奇推销这个想法时
他给了这个想法一个额外的机会
就像他杰夫
辛顿的工作的影响一样
他也深受一本二零零四年出版的名为智能时代onintelligence的书的影响
这本书的作者是一位归股工程师
创业者合子大狂行德神金科学家杰夫
霍金斯jeffhawkins三
霍金斯在二十世纪九十年代发明了奔迈ponpililt
也就是iphone的先驱
但他真正想做的是研旧大脑
在他的书中
他认为整个新皮质大脑中处理视觉
听觉
语言和推理的部分在由由单一的生物算法驱动的
他说
如果科学家能重新创造这种算法
他们就能重新创造大脑
文达把这件事放在了心上
在斯坦福大学面对研究生的演讲中
描述了一个涉及雪雕大脑的实验
视神经如果果视视觉大脑中处理视觉的地方断开
然后连接到听觉皮质大脑中处理听觉的地方
雪貂仍然可以看到东西
正如吴文达所解释的那样
大脑的这两个部分使用相同的基础算法
这种单一算法可以在机器中被重新构建
他认为深度学习的兴起是朝着这个方向发展的
他说
以前学生们经常来我的办公室
说他们想从事智能机器的制造工作
我往往会心一笑
然后给他们出一个统计学的问题
但是我现在相信
智能是我们可以在有生之年重新创造的东西
在他与拉里
佩奇共进日式午餐后的几天里
他为谷歌创始人准备了一份正式的推销材料
这成了他方案里的基本内容
他告诉佩奇
深度学习不仅能提供图像识别
机器翻译和自然语言理解
还能推动机器走向真正的智能
在年底前
这个项目被批准了
他被称为马文项目projectmarvin
这是对马文
明斯基的致敬
没有人何讽刺的意思
谷歌的总部位于加利福尼亚州山景城
在旧金山以南约四十英里的幺零幺号高速公路旁
处于旧金山湾的最南端
办公区主体坐落在公路旁的一座小山上
在那里
一组红 蓝
黄主题的建筑环绕着一个长满青草的大庭院
庭院中有一个铺满沙子的排球场和一个金属恐龙雕像
当文达在二零一一年初加入谷歌时
这里并不是他工作的地方
他在谷歌x实验室工作
该部门在山景城其他地方的一栋大楼里设立了工作室
处于不断扩张的主营业务的边缘
但在加入公司后不久
他和特隆去了一趟山上的总部
以便与谷歌搜索的负责人见面
为了落实探索吴恩达的想法所需的预算资源和政治资本
特隆安排了他与谷歌内部几个主要人物的会面
第一位是主管谷歌搜索引擎近十年的阿米特
辛格 哈尔
艾米特 ino
吴恩达给他推销的内容与给拉里佩奇的一样
只是更聚焦于搜索引擎
而搜索引擎是这家公司皇冠上的宝石
谷歌搜索引擎多年来一直很成功
已成为全世界通往互联网的主要门户
他以一种简单的方式回答用户的询问
对关键词做出响应
你用五个词搜索
然后将他们的顺序打乱再搜索
可能每次都会得到相同的结果
但温达告诉辛格
哈尔
深度学习可以改善它的搜索引擎
而如果没有深度学习
这种改善就永远不可能实现
通过分析数百万次的谷歌搜索行为
寻找人们点击和不点击的模式
神经网络可以学会给出更接近用户实际需要的东西
用户可以直接问问题
而不仅仅是输入关键词
吴恩达说
辛格
哈尔却不感兴趣
用户不想问问题
他们想输入关键词
他说
如果我让他们问问题
他们只会感到困惑
即使他想超越关键词这种搜索方式
从根本上
他也反对去建立一个如此大规模的学习用户行为的系统
神经网络是一个黑盒子
当他做出决策
比如选择搜索结果时
我们没有办法确切的知道他为什么做出这个决策
每一个决策都基于几天甚至几周的计算
这些计算运行在几十个计算机芯片中
没有一个人能够掌控神经网络所学的一切
而改变他所学到的东西绝非小事
需要新的数据和全新一轮的试错
在运行谷歌搜索十年之后
辛格
哈尔不想失去对搜索引擎运行方式的控制
当他和工程师对他们的搜索引擎进行修改时
他们确切的知道自己在改变什么
并且他们可以向任何询问的人解是更改的内容
而神经网络不是这样的
辛格
哈尔给出的信息很明确
我不想跟你交流了
他说
吴恩达还见了谷歌图像搜索和视频搜索服务的负责人
他们也拒绝了他
直到他和杰夫
迪恩走进同一间微型厨房
他才真正找到了合作者
刺猬型厨房是一个非常谷歌化的术语
指的是一种遍布整个办公区的公共空间
员工可以在这里找到零食
饮料 餐具
微波炉
甚至可以简单的聊聊天
迪恩是谷歌的传奇人物
杰夫
迪恩是一位热带疾病研究员和一位医学人类学家的儿子
他在成长的过程中在全球各地很多地方待过
由于父母的工作性质
他们家从他出生的夏威夷搬到了索马里
在那里
他在中学期间协助管理了一座难民营
当他还是佐治亚洲亚特兰大的一名高三学生时
他的父亲在当地的疾病控制和预防中心工作
杰夫
迪恩为疾控中心开发了一款软件工具
帮助研究人员收集疾病数据
并且在约四十年后
这些数据仍然是整个发展中国家流行病学的主要内容
五
在研究生阶段
他学习的是计算机科学的基础层编译器
他可以将软件代码转化为计算机可以理解的东西
毕业之后
他加入了由deck数字设备公司运营的硅谷研究实验室
随着这家曾经的计算机行业巨头的影响力不断减弱
他成为在谷歌公司开始快速发展时加入谷歌的顶级dss研究人员之一
六
谷歌早期的成功通常被归功于pagerank网页排名
这是拉里
佩奇和他的联合创始人谢尔盖
布林在斯坦福大学读研究生期间开发的搜索算法
里恩身材苗条
下巴方方的
身上带着一种古典的帅气
说话时带着礼貌的羞涩和轻微的口齿不清
他对公司的快速发展来说同样重要
他和其他一些工程师搭建了全面支撑谷歌搜索引擎的软件系统
这些系统跨越数千台计算机服务器和多个数据中心
让pagerank在美疫秒等能力几位数百万人提供服务
塞巴斯蒂安
特隆说
迪恩的专长是用数百万台计算机构建一个系统
并使其运行的像一台计算机一样
在计算机历史上
从来没有人做到过这样
在工程师群体里
迪恩像硅谷的其他人一样受到尊敬
在我还是一名年轻工程师时
这是我们的午餐话题
我们会围坐在一起谈论他有多么强大
凯文
斯科特kevinscott回忆道
他是一个早妻德谷歌人
后来成了微软的手奇迹树冠
他有一种不可思议的能力
能够针对这些非常复杂的及数气节来决定他们的本质
在某年愚人节的那天
这是谷歌成立初期的一个神圣时刻
该公司的内网上出现了一个网站
展示了一份叫做杰夫
迪恩事实的清单
这是即兴模仿在互联网上疯传的查克诺里斯事实
而后者是对这位二十世纪八十年代动作电影明星表达的讽刺性赞美
杰夫
迪恩曾经在一次图灵测试中失败
因为他在不到一秒的时间里正确识别了第两百零三个斐波纳契术
杰夫
迪恩在提交代码之前对其进行了编译和运行
只是为了检查编译器和CPU的错误
杰夫
迪恩的个人识别码是圆周率的最后四位
真空中的光速曾被认为是每小时三十五英里左右
然后杰夫
迪恩花了一个周末优化了物理学
该网站鼓励其他谷歌员工添加他们自己的事实
很多人也这样做了
创建网站的年轻工程师肯顿
瓦达kenton
vther小心翼翼的隐藏了自己的身份
但在将隐藏在谷谷歌服务器日志中的一些数自线锁屏凑起来之后
迪恩找到了他
并给他发了一封感谢信
起初
这只是一个愚人节玩笑
后来却演变成了谷歌神话
一个经常在公司内外被重复讲述的故事
吴恩达知道
杰夫
迪恩将为他的项目带来其他人很少可以提供的技术专长
以及有助于项目在公司内部蓬勃发展的政治资本
因此
他们在微型厨房的碰面至关重要
当时迪恩问吴恩达在谷歌做什么
吴恩达小声说他在打造神经网网络
根据公司的传说
这是一个偶然的时刻
却引发了谷歌人工智能实验室的创建
但实际上
迪恩在碰面之前已经给吴恩达发了邮件
从到公司的最初几天起
吴恩达就知道他的项目取决于杰夫
迪恩的兴趣
他一直关心如何让迪恩加入
并让他留在其中
他不知道的是
迪恩曾经接触过神经网络
迪恩比吴恩达年长近十岁
二十世纪九十年代初
在明尼苏达大学读本科的时候
在连接主义研究的第一次复兴时期
迪恩就探索了这个想法
为了写毕业论文
他在一台名为凯撒的有六十四个处理器的机器上训练了一个神经网络
该机器在当时看起来非常强大
但对这项技术最终需要做的有用的事情来说
他还相去甚远
他说
我觉得通过在六十四个处理器上进行并行计算
也许我们能够做一些有趣的事情
但我太天真了
他需要一百万倍的计算能力
而不是六十多倍
所以
当文达说他正在研究神经网络时
迪恩完全知道这意味着什么
事实上
另外两位谷歌人
包括一位名叫格雷格
克拉多gregkraado的神经科学家已经在探索这个想法了
我们在谷歌有很多电脑
它以典型的直白方式告诉吴文达
为什么我们不训练一些真正庞大的神经网络
毕竟
这是敌人的专长
汇集数百甚至数千台机器的计算能力
并将他们应用于同一个问题
那年冬天
他在谷歌x实验室内部配置了一张额外的办公桌
并将他的百分之二十的时间谷歌人传统上每周花一天时间做自己感兴趣的业余项目
投入吴恩达的项目
一开始
马文项目只是另一个实验
吴恩达
迪恩和克拉多只是把他们的一部分精力放在这项工作上
他们打造了一个系统
呼应了二十一世纪初一个非常人性化的网络消遣
在youtube视频中观查猫七
他利用遍布谷歌数据中心的十六零零零多块计算机芯片的能力
分析了数百万条视频
并自学了如何识别一只猫八
尽管结果远不如当当时领先的图像识别工具准确
但这是神经网络在六十年发展进程中往前迈出的一步
第二年夏天
吴恩达
迪恩和科拉多发表了他们的研究成果
在人工智能专家中
这份研究被称为小猫论文catpaper九
该项目还出现在纽约时报上
被描述为人脑的模拟
十
这就是研究人员看待他们工作的方式
神经科学家迪恩和科拉多最终将所有的时间都投入吴恩达的项目中
他们还从斯坦福大学和多伦多大学聘请了额外的研究人员
因为该项目
从谷歌x实验室毕业之后
进入了一个专门的人工智能实验室
谷歌大脑
行业中的其他人
甚至谷歌大脑里的部分人都没有意识到将会发生什么
正当实验室发展到了这个关键的时刻
吴恩达却决定离开
他还有一个在进行中的项目需要他的关注
他在创立一家初创公司chssera
专门从事moke及大规模开放在线课程
这是一种通过互联网提供大学教育的方式
二零一二年
创业者
投资人和记者们确信这是能彻底改变世界的硅谷创意之一
与此同时
塞巴斯蒂安
特隆也在创建一家类似的初创公司
名为udacity优达学成
但是这两家公司都无法与谷歌大脑内部即将展开的项目相提并论
吴恩达的离开间接的催化了这个项目
临走前
他推荐了一位替代者
杰夫 辛顿
多年之后看来
这对所有相关人员来说
似乎是自然而然的一步
辛顿不仅仅是吴恩达的导师
他在一年前将纳夫
迪普
贾特利送到谷歌时
就已经为实验室的第一次巨大成功播下了种子
这一成功让辛顿培育了几十年的技术得以实现
但是
当谷歌在二零一二年春天来找他时
他对离开多伦多大学不感兴趣
他是一位六十四岁的终身教授
负责培养一大批研究生和博士后
所以他只同意在谷歌的新实验室待一个夏天
十一
由于谷歌招聘规则的特殊性
该公司以暑期实习生的名义将他引入
同时招聘的还包包括几十名大学生
在迎新周期间
星顿感觉自己像一个怪人
当时似乎只有他不知道ldep时登录谷歌计算机网络的一种方式
时而过了没几分钟
他们决定抽出四名教练中的一个
让他站在我旁边
他回忆道
但在这次迎新周上
他也注意到了另一群稍显格格不入的人
几位高管和他们的私人助理
他们似乎都笑得合不拢嘴
一天午饭时
星顿走进他们
问他们为什么参加迎新周
他们说自己的公司刚刚被谷歌收购
于是辛顿觉得把一家公司卖给谷歌是一个让自己开心的好方法
