谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI

时间:2024-05-20 19:24:13

他是华盛顿大学计算机系(UW)的博士。
是谷歌首席架构师、谷歌研究院的高级研究员,也是谷歌的人工智能团队谷歌大脑(Google Brain)的负责人。
他身披华盛顿大学博士、美国工程院院士、ACM(计算机协会)fellow、清华大学AI研究院计算机学科顾问、AAAS(美国科学促进会)fellow名誉。
他在谷歌的地位仅次于拉里·佩奇和谢尔盖·布林。
他奠定了Google广告、抓取、索引和查询服务系统的大部分内容,是Google新闻、Google翻译等产品的开发者。发起打造了目前全球份额第一的深度学习框架平台TensorFlow。
他就是Jeff Dean。
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
Jeff Dean在谷歌的成长过程中扮演了尤其重要的角色,设计并实现了支撑谷歌大部分产品的分布式计算基础架构。目前是整个谷歌、甚至整个硅谷、整个计算机科学界的顶尖人物。

在2018年4月,Google内部架构调整,Jeff Dean接管Google整个AI业务和团队,据称工位也与Google现任CEO皮猜相邻。可以说,Jeff在谷歌称老二,也只有CEO皮猜能称老大了。
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
故事还要从19年前说起。

1999年,Jeff Dean刚刚加入谷歌,成为谷歌的第20号员工。而现今谷歌员工已经超过8.5万人。

那时的科技圈还是一片蛮荒之地。

雅虎还没被收购,不是搜索引擎的雅虎一直被当做搜索引擎来用,微软的MSN当道。

谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI

唯一的搜索引擎AskJeeves则被估值数十亿美元。

而Google还是一家毛头小子创办的创业公司。但一切都在那年的6月改变了,获得2500万美元融资之后,Google极速狂飙。

这个关键时刻,Google迎来了Jeff Dean。

创始人拉里·佩奇、谢尔盖·布林,以及Jeff Dean这三位大牛共同把谷歌领上了巅峰。

谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
彼时Jeff Dean刚从华盛顿大学的计算机博士毕业,却已经是美国顶尖的计算机科学家之一了。早在明尼苏达大学读计算机和经济学本科时,Jeff Dean的毕业论文内容就是研究如何并行训练神经网络,这是人工智能第一次热潮中的热门话题。
这无疑是创造性的。
这篇论文只有8页,相比冗杂累赘的长篇大论,28年前,Jeff Dean已经在用C语言,为神经网络编写并行计算的代码。同时被评为1990年的最优等本科论文,被明尼苏达大学图书馆保存至今。
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
1990年,正值第二次AI寒冬之前,当时,神经网络、Prolog、LISP语言、模糊逻辑都正在流行,ANN还没有被SVM等超越,日本在AI领域还大有赶超美国之势。
网络之父Geoffrey Hinton已经有很多重要研究发表,反向传播也出现了。Jeff Dean这篇论文提到的两种并行训练方法,就都是基于反向传播的。
当时物体识别、手写识别等都已经出现,所有进展都在快速推进,但不料资金撤走了,项目全都陷入困顿。万幸的是一次一次寒冬过境,却没有压垮那些坚守的人,现今他们显然已经得到了应有的回报。
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
Jeff Dean本科毕业论文中研究的问题,被指仍然是今天TensorFlow的重大问题之一。早期的经历和猜想对未来的工作影响之大令人感叹,“那一丝觉得神经网络很有意思的感觉,从来没有真正消失过”。
兜兜转转,后来Jeff Dean又在Google内部主导神经网络、人工智能的研究,并且和吴恩达、Greg Corrado共同发起成立了Google Brain项目并且担任负责人。
另外,Jeff的能力和素质在论文中极大体现,这篇论文的篇幅和内容表明他在年轻的时候就具有把复杂问题归纳整合简单化的能力,并且获得很好的结果,清楚简洁的描述了解决方案。比那些不知所云的长篇大论好了不是一点点。
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
简单来说讲的是怎样并行训练神经网络。Jeff Dean探讨了两种基于反向传播来平行训练神经网络的方法。
第一种是模式分割法(pattern-partitionedapproach),将整个神经网络表示在每一个处理器上,把各种输入模式划分到可用的处理器上;
第二种称为网络分割法(network-partitionedapproach)流水线法(pipelinedapproach),将神经网络的神经元分布到可用的处理器上,所有处理器构成一个相互通信的环。然后,特征通过这个pipeline传递的过程中,由每个处理器上的神经元来处理。
他还假设场景进行了测试。
结果表明,对于模式分割法,网络大、输入模式多的情况下加速效果比较好;
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
而下面这张图,是两种方法的对比结果:

谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
那时候,很多语言还没发行,各种框架也不完善,这些测试代码都是用C语言写的。
这些神经网络本身、用来测试的配置,也有有浓厚的年代感。1990年的“大”神经网络什么样:3层、每层分别10、21、10个神经元的神经网络,就算很大了。而Jeff Dean测试用的处理器,最多达到了32个。
而12年后,Jeff和吴恩达、QuocLe等人一起,用16000个CPU核心,从海量数据中找出猫。
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
其实Jeff与搜索引擎的渊源很深,资深科技新闻记者史蒂文·莱维(StevenLevy)在《InThe Plex:HowGoogle Thinks, Works and Shapes Our Lives》一书中曾这样描述:
当时,网站链接在搜索中的作用仅仅还是雏形,Jeff认为,如果一套系统能为用户指向与他们喜欢的相关页面,这对用户将非常有帮助。例如,读者在《纽约时报》上阅读一篇文章时,系统会弹出并询问是否另外10个与其阅读相关的页面。
这种想法支撑着Jeff将目标转向搜索,他的想法改变了。后来他从自己的毕业生顾问那里得知了Urs Hölzle(后来的Google基础机构高级副总裁)加入了一群正在研发PageRank算法的团队。故事就这样开始了。
「我觉得Google将变得更好,因为这里有许多我熟知的人,技术上也似乎十分精湛。」他解释道。他迫不及待的加入谷歌,和志同道合的人一起创造互联网新的未来。
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
在后来接受媒体采访时,Jeff回忆道:「当时Google成立还不到一年,所有的员工只能挤在加州帕罗奥多市中心的二楼办公室,楼上是一家T-Mobile商店。没办法,公司团队还不足20人,用于休闲娱乐的一台乒乓球桌也索性变成了员工们在上面吃午饭的桌子。」
难以想象,谷歌初创是在这样简陋的环境下逐步发展壮大的。
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
或许,这既在意料之外,却又在情理之中。也就是在五年后的夏天,Google进行了首次公开募股。

这一年,雅虎从顶峰跌落谷底,最终被收购,标志着这家世界门户网站鼻祖彻底走下神坛。

旧事物的灭亡注定伴随着新事物的产生,也是这一年Larry Page 和Sergey Brin 对于搜索引擎给出了以下陈述:「搜索并处理世界上的所有信息,这是一项特别重要的任务,这项重任应由值得信任并对公众利益感兴趣的公司承担。」

而奠定了搜索这一基础的关键人物之一便是Jeff Dean。

对于他来说,加入Google做的第一件棘手的事,是要将广告系统(即后来的AdSense)的初始骨架整合在一起。
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI

之后的四五年时间里,Jeff与团队合作开发了Google核心搜索系统,将所有可以搜集到的业务整合到一个索引中,然后将其变为一个用户提问可迅速做出回应的系统。

不过,就在Google急速发展的过程中也遭遇了一项巨大的技术挑战。据Dean回忆,「我们不能足够快地部署更多的机器来响应需求」。

这时,Jeff Dean 遇到了另外一位与之并誉为「谷歌双雄」的Sanjay Ghemawat。合作期间,他们共同设计和实现了大名鼎鼎的Map Reduce,以及后来的分布式数据库系统Bigtable。设计之初,Map Reduce主要是为开发者解决其搜索引擎中大规模网页数据的并行化处理。

谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI

2004年,当Google在国际会议上发表了有关该项技术的研究论文后,Map Reduce立即成为了大数据处理的工业标准。

自此之后,Map Reduce作为一个针对大规模数据处理的分布式编程模型,为其他各类项目奠定了重要基石。例如,最早实现Map Reduce的Nutch项目,后来演变为了众所周知的开源框架Hadoop。

随后,Dean与团队又相继开发了数据库系统Bigtable和Spanner,并构建搜索索引或处理卫星图像等事情的软件基础设施。2009年,Dean当选美国工程院院士。
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
《纽约时报》的一篇长文「The Great A.I. Awakening」中曾这样写道:

Jeff Dean, though his titleis senior fellow, is the de facto head of Google Brain. Dean is asinewy, energy-efficient man with a long, narrow face,deep-set eyes and an earnest, soapbox-derby sort of enthusiasm.

译:尽管Jeff Dean 对外的头衔是高级研究员,但他确实是谷歌大脑的实际带头人。他身材健瘦,修长的脸上眼窝深陷,透露着一股热忱。

2011年的一天,Jeff走进了山景大厦大楼一个名为「Micro Kitchen」的休息室里,在这里,他碰见了日后对谷歌大脑、对自己影响颇深的吴恩达。年轻的吴恩达还是斯坦福大学计算机科学教授,同时也是Google的顾问。

谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI

当时,吴恩达告诉了Jeff关于「ProjectMarvin」的事情:「最近正帮助建立『神经网络』的实验……而GoogleX(秘密实验室)正在做的『ProjectMarvin 』已经取得了一些惊人成果。」

正如前文所说,Jeff在毕业论文里就做过简单版本的神经网络。如今兜兜转转,是时候重拾研究深度网络。

有了对这个项目的兴趣,Jeff开始和吴恩达兼职合作参与到GoogleX 的项目,并对深度神经网络进行了深入调研。后来其他成员陆续加入团队,逐渐壮大。由此,「谷歌大脑」的雏形逐渐形成并完善。

谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI

而此时的硅谷正呈现出一股人工智能的热潮,这也是人工智能第三次浪潮,终于他在起伏中挺了下来,电脑芯片的计算能力高速增长、全球互联网发展带来的数据指数级爆炸。

随后,GoogleX 联合斯坦福大学顺势推出了聚焦深度学习的项目「谷歌大脑」。

2012年,Jeff Dean、吴恩达、Greg Corrado 三人合作进行了一场空前轰动的试验:将1.6万个处理器相连接创建出了全球最大的中枢网络系统,自主学习1000万张图片后,在YouTube视频中成功认出了猫的图像。

Jeff当时激动地说:「在训练中我们从没说过这是一只猫,从本质上,它发明了『猫』这个概念。」

这是历史性的一刻,在此期间,Google的第一代大型深度学习软件系统DistBelief也建立了起来。

谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI

为了简化和重构Dist Belief的代码库,使其变成一个更快、更健壮的应用级别代码库,Jeff和多位技术专家又完成了对 TensorFlow 的研发,这也是谷歌大脑深度学习的第二代标志性软件。

一开始,谷歌内部只有少数团队用上了谷歌大脑的人工智能技术,比如让将深度神经网络配置给了语音识别系统团队,在识别准确率上取得突破进展;和计算机视觉团队合作,从图片中提取文本信息、或者理解图片内容是什么等等。

谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI

随着时间的推移,越来越多的团队开始意识到了人工智能技术能够对他们工作带来真正的提高,因此谷歌大脑开始在越来越多的谷歌其他工作部门中普及。

目前已经有几千名谷歌员工已经用谷歌大脑的人工智能技术融入到他们工作流程当中,这也是谷歌新任CEO Sundar Pichai 提出的谷歌AI first转型基础。
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
去年Jeff晒出了谷歌大脑2017的第一份成绩单:从AutoML、语义理解和语言生成、到机器学习算法、TPU、TensorFlow和开源软件等基础研究工作都取得了傲人的成绩。

当时,Jeff还提到接下来会撰写第二篇文章,重点探讨机器学习在重点领域的深入研究,如医疗、机器人和一些基础科学领域等。

显然,这份漂亮的成绩单离不开Jeff Dean这位谷歌大脑背后的「大脑」的推动。

谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI

时间回到2012年,在Jeff的主导下,Google收编了创业公司DNN research以及「神经网络之父」Geoffrey Hinton 团队,正式将Google带到了深度学习的路上。

2016年,在韩国分享的《智能计算系统中的大规模深度学习》中,Jeff详细阐述了Google深度学习在语音、视觉、语言和语义等方面的具体应用。

谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI

带领谷歌大脑团队时,Jeff一般会花些时间查看邮件、看文件、写意见,有时也会写写技术文档,跟团队或整个Google的同事开一对一的小会,思考关于整个团队的技术或组织问题。

除了基础科学的研究之外,谷歌大脑还会与其他做应用、工程、开发等各类团队进行合作。

例如,在去年,谷歌大脑通过与李飞飞博士带领的团队密切合作,推出了CloudAutoML 系列产品中的第一个——AutoMLVision。据了解,即使是没有机器学习专业知识的小白,也能快速借助这项服务搭建定制化的图像识别模型。

谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI

其实,按照Jeff的话来讲,「自己并非机器学习领域的专家,更擅长的是在计算机系统领域。」

对于他而言,在Google服务了近18年之后,磨砺的不仅是自身出色的技术储备,还有作为一名决策者在企业管理、业务运营及制定决策方面的能力。

在去年接受媒体Gigaom提问时,Jeff曾表示:「我们在进行大量的机器学习和AI方面的研究,然后利用研究成果来制造智能系统。如果一个智能系统在一种产品中使用,那么通常情况下可能会带动新产品的产生。」

顺着这条线,我们不难发现:Jeff早已为Google AI 的商业化有所预想。

谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI

人工智能带来的巨大机遇,正通过Google开放的技术资源和产品工具,让越来越多的开发者将AI应用到自己的产品中,进一步普世AI。

这或许也解释了此次Google AI 与清华大学达成合作,Jeff Dean 担任其人工智能研究院顾问,成为连接Google与中国在人工智能领域合作的关键一员。

继去年Google AI中心落地中国之后,Google相继宣布将在法国巴黎、甚至非洲大陆上设立AI研究中心,继续扩张人工智能版图。

面对全球这个庞大而又竞争日渐激烈的市场,Google再也无法错过,Jeff便是版图里最终要的灵魂人物。
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
Jeff并不是个只会写代码的书呆子,他的爱好和生活可能比在座的各位都要丰富得多,看了他的爱好小渡感叹,这才是真人生赢家。在一次外媒采访中,Jeff介绍了他小时候的故事。

他说自己小时候的旅行特别多,在许多地方生活过,从夏威夷到波士顿、乌干达、再到波士顿、阿肯撒州、夏威夷、明尼苏达、索马里、明尼苏达、亚特兰大、日内瓦、西雅图,最后到了加利福尼亚州PaloAlto。

谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI

Jeff 在长大之前就对电脑很感兴趣,因为他的父亲是一位医生,很希望知道电脑能不能用来帮忙解决健康问题。所以当Jeff的父亲在杂志封底看到当时第一台组装电脑Altair8800的广告之后立刻就买了,那时候Jeff才9岁。

在帮父亲“折腾电脑”的同时,他也慢慢学习了电脑知识,后来就能自己编程了——多数是游戏。

十二三岁时,Jeff买了一本游戏源代码的书,先是照本宣科,接着开始自己修改。

谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI

此后,Jeff在明尼苏达大学读了计算机和经济学本科,其毕业论文内容就是研究如何并行训练神经网络,这是人工智能第一次热潮中的热门话题。

在华盛顿大学读计算机科学的研究生+博士之前,他还在世界卫生组织工作了一年,给HIV疫情做一些软件建模预测——也许是受医生父亲的影响。

博士毕业后,Jeff在数字设备公司的西部研究实验室工作了大概3年,再那之后,由于对信息提取有着浓厚的兴趣,他来到了谷歌,成为第20号员工。

顺便值得一提的是,Jeff还是个冒险与户外运动爱好者,不仅经常在推特上发自己去非洲草原和豹子合影的照片,听说其人生目标之一还是在所有的大洲上打篮球,目前已经在北美洲,南美洲,欧洲,亚洲,非洲等地方做到了。

谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI

围观Jeff开挂一样的人生,才能体会到他的魅力所在,人人都说高处不胜寒,但Jeff看起来仍旧那么谦逊睿智有魅力,而且生活得多姿多彩,这也是他受程序员崇拜和喜爱的重要原因之一吧.

在工作上能作出卓越的建树,又能很好地平衡工作和爱好之间的关系,人生赢家也不过如此了吧。
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
下面是谷歌员工Heej Jones 在Quora上发布的关于Jeff Dean的一则故事:

来谷歌上班前一天,一个朋友给Jeff发邮件介绍了我,所以在上班的第一周,我就邀请他共进午餐。那时候,我并不知道他是谁,也不了解他在谷歌的情况。只是午饭时,我有注意到其他餐桌的人在盯着他看,也有一些人路过我们的餐桌时会窃窃私语。

谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI

慢慢认识了更多的朋友,我才知道关于Jeff Dean的一些**故事;一位朋友曾经惊呼道:“你和Jeff Dean 一起吃过午饭?!”。

谷歌员工都认为谷歌搜索惊人的速度都归功于Jeff Dean,因此他也成了谷歌的名人。大家对他的崇拜到底有多深?

从这些段子中就能略知一二。

江湖中有一大堆关于Jeff Dean的**故事,都是由崇拜他的(前)谷歌员工写的。

这次小渡贴心的为小白们找到翻译,让你get到这些有趣的梗。
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI
Jeff的一生在外行人眼中看似是个天赋异禀的**,是可以被载入史册中的人物。但是在“封神”路上的个中滋味每个程序员想必都曾体会过,深夜空无一人的街,伴随着室友呼吸声的键盘声,节日时窗外的一派繁荣。

但同时,程序员可能是离改变世界最近的一个人,你敲下的每一个代码都在书写你的成绩,可能你写的下一个框架或是功能,就成为了神话和**。

路要一步一步走,代码要一个一个敲,时间会看到你的努力,谁说你不会是下个Jeff呢?毕竟一切都是未知数,未来有无限可能,只要你努力。

天赋固然存在,我们都看见了Jeff的荣光,却没看见他对代码近乎于偏执的追求,他对于编程的强烈兴趣,支撑他从青涩的少年时代走向如今的成熟,通过在岗位上数年如一日的耕耘坚守,才得到了现今惹眼的成就,沉下心来脚踏实地的学习,你也会成为下一个程序背后的大脑。

本篇文章转自渡一教育公众号Duing
谷歌人工智能背后的大脑:没有他就没有今天的谷歌AI