剛剛，ACM 公布 2018 年圖靈獎(jiǎng)得主是 Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 三位深度學(xué)習(xí)巨頭。

據(jù)官方公告介紹，因三位巨頭在深度神經(jīng)網(wǎng)絡(luò)概念和工程上的突破，使得 DNN 成為計(jì)算的一個(gè)重要構(gòu)成，從而成為 2018 年圖靈獎(jiǎng)得主。

這是圖靈獎(jiǎng)十年來(lái)第三次頒給機(jī)器學(xué)習(xí)領(lǐng)域的杰出貢獻(xiàn)者了：2011 年圖靈獎(jiǎng)得主為 Judea Pearl，他開發(fā)的概率與因果推理微積分（calculus for probabilistic and causal reasoning）為人工智能發(fā)展做出了重大貢獻(xiàn)。Leslie Gabriel Valiant 獲得了 2010 年圖靈獎(jiǎng)，他為計(jì)算理論的發(fā)展作出了變革性貢獻(xiàn)，包括 PAC 學(xué)習(xí)理論、并行與分布計(jì)算理論等。

相信讀者對(duì)這三位巨頭的名字已經(jīng)耳熟能詳。

Yoshua Bengio 是蒙特利爾大學(xué)教授、魁北克人工智能機(jī)構(gòu) Mila 的科學(xué)主管。Geoffrey Hinton 是谷歌副總裁、工程研究員，也是 Vector Institute 的首席科學(xué)顧問(wèn)、多倫多大學(xué) Emeritus 榮譽(yù)教授。Yann LeCun 是紐約大學(xué)教授、Facebook 副總裁和首席 AI 科學(xué)家。

或是獨(dú)立或是協(xié)作，Hinton、LeCun 和 Bengio 開發(fā)了深度學(xué)習(xí)領(lǐng)域的概念基礎(chǔ)，并通過(guò)實(shí)驗(yàn)驗(yàn)證了令人驚訝的現(xiàn)象，此外，他們還貢獻(xiàn)了一些工程進(jìn)展，展示了深度神經(jīng)網(wǎng)絡(luò)的實(shí)用優(yōu)勢(shì)。近年來(lái)，深度學(xué)習(xí)方法促進(jìn)計(jì)算機(jī)視覺、語(yǔ)音識(shí)別、自然語(yǔ)言處理和機(jī)器人技術(shù)等應(yīng)用領(lǐng)域取得極大突破。

雖然在 20 世紀(jì) 80 年代，研究者就引入了人工神經(jīng)網(wǎng)絡(luò)幫助計(jì)算機(jī)識(shí)別模式、模擬人類智能，但一直到 21 世紀(jì)初，LeCun、Hinton 和 Bengio 這樣一小撮研究者仍然堅(jiān)持這種方法。雖然一開始，他們重燃人工智能社區(qū)對(duì)神經(jīng)網(wǎng)絡(luò)興趣的努力遭到了懷疑，但如今他們的想法帶來(lái)了重大的技術(shù)進(jìn)步，他們的方法也已成為該領(lǐng)域的主導(dǎo)范式。

圖靈獎(jiǎng)是計(jì)算機(jī)協(xié)會(huì)（ACM）于 1966 年設(shè)立的獎(jiǎng)項(xiàng)，專門獎(jiǎng)勵(lì)對(duì)計(jì)算機(jī)事業(yè)作出重要貢獻(xiàn)的個(gè)人，有「計(jì)算機(jī)界諾貝爾獎(jiǎng)」之稱，獎(jiǎng)金為 100 萬(wàn)美元，由谷歌公司贊助。圖靈獎(jiǎng)的名稱取自英國(guó)數(shù)學(xué)家艾倫·圖靈（Alan M. Turing），他奠定了計(jì)算機(jī)的數(shù)學(xué)基礎(chǔ)和局限性。

ACM 主席 Cherri M. Pancake 表示，「人工智能如今是整個(gè)科學(xué)界發(fā)展最快的領(lǐng)域之一，也是社會(huì)上討論最廣的主題之一。AI 的發(fā)展、人們對(duì) AI 的興趣，很大程度上是因?yàn)樯疃葘W(xué)習(xí)的近期進(jìn)展，而 Bengio、Hinton 和 LeCun 為此奠定了重要基礎(chǔ)。這些技術(shù)如今已被數(shù)十億人使用。通過(guò)口袋中的手機(jī)，人們能夠體驗(yàn)到 10 年前不可能體驗(yàn)的自然語(yǔ)言處理和計(jì)算機(jī)視覺技術(shù)。除了我們每天使用到的產(chǎn)品，深度學(xué)習(xí)的最新進(jìn)展也為醫(yī)療、天文、材料科學(xué)等各個(gè)領(lǐng)域的科學(xué)家們帶來(lái)了強(qiáng)大的新型工具。

「深度神經(jīng)網(wǎng)絡(luò)促進(jìn)了現(xiàn)代計(jì)算機(jī)科學(xué)的極大進(jìn)步，在解決計(jì)算機(jī)視覺、語(yǔ)音識(shí)別和自然語(yǔ)言處理領(lǐng)域中的長(zhǎng)期問(wèn)題方面取得了極大進(jìn)展?！笹oogle AI 負(fù)責(zé)人 Jeff Dean 表示，「該進(jìn)展的核心得益于今年圖靈獎(jiǎng)得主 Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 30 多年前開發(fā)的基礎(chǔ)技術(shù)。深度神經(jīng)網(wǎng)絡(luò)顯著提升了計(jì)算機(jī)感知世界的能力，它不僅改變了計(jì)算領(lǐng)域，也幾乎改變了科學(xué)和人類奮斗的所有領(lǐng)域?！?/p>

機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)

傳統(tǒng)計(jì)算中，計(jì)算機(jī)程序使用明確的一步步指令指引計(jì)算機(jī)。而在深度學(xué)習(xí)這一 AI 研究子領(lǐng)域中，計(jì)算機(jī)并未得到關(guān)于如何解決特定任務(wù)的顯式說(shuō)明。深度學(xué)習(xí)使用學(xué)習(xí)算法從數(shù)據(jù)中提取輸入數(shù)據(jù)與期望輸出的關(guān)聯(lián)模式，比如輸入數(shù)據(jù)為圖像像素，輸出為標(biāo)簽「貓」。研究者面臨的挑戰(zhàn)是開發(fā)出高效的學(xué)習(xí)算法，修改神經(jīng)網(wǎng)絡(luò)中連接的權(quán)重以使它能夠捕捉到數(shù)據(jù)中的關(guān)聯(lián)模式。

自 20 世紀(jì) 80 年代開始，Geoffrey Hinton 就開始提倡使用機(jī)器學(xué)習(xí)方法進(jìn)行人工智能研究，他希望通過(guò)人腦運(yùn)作方式探索機(jī)器學(xué)習(xí)系統(tǒng)。受人腦的啟發(fā)，他和其他研究者提出了「人工神經(jīng)網(wǎng)絡(luò)」（artificial neural network），為機(jī)器學(xué)習(xí)研究奠定了基石。

在計(jì)算機(jī)科學(xué)領(lǐng)域，「神經(jīng)網(wǎng)絡(luò)」指由多個(gè)簡(jiǎn)單計(jì)算元素（神經(jīng)元）層所組成的系統(tǒng)。這些「神經(jīng)元」僅僅大致地模仿了人腦中的神經(jīng)元，但卻能通過(guò)加權(quán)連接互相影響。通過(guò)改變連接的權(quán)重來(lái)改變神經(jīng)網(wǎng)絡(luò)所執(zhí)行的計(jì)算。Hinton、LeCun 和 Bengio 認(rèn)識(shí)到使用多層深度網(wǎng)絡(luò)的重要性，即「深度學(xué)習(xí)」。

由于 GPU 計(jì)算機(jī)的普及和海量數(shù)據(jù)的獲取，Hinton、LeCun 和 Bengio 在 30 年中所奠定的概念基礎(chǔ)和工程實(shí)踐得到了極大提升。近年來(lái)，多種因素導(dǎo)致計(jì)算機(jī)視覺、語(yǔ)音識(shí)別和機(jī)器翻譯等技術(shù)出現(xiàn)了跳躍式發(fā)展。

Hinton、LeCun 和 Bengio 也曾合作過(guò)。LeCun 曾在 Hinton 的指導(dǎo)下完成博士后工作，20 世紀(jì) 90 年代，LeCun 和 Bengio 都在貝爾實(shí)驗(yàn)室工作。即使不在一起工作的時(shí)候，他們的研究中也存在協(xié)同和相互關(guān)聯(lián)性，他們對(duì)彼此產(chǎn)生了巨大的影響。

這三位大牛目前繼續(xù)探索機(jī)器學(xué)習(xí)與神經(jīng)科學(xué)和認(rèn)知科學(xué)之間的交叉領(lǐng)域，最著名的是他們共同參與了加拿大高級(jí)研究所（CIFAR）的「機(jī)器與大腦學(xué)習(xí)計(jì)劃（Learning in Machines and Brains program）。

主要技術(shù)成就

今年圖靈獎(jiǎng)得主的技術(shù)成就帶來(lái)了 AI 技術(shù)的極大突破，包括但不限于以下成果。

Geoffrey Hinton

ACM 表示 Geoffrey E Hinton 主要有三大重要貢獻(xiàn)：

反向傳播

玻爾茲曼機(jī)

對(duì)卷積神經(jīng)網(wǎng)絡(luò)的修正

在 1986 年的一篇論文中，Hinton 與 David Rumelhart 和 Ronald Williams 提出了反向傳播，這篇論文即著名的《Learning Internal Representations by Error Propagation》。Hinton 等研究者表示反向傳播算法允許神經(jīng)網(wǎng)絡(luò)探索數(shù)據(jù)內(nèi)部的深層表征，因此神經(jīng)網(wǎng)絡(luò)才能解決以前被認(rèn)為無(wú)法解決的問(wèn)題。反向傳播目前已經(jīng)成為訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)所必需的算法。

1983 年，Hinton 和 Terrence Sejnowski 提出了玻爾茲曼機(jī)，它是第一個(gè)能學(xué)習(xí)神經(jīng)元內(nèi)部表征的深度神經(jīng)網(wǎng)絡(luò)，這種表征既不是輸入也不是輸出的一部分。

到了 2012 年，Hinton 與他的學(xué)生 Alex Krizhevsky 和 Ilya Sutskever 為卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展做出了重要貢獻(xiàn)。他們率先使用修正線性神經(jīng)元（ReLU）和 Dropout 正則化大大提升了深度卷積神經(jīng)網(wǎng)絡(luò)的性能。在當(dāng)年的 ImageNet 競(jìng)賽中，Hinton 和他的學(xué)生幾乎將圖像識(shí)別的誤差率減半，這一次挑戰(zhàn)賽重塑了計(jì)算機(jī)視覺領(lǐng)域。

Yoshua Bengio

ACM 表示 Yoshua Bengio 主要有三大重要貢獻(xiàn)：

序列的概率建模

高維詞嵌入與注意力機(jī)制

生成對(duì)抗網(wǎng)絡(luò)

在上個(gè)世紀(jì)九十年代，Bengio 提出將神經(jīng)網(wǎng)絡(luò)與序列的概率建模相結(jié)合，例如隱馬爾可夫模型這種序列的概率建模方法。這些創(chuàng)新觀點(diǎn)被 AT&T/NCR 所接受，并用于閱讀手寫支票，該系統(tǒng)被認(rèn)為是九十年代神經(jīng)網(wǎng)絡(luò)研究的巔峰之作，現(xiàn)代基于深度學(xué)習(xí)的語(yǔ)音識(shí)別系統(tǒng)都是在這些概念上繼續(xù)擴(kuò)展的。

在 2000 年，Bengio 等研究者發(fā)表了一篇具有里程碑意義的論文《A Neural Probabilistic Language Model》，該論文引入了高維詞嵌入作為詞義的表征方法。Bengio 的觀點(diǎn)對(duì)自然語(yǔ)言處理任務(wù)產(chǎn)生了巨大而持久的影響，包括機(jī)器翻譯、知識(shí)問(wèn)答、視覺問(wèn)答等等。他的研究團(tuán)隊(duì)還提出了一種注意力機(jī)制，該方法直接導(dǎo)致了機(jī)器翻譯領(lǐng)域的突破，并構(gòu)成了深度學(xué)習(xí)序列建模的關(guān)鍵組成部分。

自 2010 年以來(lái)，Bengio 非常關(guān)注生成式深度學(xué)習(xí)，特別是他與 Ian Goodfellow 等研究者提出的生成對(duì)抗網(wǎng)絡(luò)（GAN），這項(xiàng)研究引起了計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)的革命。這項(xiàng)工作令人驚奇的地方在于，計(jì)算機(jī)能生成與原始圖像相媲美的圖像，這難免讓人聯(lián)想到人類水平的創(chuàng)造力。

Yann LeCun

ACM 表示 Yann LeCun 主要有三大重要貢獻(xiàn)：

提出卷積神經(jīng)網(wǎng)絡(luò)

改進(jìn)反向傳播算法

拓寬神經(jīng)網(wǎng)絡(luò)的視角

20 世紀(jì) 80 年代，LeCun 構(gòu)建了卷積神經(jīng)網(wǎng)絡(luò)，這是該領(lǐng)域的一項(xiàng)重要理論，對(duì)于提高深度學(xué)習(xí)效率至關(guān)重要。20 世紀(jì) 80 年代后期，LeCun 就職于多倫多大學(xué)和貝爾實(shí)驗(yàn)室，也是在這一時(shí)期，它利用手寫數(shù)字圖像訓(xùn)練了第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)。如今，卷積神經(jīng)網(wǎng)絡(luò)已成為計(jì)算機(jī)視覺、語(yǔ)音識(shí)別、語(yǔ)音合成、圖像合成和自然語(yǔ)言處理領(lǐng)域的行業(yè)標(biāo)準(zhǔn)。卷積神經(jīng)網(wǎng)絡(luò)有著廣泛的應(yīng)用，如自動(dòng)駕駛、醫(yī)學(xué)圖像分析、語(yǔ)音助手和信息過(guò)濾等。

改進(jìn)反向傳播算法，LeCun 提出了一個(gè)早期版本的反向傳播算法（backprop），并基于變分原理給出了一個(gè)清晰的推導(dǎo)。他加速反向傳播算法的工作包括描述加快學(xué)習(xí)速度的兩個(gè)簡(jiǎn)單方法。

LeCun 的貢獻(xiàn)還包括拓寬神經(jīng)網(wǎng)絡(luò)的研究視角，他將神經(jīng)網(wǎng)絡(luò)發(fā)展為一種計(jì)算模型，用到一系列任務(wù)中，他早期工作中的一些概念已成為 AI 發(fā)展的基石。例如，在圖像識(shí)別領(lǐng)域，他研究了如何在神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)分層特征表征——這一概念現(xiàn)在經(jīng)常用于許多識(shí)別任務(wù)。他和 Leon Bottou 一起提出：學(xué)習(xí)系統(tǒng)可以被構(gòu)建為復(fù)雜的模塊網(wǎng)絡(luò)，在這個(gè)網(wǎng)絡(luò)中，反向傳播通過(guò)自動(dòng)微分來(lái)執(zhí)行，這一理念用在每一個(gè)現(xiàn)代深度學(xué)習(xí)軟件中。他們還提出了可以處理結(jié)構(gòu)化數(shù)據(jù)的深度學(xué)習(xí)架構(gòu)，如「圖」（graph）。