英特爾與南京大學(xué)聯(lián)合成立了一個(gè)「人工智能聯(lián)合研究中心」。9 月 12 日，英特爾中國(guó)研究院院長(zhǎng)宋繼強(qiáng)與南京大學(xué)人工智能學(xué)院院長(zhǎng)周志華在南京為這個(gè)名為「英特爾-南京大學(xué)人工智能 IPCC 中心」的機(jī)構(gòu)揭了牌。

「我想通過和英特爾的合作，不僅會(huì)進(jìn)一步推動(dòng)我們?cè)谌斯ぶ悄?、機(jī)器學(xué)習(xí)算法方面的研究，同時(shí)也會(huì)進(jìn)一步擴(kuò)大這些研究對(duì)芯片硬件架構(gòu)方面進(jìn)一步發(fā)展的影響」，周志華表示，「此外，因?yàn)橛⑻貭栆呀?jīng)給各行各業(yè)的用戶提供了技術(shù)支持和服務(wù)，通過這次合作，也有可能進(jìn)一步把我們的研究成果進(jìn)一步推向產(chǎn)業(yè)化應(yīng)用，提供更好的發(fā)展空間?！?br/>

周志華與宋繼強(qiáng)曾經(jīng)是南京大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系的九年同窗，如今這兩位昔日校友又分別以學(xué)界和業(yè)界的身份走到一起，一位帶來了對(duì)深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的可替代方法的深入思考——「深度森林」，另一位帶來了以英特爾至強(qiáng)系列處理器為代表的「一片多核」硬件架構(gòu)，目標(biāo)是給更大、更需要可解釋性的任務(wù)提供不被數(shù)據(jù)規(guī)模局限的、更易訓(xùn)練也更容易分析的算法解決方案。

深度神經(jīng)網(wǎng)絡(luò)之外的深度學(xué)習(xí)

「很多外界的人有兩個(gè)有失偏頗的觀點(diǎn)。第一，會(huì)傾向于認(rèn)為人工智能這一波進(jìn)步完全是深度學(xué)習(xí)帶起來的，但是其實(shí)深度學(xué)習(xí)只是背后的一部分，比如 AlphaGo 背后更重要的是強(qiáng)化學(xué)習(xí)。第二，會(huì)傾向于認(rèn)為深度學(xué)習(xí)就是深度神經(jīng)網(wǎng)絡(luò)。我們的探索就是試圖告訴大家：深度學(xué)習(xí)不光是深度神經(jīng)網(wǎng)絡(luò)，還有很多別的東西?！乖诮遗苾x式之后的采訪上，周志華對(duì)于深度森林工作的意義這樣解釋道。同時(shí)他也講述了自己對(duì)于深度學(xué)習(xí)的發(fā)展趨勢(shì)的判斷：「在未來，完全基于深度神經(jīng)網(wǎng)絡(luò)的『狹義深度學(xué)習(xí)』的空間可能逐漸地變小，因?yàn)樗杏玫姆秶覀冎饾u都知道了。但是廣義的深度學(xué)習(xí)可能會(huì)長(zhǎng)期存在下去，甚至變成以后的機(jī)器學(xué)習(xí)系統(tǒng)的一個(gè)基本配置。」

什么是「廣義深度學(xué)習(xí)」？周志華將其定義為「由更深更大的由子模型組成的解決復(fù)雜問題的模型」，這里的子模型可能是神經(jīng)網(wǎng)絡(luò)，可能是隨機(jī)森林，也可能是其他的結(jié)構(gòu)。

深度森林算法提出在去年年初，gcForest 也于去年六月開源?！浮簺]有免費(fèi)午餐』定理嚴(yán)格證明了沒有一種模型適用于全部的數(shù)據(jù)類型。深度神經(jīng)網(wǎng)絡(luò)在圖像、語(yǔ)音數(shù)據(jù)上特別有效，而我們的前期研究發(fā)現(xiàn)，森林結(jié)構(gòu)在符號(hào)數(shù)據(jù)、離散數(shù)據(jù)混合建模上可能有特長(zhǎng)?！拐?IJCAI 論文結(jié)尾所言，團(tuán)隊(duì)認(rèn)為這項(xiàng)新方法能夠?yàn)槭褂蒙疃葘W(xué)習(xí)方法解決更多任務(wù)打開一扇深度神經(jīng)網(wǎng)絡(luò)之外的大門。

在過去一年多的時(shí)間里，周志華團(tuán)隊(duì)也一直在從不同角度「敲門」。在會(huì)后的采訪中，周志華分享了一些團(tuán)隊(duì)進(jìn)行過的嘗試的方向：一方面探索深度森林的能力邊界，比如探索深度森林是否具有傳統(tǒng)認(rèn)為只有神經(jīng)網(wǎng)絡(luò)才具有的的自編碼能力；一方面研究如何調(diào)動(dòng)更多計(jì)算資源，更好利用其自身的高并行性的特點(diǎn)，做任務(wù)級(jí)的并行；最后在應(yīng)用層面，他的團(tuán)隊(duì)也和螞蟻金服等合作，檢驗(yàn)深度森林算法在一個(gè)真實(shí)場(chǎng)景下的真實(shí)任務(wù)（從有大量離散特征的網(wǎng)上金融交易數(shù)據(jù)中進(jìn)行非法套現(xiàn)檢測(cè)）里效果如何。如今三方面都有不錯(cuò)的進(jìn)展。

CPU 與其他硬件的深度學(xué)習(xí)加速之路

在應(yīng)用層面上，沒有一套硬件解決方案能夠適用于所有的場(chǎng)景已經(jīng)是一個(gè)共識(shí)了。宋繼強(qiáng)介紹了英特爾中國(guó)研究院的主要方向：面向未來無處不在的具備完整的外界感知、理解決策、以及行為能力的自主前端設(shè)備。這些設(shè)備對(duì)算力的需求可以說是五花八門。英特爾如今最新的至強(qiáng)處理器通過加強(qiáng)了單精度和可變精度浮點(diǎn)數(shù)的計(jì)算能力來對(duì)深度學(xué)習(xí)應(yīng)用做了適應(yīng)性的調(diào)整，但是可以進(jìn)行的嘗試還有更多。

「同樣的人工智能算法在 100 個(gè)行業(yè)就有 100 種甚至更多的不同使用方式，每一種使用方式都可能有最好的軟硬件搭配的方法。在前端、云端、邊緣的計(jì)算對(duì)于計(jì)算資源的功耗、尺寸、實(shí)時(shí)性的要求都不一樣。英特爾給出的答案是『混搭』，用多個(gè)芯片內(nèi)核通過高級(jí)的集成封裝技術(shù)進(jìn)行 2D 和 3D 層面高速互聯(lián)，實(shí)現(xiàn)異構(gòu)計(jì)算?！顾卫^強(qiáng)介紹道。

應(yīng)用層面不能在硬件上以「一」待勞，學(xué)術(shù)研究方向也是如此。

「深度森林和現(xiàn)在的深度神經(jīng)網(wǎng)絡(luò)不一樣的一個(gè)地方在于，它不適合用 GPU 加速?！怪苤救A坦言。

在「更大的模型會(huì)帶來更好效果」的廣義深度學(xué)習(xí)基本假設(shè)之下，想要將深度森林做得更大，就要進(jìn)行一些不一樣的嘗試。

「一種是我們和在工業(yè)界的合作伙伴一起做分布式的計(jì)算系統(tǒng)，而另一種就是能否用其他硬件提高其可擴(kuò)展性。經(jīng)過大量的前期調(diào)研，我們認(rèn)為英特爾的一片多核的結(jié)構(gòu)極有可能對(duì)加速這樣的模型有特別的幫助?！?/p>

在軟件優(yōu)化之外，如果能夠在算法研究的前期直接從指令集層面乃至芯片布局層面進(jìn)行思考與優(yōu)化，對(duì)于模型效果會(huì)有怎樣的幫助？能不能同時(shí)思考軟硬件問題以實(shí)現(xiàn)最佳性能與效率？這是世界上的各個(gè)研究機(jī)構(gòu)都在思考的問題，周志華團(tuán)隊(duì)也不例外。

「深度森林主要基于樹架構(gòu)，每一個(gè)模型可以視為由多棵樹組成。第一，能不能進(jìn)行任務(wù)級(jí)的并行，能不能同時(shí)做多棵樹？第二，樹結(jié)構(gòu)很難在 GPU 上運(yùn)行，因?yàn)樗虚g涉及到很多分支選擇，這讓它與一個(gè)片上多個(gè) CPU 的結(jié)構(gòu)非常契合?！?/p>

團(tuán)隊(duì)已經(jīng)進(jìn)行了一些實(shí)驗(yàn)，「我們利用一塊英特爾至強(qiáng)融核的芯片（KNL），對(duì)一個(gè)特殊版本的深度森林做出了 64 倍的加速?！?/p>

同時(shí)，他們也有很多更遠(yuǎn)大的構(gòu)想，比如投入到大規(guī)模任務(wù)中，利用硬件加速提供更好的性能和效率：「受限于現(xiàn)在的計(jì)算架構(gòu)，一個(gè)特別大的任務(wù)進(jìn)來，內(nèi)存馬上耗光了，計(jì)算也算不下去了。但是實(shí)際從計(jì)算開銷來說，一個(gè)森林的開銷比一個(gè)神經(jīng)網(wǎng)絡(luò)要小。神經(jīng)網(wǎng)絡(luò)能通過 GPU 加速獲得性能的大幅提升，那深度森林能不能利用合適的芯片架構(gòu)，獲得類似的幫助？」

即使現(xiàn)有的芯片架構(gòu)都不能完美地解決這一問題，研究者也十分樂于為硬件開發(fā)者提供一些下一步設(shè)計(jì)上的啟發(fā)。

計(jì)算機(jī)人才的硬件能力與硬件研發(fā)的人才需求

在周志華看來，與英特爾的合作是讓南大計(jì)算機(jī)學(xué)科「更進(jìn)一步」方式?！冈瓉砟暇┐髮W(xué)的機(jī)器學(xué)習(xí)與人工智能的團(tuán)隊(duì)主要在理論和算法方面做一些工作，在應(yīng)用技術(shù)方面的研究主要也集中在軟件方面。南京大學(xué)作為一所綜合性大學(xué)，『硬件』一直是我們的計(jì)算機(jī)科學(xué)所欠缺的一條腿。這一步光靠我們自己很難再邁進(jìn)，我們希望能通過和英特爾的合作，在軟硬件結(jié)合方面往前走一步。」

LAMDA 實(shí)驗(yàn)室的一些研究生已經(jīng)從培養(yǎng)前期就介入了與英特爾的合作，「他們?cè)谶M(jìn)行工作的過程中獲得了很多英特爾資深工程師的指點(diǎn)，現(xiàn)在他們的底層硬件的理解和操作能力，要遠(yuǎn)遠(yuǎn)超過一般課程培養(yǎng)出來的學(xué)生?！?/p>

而能夠「往前一步」的，除了以博士生為主的研究人員，當(dāng)然也包含本科生。成立于今年 3 月的南京大學(xué)人工智能學(xué)院剛剛迎來了第一批入學(xué)的本科生，之前公開的一年級(jí)課表里，引人注目的是數(shù)學(xué)課：既包含了原先只有數(shù)學(xué)系學(xué)生需要學(xué)的《數(shù)學(xué)分析》和《高等代數(shù)》，也包含了原先只有計(jì)算機(jī)系學(xué)生需要學(xué)的《離散數(shù)學(xué)》。而本次周志華還透露，之后的專業(yè)課里還有一門是關(guān)于「智能芯片」。

「我們希望能夠培養(yǎng)出人工智能領(lǐng)域高水平的人才，其中一條就是希望他們能夠兼?zhèn)淙斯ぶ悄苄枰能浻布芰?。我們?cè)诳紤]引進(jìn)一些與芯片、硬件設(shè)計(jì)相關(guān)的課程，其中有一門課就是關(guān)于智能芯片的，而英特爾的合作為我們這方面的人才培養(yǎng)提供了一個(gè)非常好的支持。」

這是南京大學(xué)的角度。而從英特爾的角度，硬件的設(shè)計(jì)需要考慮「未來的算法」，因此除了從學(xué)界獲得前沿的算法動(dòng)向，培養(yǎng)了解硬件、能夠同時(shí)思考軟硬件問題的研究者也同樣重要。

宋繼強(qiáng)說「硬件的設(shè)計(jì)周期是很長(zhǎng)的，我需要預(yù)先知道哪些運(yùn)算模塊在未來會(huì)非常重要，通過聯(lián)合實(shí)驗(yàn)室的方式，我們挑選能夠『看到未來』的領(lǐng)域開拓者，讓學(xué)界在英特爾的硬件上進(jìn)行重要的工作負(fù)載嘗試，從他們的方向上去尋找未來的方向，為我們的硬件架構(gòu)設(shè)計(jì)提供很好的指導(dǎo)?！?/p>

英特爾與南大的人工智能聯(lián)合研究中心的合作框架以三年為期，屆時(shí)南大人工智能學(xué)院的全學(xué)年學(xué)生均已入學(xué)，而英特爾對(duì)于如何調(diào)整芯片設(shè)計(jì)思路以使其更適應(yīng)廣義深度學(xué)習(xí)時(shí)代的思路，也會(huì)更明朗地體現(xiàn)在通用 CPU、專用于神經(jīng)網(wǎng)絡(luò)加速的 NNP、 為終端深度學(xué)習(xí)模型提供專門算力的 VPU 等等芯片中。屆時(shí)深度森林以及其他「廣義深度學(xué)習(xí)」方法的能力范圍，會(huì)隨著算力的升級(jí)有怎樣的提升呢？我們對(duì)此拭目以待。