從計(jì)算的早期開(kāi)始,人們就一直認(rèn)為人工智能有朝一日會(huì)改變這個(gè)世界。幾十年來(lái),我們已經(jīng)看到無(wú)數(shù)流行文化參考和未來(lái)主義思想家所描述的未來(lái),但技術(shù)本身仍然難以捉摸。增量進(jìn)步主要?dú)w功于邊緣學(xué)術(shù)界和消費(fèi)性企業(yè)研究部門(mén)。
這一切都在五年前發(fā)生了變化。隨著現(xiàn)代深度學(xué)習(xí)的出現(xiàn),我們已經(jīng)看到了這項(xiàng)技術(shù)在行動(dòng)中的真實(shí)一瞥:計(jì)算機(jī)開(kāi)始看到,聽(tīng)到和談?wù)?。人工智能第一次感覺(jué)有形,觸手可及。
今天的人工智能開(kāi)發(fā)主要圍繞深度學(xué)習(xí)算法,如卷積網(wǎng)絡(luò),循環(huán)網(wǎng)絡(luò),生成對(duì)抗網(wǎng)絡(luò),強(qiáng)化學(xué)習(xí),膠囊網(wǎng)等。所有這些都有一個(gè)共同點(diǎn),就是它們需要大量的計(jì)算能力。為了在推廣這種智能方面取得實(shí)際進(jìn)展,我們需要徹底檢查為這項(xiàng)技術(shù)提供動(dòng)力的計(jì)算系統(tǒng)。
2009年發(fā)現(xiàn)GPU作為計(jì)算設(shè)備通常被視為一個(gè)關(guān)鍵時(shí)刻,幫助引發(fā)了圍繞深度學(xué)習(xí)的寒武紀(jì)爆發(fā)。從那時(shí)起,對(duì)并行計(jì)算架構(gòu)的投資爆炸式增長(zhǎng)。谷歌TPU(Tensor Processing Unit)的興奮就是一個(gè)很好的例子,但TPU才剛剛開(kāi)始。 CB Insights的發(fā)言人告訴我的團(tuán)隊(duì),僅在2017年,新的專(zhuān)用AI芯片創(chuàng)業(yè)公司就籌集了15億美元。這太驚人了。
我們已經(jīng)看到新的創(chuàng)業(yè)公司進(jìn)入現(xiàn)場(chǎng),挑戰(zhàn)英特爾,AMD,Nvidia,微軟,高通,谷歌和IBM等老牌企業(yè)。像Graphcore,Nervana,Cerebras,Groq,Vathys,Cambricon,SambaNova Systems和Wave Computing這樣的新興公司正在成為為深度學(xué)習(xí)的未來(lái)鋪平道路的新星。雖然這些初創(chuàng)公司肯定資金充足,但這些都是早期的,我們還沒(méi)有看到誰(shuí)將成為贏家,將來(lái)會(huì)有什么樣的老衛(wèi)兵。
Nvidia的統(tǒng)治地位
Nvidia將GPU作為人工智能和深度學(xué)習(xí)的替代品引入主流。 該公司計(jì)算從消費(fèi)者游戲領(lǐng)導(dǎo)者到AI芯片公司的轉(zhuǎn)變一直都很不錯(cuò)。 就像其對(duì)Volta的30億美元投資以及像CUDA / cuDNN這樣的深度學(xué)習(xí)軟件庫(kù)的推動(dòng),它將其從領(lǐng)先地位推向市場(chǎng)主導(dǎo)地位。 去年,它的股票走到了盡頭,首席執(zhí)行官Jensen Huang被“財(cái)富”雜志評(píng)為年度最佳商人,并因此獲得了“新英特爾”的美譽(yù)。
但是雖然Nvidia在外觀上可能看起來(lái)完全不同,但它仍然只是制造了幾十年來(lái)制作的相同顯卡。但GPU作為AI技術(shù)的未來(lái)尚不確定。批評(píng)者認(rèn)為,GPU已經(jīng)擠滿(mǎn)了20年的不適用于深度學(xué)習(xí)。 GPU是通用設(shè)備,可支持各種應(yīng)用,包括從物理模擬到電影渲染的所有應(yīng)用。我們不要忘記,在2009年深度學(xué)習(xí)中首次使用GPU基本上是一種黑客行為。
ASIC的興起
攻擊芯片市場(chǎng)的公司正在證明AI將在專(zhuān)用芯片上更快地執(zhí)行光照。最可能的候選者是ASIC(專(zhuān)用集成電路),它可以高度優(yōu)化以執(zhí)行特定任務(wù)。
如果您認(rèn)為芯片是從通用到專(zhuān)用的發(fā)展,那么頻譜包括一方面的CPU,中間的GPU和FPGA,另一方面包括ASIC。
CPU在執(zhí)行高度復(fù)雜的操作方面非常有效 - 基本上與支持深度學(xué)習(xí)訓(xùn)練和推理的特定數(shù)學(xué)類(lèi)型相反。新進(jìn)入者正在押注ASIC,因?yàn)樗鼈兛梢栽谛酒?jí)設(shè)計(jì),以處理大量簡(jiǎn)單的任務(wù)。該板可以專(zhuān)用于一組窄函數(shù) - 在這種情況下,稀疏矩陣乘法,具有高度并行性。即使是設(shè)計(jì)為可編程且因此稍微更加通用化的FPGA,其隱含的多功能性也受到阻礙。
專(zhuān)用AI芯片的性能提升是顯而易見(jiàn)的。那么這對(duì)更廣泛的技術(shù)領(lǐng)域意味著什么呢?
未來(lái)是非商品化的
相對(duì)于CPU而言,GPU已經(jīng)沒(méi)有商品化了,而我們所看到的AI芯片投資的巨大增長(zhǎng)是GPU最終會(huì)被更專(zhuān)業(yè)的東西取代??紤]到Nvidia的存在,英特爾的x86 CPU技術(shù)過(guò)于普遍化,無(wú)法滿(mǎn)足對(duì)圖形密集型應(yīng)用不斷增長(zhǎng)的需求,這里有一點(diǎn)諷刺。這一次,英特爾和Nvidia都不會(huì)袖手旁觀,讓創(chuàng)業(yè)公司吞噬這個(gè)新市場(chǎng)。機(jī)會(huì)太大了。
可能的情況是,我們會(huì)看到Nvidia和英特爾繼續(xù)大力投資Volta和Nervana(以及他們的繼任者)。由于互操作性問(wèn)題,AMD一直在苦苦掙扎(參見(jiàn)下面的軟件部分),但很可能會(huì)很快提出可用的東西。微軟和谷歌正在與Brainwave和TPU以及許多其他項(xiàng)目合作。然后是所有創(chuàng)業(yè)公司。這份名單似乎每周增長(zhǎng),你很難找到一個(gè)風(fēng)險(xiǎn)投資基金,該基金沒(méi)有對(duì)至少一個(gè)參與者進(jìn)行過(guò)相當(dāng)大的賭注。
芯片領(lǐng)域的另一個(gè)問(wèn)題是邊緣計(jì)算,其中推理是直接在設(shè)備上計(jì)算的,而不是云內(nèi)環(huán)境或公司數(shù)據(jù)中心。模型可以直接部署在邊緣,以滿(mǎn)足低延遲要求(移動(dòng))或?qū)Φ凸?,間歇連接設(shè)備(嵌入式,物聯(lián)網(wǎng))進(jìn)行預(yù)測(cè)。最近有幾個(gè)關(guān)于基于邊緣的AI加速器的公告,例如Google的Edge TPU。
打開(kāi)有關(guān)未來(lái)的問(wèn)題
芯片領(lǐng)域的任何新人面臨的最大挑戰(zhàn)可能不是硬件 - 它是軟件。 Nvidia憑借CUDA / cuDNN在市場(chǎng)上占有一席之地,CUDA / cuDNN是軟件庫(kù),構(gòu)成了位于芯片頂部的必要抽象層,使TensorFlow和PyTorch等框架無(wú)需編寫(xiě)復(fù)雜的低級(jí)指令即可運(yùn)行。如果沒(méi)有這些高級(jí)庫(kù),通常很難從代碼的角度來(lái)定位芯片。
問(wèn)題是,CUDA和cuDNN不是開(kāi)源的。它們是專(zhuān)有包,只能在Nvidia硬件上運(yùn)行。在開(kāi)發(fā)人員可以利用ASIC之前,提供商需要首先找到一種新方法,使框架可以輕松訪問(wèn)其芯片。如果沒(méi)有這一點(diǎn),開(kāi)發(fā)人員將不會(huì)采用重要的(如果有的話) - 開(kāi)發(fā)人員只會(huì)堅(jiān)持使用Nvidia,因?yàn)樗尚小P枰幸粋€(gè)等同于CUDA / cuDNN的開(kāi)源或需要移植到特定ASIC的框架,就像Google對(duì)TPU和TensorFlow所做的那樣。沒(méi)有明顯的解決方案,這是一個(gè)巨大的障礙。
這是什么意思呢?
至少在短期內(nèi),我們會(huì)看到過(guò)多的芯片,一些直接相互競(jìng)爭(zhēng),另一些則專(zhuān)注于培訓(xùn)和推理的特定方面。這對(duì)行業(yè)意味著開(kāi)發(fā)人員會(huì)有很多選擇。與大規(guī)模商品化的CPU市場(chǎng)不同,該行業(yè)看起來(lái)更像是一個(gè)更加多樣化,異構(gòu)化和特定于應(yīng)用程序的未來(lái)。
雖然我們不知道具體結(jié)果是什么,但有一點(diǎn)是肯定的:人工智能的未來(lái)在于專(zhuān)用ASIC而不是商品硬件。