現(xiàn)今，Google許多服務(wù)，幾乎都跟AI有關(guān)，舉凡是搜尋、地圖、照片和翻譯等等，這些AI應(yīng)用服務(wù)，在訓(xùn)練學(xué)習(xí)和推論過(guò)程中，都使用到了Google的TPU。Google很早就在數(shù)據(jù)中心內(nèi)大量部署TPU，用于加速AI模型訓(xùn)練和推論部署使用，甚至不只自用，后來(lái)更當(dāng)作云端運(yùn)算服務(wù)或提供第三方使用，還將它變成產(chǎn)品銷售。
在今年線上臺(tái)灣人工智慧年會(huì)上，Google研究部門(mén)軟件工程師Cliff Young擔(dān)任第一天的主題演講，Cliff Young不只是Google Brain團(tuán)隊(duì)核心成員，更是Google TPU晶片主要設(shè)計(jì)者，一手設(shè)計(jì)和打造TPU，部署到Google數(shù)據(jù)中心內(nèi)，作為AI硬件加速器，用于各種AI模型訓(xùn)練或推論。在加入Google前，他曾在DE Shaw Research和貝爾實(shí)驗(yàn)室，負(fù)責(zé)設(shè)計(jì)和建造實(shí)驗(yàn)室超級(jí)電腦。在整場(chǎng)演講中，他不只親自揭露Google決定自行開(kāi)發(fā)TPU的過(guò)程，針對(duì)深度學(xué)習(xí)革命對(duì)于未來(lái)AI發(fā)展影響，也提出他的最新觀察。
Cliff Young表示，深度學(xué)習(xí)神經(jīng)網(wǎng)路技術(shù)自2009年開(kāi)始在語(yǔ)音辨識(shí)大放異彩以來(lái)，幾乎每年在不同領(lǐng)域應(yīng)用上，我們都能看到因?yàn)樯疃葘W(xué)習(xí)而有了突破性的發(fā)展，從AI影像識(shí)別、Al下棋、到Al視網(wǎng)膜病變判讀、語(yǔ)文翻譯、機(jī)器人揀貨等等，「這是我們以前從未想過(guò)的事?！?/p>
正因?yàn)?，深度學(xué)習(xí)的出現(xiàn)，讓人類在不同領(lǐng)域執(zhí)行任務(wù)的方式產(chǎn)生重大變化，他也以美國(guó)知名科學(xué)哲學(xué)家Thomas Kuhn提出的科學(xué)革命的發(fā)展模式來(lái)形容，深度學(xué)習(xí)本身就是一種科學(xué)革命的典范轉(zhuǎn)移，不只是常態(tài)科學(xué)。
Thomas Kuhn在《科學(xué)革命的結(jié)構(gòu)》一書(shū)中提出兩種科學(xué)發(fā)展模式，第一種是常態(tài)科學(xué)的模式，透過(guò)實(shí)驗(yàn)和證明來(lái)理解新事實(shí)的方法，當(dāng)出現(xiàn)舊科學(xué)無(wú)法認(rèn)同的新科學(xué)產(chǎn)生時(shí)，就會(huì)產(chǎn)生新舊科學(xué)之間的沖突，衍生發(fā)展出另一種模式，也就是第二種的科學(xué)革命的模式，在此模式下，新科學(xué)模式將徹底顛覆舊科學(xué)的作法?！肝艺J(rèn)為深度學(xué)習(xí)革命就是這樣一種轉(zhuǎn)變， 正在取代傳統(tǒng)電腦科學(xué)?！笴liff Young說(shuō)道。
更進(jìn)一步來(lái)說(shuō)，他指出，深度學(xué)習(xí)是一種數(shù)據(jù)驅(qū)動(dòng)的決策過(guò)程，不同于傳統(tǒng)的stored value 或啟發(fā)式（heuristic）決策方法，深度學(xué)習(xí)算法使用可觀測(cè)的數(shù)據(jù)，來(lái)提供人類建立更好地決策的方式，比如運(yùn)用在使用者推薦，可以根據(jù)使用者輪廓或網(wǎng)路行為，來(lái)推薦適合的產(chǎn)品或給出最佳搜索結(jié)果。
但他也坦言，不像數(shù)學(xué)原理可以被解釋，深度學(xué)習(xí)模型運(yùn)作原理目前仍難以解釋，也因此，科學(xué)家無(wú)法從這些為何可行的原因中，找到提高效率的更好的作法。但如果想完全理解和解釋深度學(xué)習(xí)運(yùn)作原理，依照過(guò)往工業(yè)革命的發(fā)展經(jīng)驗(yàn)，得等到合成神經(jīng)動(dòng)力學(xué)的出現(xiàn)后，才有機(jī)會(huì)得到解釋，動(dòng)輒可能耗費(fèi)數(shù)十年之久，所以，他也說(shuō)：「從事深度學(xué)習(xí)研究，比起問(wèn)why，how更重要?！?/p>
Cliff Young回顧機(jī)器學(xué)習(xí)革命過(guò)程，可以2012年的AlexNet神經(jīng)網(wǎng)路架構(gòu)作為分水嶺，由Alex Krizhesky等人提出的AlexNet運(yùn)用GPU建立的深度學(xué)習(xí)模型，以85%準(zhǔn)確度刷新世界記錄，在當(dāng)年ImageNet圖像分類競(jìng)賽中一舉奪冠。
這項(xiàng)競(jìng)賽后來(lái)也引起Google的高度關(guān)注，認(rèn)為深度學(xué)習(xí)技術(shù)大有可為，便開(kāi)始投入研究。但他們投入后發(fā)現(xiàn)，深度學(xué)習(xí)模型在圖像識(shí)別和分類的成效表現(xiàn)，高度仰賴GPU的浮點(diǎn)運(yùn)算能力，需要消耗大量運(yùn)算資源供AI模型做學(xué)習(xí)訓(xùn)練，因模型訓(xùn)練運(yùn)用GPU衍生出的運(yùn)算成本十分昂貴。所以，Google才毅然決定自行開(kāi)發(fā)深度學(xué)習(xí)專用的處理器晶片，也就是TPU（Tensor processing unit）。
在投入深度學(xué)習(xí)研究3年后，2015年時(shí)，Google開(kāi)發(fā)出第一代TPU處理器，開(kāi)始部署到自家的數(shù)據(jù)中心，用于深度學(xué)習(xí)的模型訓(xùn)練。
Google在2016年Google I/O大會(huì)首次揭露TPU，與當(dāng)時(shí)的CPU與GPU相比，Google的TPU不僅能提供高出30~100倍的每秒浮點(diǎn)運(yùn)算性能，在整體運(yùn)算效能上也有多達(dá)15到30倍的提升，甚至在效能/功耗比獲得有將近30~80倍的改善，Cliff Young表示，TPU很可能是當(dāng)時(shí)世上第一個(gè)實(shí)現(xiàn)以高記憶體容量的矩陣架構(gòu)設(shè)計(jì)完成的處理器。
當(dāng)年，Google擊敗韓國(guó)棋王李世石的AI電腦圍棋程式AlphaGo，背后功臣就是使用TPU運(yùn)算的伺服器機(jī)柜，Google Deepmind團(tuán)隊(duì)在AlphaGo中采用48個(gè)TPU用于AlphaGo的AI下棋推論， 與人類進(jìn)行棋力比賽。
到目前為止，Google TPU一共歷經(jīng)4代發(fā)展演進(jìn)，從初代TPU僅能應(yīng)用于推論，到第二代TPU開(kāi)始加入深度學(xué)習(xí)模型訓(xùn)練處理能力，對(duì)于網(wǎng)路吞吐量需求增高，而隨著運(yùn)算能力的提升，考慮到散熱問(wèn)題，所以新一代TPU開(kāi)始在散熱機(jī)制上結(jié)合液冷設(shè)計(jì)，也就是第3代TPU，也因此增加TPU密度，到了最新第4代TPU，則推出無(wú)液冷的TPU v4i和采用分散式液冷的TPU v4兩種不同版本。
這幾年，深度學(xué)習(xí)硬件加速器越來(lái)越火紅，Cliff Young認(rèn)為，在AI訓(xùn)練和推論硬件發(fā)展上將出現(xiàn)轉(zhuǎn)變。他預(yù)測(cè)，未來(lái)推論硬件設(shè)計(jì)上將更具多樣性，來(lái)發(fā)展出不同推理解決方案，來(lái)對(duì)應(yīng)不同場(chǎng)景的使用需求，從微瓦的超低功耗，到高效能運(yùn)算HPC以及超級(jí)電腦應(yīng)用。
另在AI訓(xùn)練硬件方面， 他表示，融合式硬件架構(gòu)將成為發(fā)展主流，尤其現(xiàn)在不少新推出的AI訓(xùn)練硬件，都有不少相似之處，像是在設(shè)計(jì)高密度運(yùn)算晶片Die時(shí)，會(huì)采用HBM（高頻寬記憶體）整合設(shè)計(jì)，還有建立高效能互連網(wǎng)路，用于傳輸訓(xùn)練數(shù)據(jù)，如TPU就有使用ICI（Inter-Core Interconnect）來(lái)與其他TPU高速互連，其他還有如Nvidia的NVLink高速互連介面等。雖然這些技術(shù)，都來(lái)自不同團(tuán)隊(duì)，但他們都有個(gè)共通之處，就是在研究共同問(wèn)題想辦法找答案，他表示，透過(guò)這些技術(shù)融合，有機(jī)會(huì)可以找到好的解決方案。
Google數(shù)據(jù)中心內(nèi)目前部署了許多TPU Pod
另一方面，他也觀察到，近幾年，全球AI競(jìng)賽進(jìn)到白熱化階段，雖然加速深度學(xué)習(xí)在自然語(yǔ)言模型的突飛猛進(jìn)，但也使得需要訓(xùn)練的AI模型越來(lái)越龐大，像是為了完成使用1,750億個(gè)神經(jīng)參數(shù)的GPT-3文字產(chǎn)生器模型的訓(xùn)練，OpenAI使用1萬(wàn)個(gè)GPU建立運(yùn)算叢集，以petaflops算力花了3,640天來(lái)訓(xùn)練該模型。
為了訓(xùn)練出像GPT-3這樣的超大AI模型，Google也以多個(gè)TPU互連建立TPU Pod叢集，來(lái)打造超級(jí)電腦叢集，放在自己的數(shù)據(jù)中心內(nèi)加速AI模型的訓(xùn)練。過(guò)去幾年Google TPU Pod也從一開(kāi)始256個(gè)TPU、增加到1,024個(gè)，到現(xiàn)在一個(gè)Pod擁有多達(dá)4,096個(gè)運(yùn)算節(jié)點(diǎn)。以上圖在Google數(shù)據(jù)中心使用的TPU Pod為例，分上下二層建立TPU Pod叢集，每層配置多臺(tái)機(jī)架式機(jī)柜，每臺(tái)機(jī)柜中安裝了數(shù)十個(gè)TPU，包括TPU v2與TPU v3，再透過(guò)網(wǎng)路線來(lái)與其他TPU高速互連。
但想要跟上深度學(xué)習(xí)發(fā)展腳步，Cliff Young認(rèn)為，不能僅靠加大訓(xùn)練用的運(yùn)算機(jī)器，現(xiàn)有的軟硬件架構(gòu)設(shè)計(jì)也得跟著轉(zhuǎn)變才行，他提出materials -application codesign協(xié)同設(shè)計(jì)的概念，認(rèn)為未來(lái)深度學(xué)習(xí)架構(gòu)設(shè)計(jì)，需要結(jié)合包含從物理到應(yīng)用所有層面的協(xié)同設(shè)計(jì)，他認(rèn)為這是打破摩爾定律瓶頸，找到深度學(xué)習(xí)發(fā)展新出路的方法。
他進(jìn)一步說(shuō)明，在傳統(tǒng)協(xié)同設(shè)計(jì)中，硬件和軟件之間僅靠一層單薄的ISA指令集架構(gòu)作為聯(lián)系溝通，但在以DSA（Domain-specific Architecture）專用領(lǐng)域架構(gòu)為主的協(xié)同設(shè)計(jì)中，則由包含許多不同軟件層，架構(gòu)層，以及不同介面組合而成。其中軟件層方面，包括函式庫(kù)、編譯器、應(yīng)用程式、模型、演算法、Numerics等，硬件架構(gòu)方面包括物理設(shè)計(jì)、半導(dǎo)體材料、架構(gòu)及微架構(gòu)等。這些軟硬件協(xié)同設(shè)計(jì)，未來(lái)可以運(yùn)用到深度學(xué)習(xí)架構(gòu)設(shè)計(jì)優(yōu)化上，像是在記憶體技術(shù)中，能大幅降低模型訓(xùn)練過(guò)程對(duì)于位元（bits）覆寫(xiě)使用，以及加入采用較慢的記憶體讀取速度的設(shè)計(jì)等。
