在之前舉辦的RISC-V峰會(huì)上，Esperanto Technologies的首席執(zhí)行官Art Swift宣布了一款基于RISC-V的新型芯片，旨在進(jìn)行機(jī)器學(xué)習(xí)，包含基于開(kāi)源RISC-V架構(gòu)的近1100個(gè)低功耗內(nèi)核。

　　這個(gè)產(chǎn)品在發(fā)布之后引來(lái)了廣泛討論。今日，EEjournal采訪了該公司的創(chuàng)始人，談及這款芯片的設(shè)計(jì)背后的一些想法。

　　據(jù)介紹，該芯片被定名為ET-SoC-1。從設(shè)計(jì)上看，它包括了處理器核心，內(nèi)存塊和網(wǎng)狀網(wǎng)絡(luò)。

　　報(bào)道指出，Esperanto公司在ET-SoC-1 的設(shè)計(jì)上已經(jīng)花費(fèi)了很多年的時(shí)間，且直到現(xiàn)在，該公司尚未收到第一批芯片，但是該項(xiàng)目已經(jīng)公諸于世。該公司創(chuàng)始人Dave Ditzel和首席執(zhí)行官Art Swift（首席執(zhí)行官）就像快樂(lè)的父母一樣為他們的“新寶寶”感到興奮。

　　據(jù)報(bào)道，Ditzel在微處理器領(lǐng)域擁有輝煌的履歷，他曾擔(dān)任Intel副總裁，是x86克隆制造商Transmeta的創(chuàng)始人，Sun SPARC業(yè)務(wù)的首席技術(shù)官，以及擁有David Patterson博士的UC Berkeley研究生的碩士學(xué)位。Swift則畢業(yè)于賓夕法尼亞州立大學(xué)的EE專業(yè)。，曾領(lǐng)導(dǎo)過(guò)RISC-V基金會(huì)的市場(chǎng)部PPR Foundation，在加入Esperanto之前，他還擔(dān)任過(guò)Wave Computing的首席執(zhí)行官。這些家伙就是在培育新的處理器。

　　這家擁有100名員工的公司認(rèn)為我們?cè)贏I問(wèn)題上全都錯(cuò)了。

　　首先，他們指出，將一個(gè)供應(yīng)商的AI芯片與另一個(gè)供應(yīng)商的AI芯片進(jìn)行比較是沒(méi)有意義的。正確的方法是查看每瓦而不是每個(gè)芯片的AI功能。瓦特很重要。芯片只是封裝選擇。

　　其次，可編程性是關(guān)鍵。

　　“如果您向硬件人員提出AI問(wèn)題，他們將需要定制設(shè)計(jì)一些東西以優(yōu)化內(nèi)部循環(huán)。但這將很難編程?！?Ditzel說(shuō)?！巴ㄓ肐SA [指令集體系結(jié)構(gòu)]擅長(zhǎng)外部循環(huán)，幾乎沒(méi)有額外的開(kāi)銷?！?/p>

　　Esperanto將特殊和通用的習(xí)慣與開(kāi)源相結(jié)合。它的AI加速硬件是定制的，但已嫁接到通用RISC-V架構(gòu)上。Ditzel說(shuō)，RISC-V的“底盤系統(tǒng)”使ET-SoC-1芯片易于編程，而定制加速器使其值得這樣做。

　　他們指出，整個(gè)芯片在設(shè)計(jì)時(shí)就考慮到了低功耗，因此與“現(xiàn)有解決方案”相比，其性能要高出30倍至50倍，同時(shí)還具有100倍的高能效。這個(gè)數(shù)據(jù)是根據(jù)Esperanto的模擬得出的，而我們離真正看到芯片還有幾個(gè)月的時(shí)間。

　　在這些比較中，“現(xiàn)有解決方案”是Intel和AMD的x86芯片。Esperanto從未明確表示公司是否與其他供應(yīng)商的AI芯片進(jìn)行比較，例如Groq，Mythic或Swift的前任雇主——幾乎已經(jīng)破產(chǎn)的Wave Computing。

　　用Ditzel的話說(shuō)，因?yàn)檫@么多機(jī)器學(xué)習(xí)任務(wù)“令人難以置信地是并行的”，所以針對(duì)ET-SoC-1的大規(guī)模并行設(shè)計(jì)似乎是正確的方法。當(dāng)然是這樣。該芯片上有1093個(gè)處理器，全部基于RISC-V。其中絕大多數(shù)（1088）是所謂的ET-Minion處理器，由四個(gè)ET-Maxion處理器和一個(gè)服務(wù)處理器（也基于RISC-V）提供服務(wù)。

　　Minion被分成八組，稱為“鄰居”。四個(gè)鄰域構(gòu)成一個(gè)“郡”，而6×6的郡陣列組成一個(gè)ET-SoC-1芯片。（一個(gè)郡裝有四個(gè)ET-Maxion內(nèi)核，一個(gè)郡裝有PCIe邏輯，這就是為什么總數(shù)不是1152的原因。）整個(gè)晶體管的總重量為238億個(gè)。

　　但它一直在繼續(xù)。每個(gè)ST-SoC-1芯片都設(shè)計(jì)為與相似的芯片群集在一起，在標(biāo)準(zhǔn)插入卡上最多包含六個(gè)芯片，以及存儲(chǔ)器和支持邏輯。這些卡可以組合成“底座”，底座分成“小方塊”，八個(gè)小方塊可放入標(biāo)準(zhǔn)的19英寸機(jī)架中，當(dāng)然，成千上萬(wàn)個(gè)機(jī)架排列在典型數(shù)據(jù)中心的“大廳”中。您幾乎可以期望世界語(yǔ)為擴(kuò)展數(shù)據(jù)中心建筑物制定分區(qū)委員會(huì)計(jì)劃。

　　對(duì)于這些人來(lái)說(shuō)，可伸縮性很重要。

　　追溯到開(kāi)始，每個(gè)ET-Minion內(nèi)核都以一個(gè)相當(dāng)簡(jiǎn)單的RISC-V pipeline實(shí)施以及一個(gè)大型AI加速器開(kāi)始。它旨在以盡可能低的電壓實(shí)現(xiàn)適中的時(shí)鐘速度（在1 GHz附近）。Esperanto的初始硅片是采用臺(tái)積電的7nm工藝制造的，其設(shè)計(jì)工作在電壓范圍的低端，幾乎所有東西都在同一電壓平面上，甚至包括高速緩存。

　　“在低電壓下，晶體管的效率提高了5倍至10倍，但沒(méi)有接近閾值電壓。作為架構(gòu)師，我們知道如何彌補(bǔ)降低的速度?！?Ditzel辯護(hù)說(shuō)，他的芯片的頻率相對(duì)較高。七納米與其他節(jié)點(diǎn)不同。導(dǎo)線是電阻性的，高頻操作需要大量緩沖器。

　　每個(gè)ET-Minion的CPU都是單標(biāo)量，雙線程的有序?qū)崿F(xiàn)。與之結(jié)合的是具有256位浮點(diǎn)一半和512位整數(shù)一半的自定義矢量/張量單元。FP半部每個(gè)周期可以執(zhí)行單個(gè)256位操作，或者（更有可能）執(zhí)行16個(gè)單精度（32位）操作或32個(gè)半精度（16位）操作。整數(shù)端可以類似地在每個(gè)周期執(zhí)行一次512位操作或128字節(jié)寬的操作。

　　Ditzel和Swift沒(méi)有詳細(xì)說(shuō)明這些操作的內(nèi)容，只是暗示它們可能很長(zhǎng)很復(fù)雜?！皬埩恐噶羁梢赃\(yùn)行數(shù)百個(gè)周期”，并且RISC-V pipeline將休眠直到完成為止，從而節(jié)省了功耗?！俺绦騿T認(rèn)為這是RISC-V，但是99.9％的時(shí)間花在了張量指令上?！?/p>

　　從理論上講，每個(gè)ET-Minion都可以提供128 GOPS / GHz。換句話說(shuō)，每個(gè)周期128次操作。那只是ET-Minion內(nèi)核之一，每個(gè)芯片上有1088個(gè)。

　　堆砌很多專業(yè)核心是一回事。讓他們以有意義的方式交流是另一回事。Diztel說(shuō)道。他指出：“這里的大部分工作和智慧都在存儲(chǔ)系統(tǒng)中?！?“相加不是硬的部分。該芯片具有一個(gè)真正的內(nèi)存系統(tǒng)，具有三級(jí)高速緩存等。軟件人員看著它說(shuō)：”我知道該怎么編程！“

　　緩存出現(xiàn)在每個(gè)ET-Minion核心，每個(gè)鄰域和每個(gè)郡中。如果可以的話，每個(gè)高速緩存可以可選地配置為暫存RAM。整個(gè)事物由Esperanto自身的網(wǎng)狀網(wǎng)絡(luò)綁定在一起，并且硬件實(shí)現(xiàn)了幾個(gè)同步原語(yǔ)，包括原子，屏障和IPI（智能外圍互連）支持。與外界的接口是通過(guò)PCI4 Gen 4和LPDDR4x實(shí)現(xiàn)的。

　　相比之下，四個(gè)ET-Maxion處理器是高性能的亂序?qū)崿F(xiàn)，意在充當(dāng)獨(dú)立系統(tǒng)中的”主機(jī)“處理器。數(shù)據(jù)中心客戶可能更喜歡Intel或AMD的x86處理器，在這種情況下，Maxions可以擱置（或被忽略）。

　　Esperanto說(shuō)，該芯片的”典型工作點(diǎn)“低于20瓦，對(duì)于如此大規(guī)模配置的設(shè)備而言，這似乎是非凡的。要么”典型“條件是非典型的，要么Ditzel的設(shè)計(jì)團(tuán)隊(duì)在提供最佳每瓦AI性能的目標(biāo)方面取得了驚人的成功。

　　為了進(jìn)行比較，像英特爾的酷睿i7-1068（第10代Sunny Cove / Ice Lake-U微體系結(jié)構(gòu)）這樣的新型筆記本電腦處理器的TDP為28W。這僅適用于四個(gè)x86內(nèi)核和一個(gè)GPU。英特爾的一些低功耗處理器的TDP低于15W或20W，但與Esperanto競(jìng)爭(zhēng)的該公司的臺(tái)式機(jī)和服務(wù)器處理器卻占據(jù)了100-200W的領(lǐng)域。

　　即使考慮到性能的（假定）提升，這對(duì)Esperanto的支持也是一個(gè)數(shù)量級(jí)的差異。

　　與對(duì)傳統(tǒng)CPU進(jìn)行基準(zhǔn)測(cè)試（足夠難）相比，對(duì)機(jī)器學(xué)習(xí)工作負(fù)荷進(jìn)行基準(zhǔn)測(cè)試是完全不同的游戲。很難知道任何AI處理器的速度和效率如何，更不用說(shuō)它在推理/瓦特，GOPS / GHz或Furlongs / fortnight上的比較了。

　　不過(guò)，基于其經(jīng)驗(yàn)豐富的的全明星陣容，我們對(duì)其還有很大的期望。

　　延伸閱讀：Esperanto推出具有接近1100個(gè)RISC-V內(nèi)核的AI芯片

　　在今年的RISC-V峰會(huì)上，Esperanto Technologies的首席執(zhí)行官Art Swift宣布了一款基于RISC-V的新型芯片，旨在進(jìn)行機(jī)器學(xué)習(xí)，包含基于開(kāi)源RISC-V架構(gòu)的近1100個(gè)低功耗內(nèi)核。

　　總部位于加州山景城（Mountain View）的Eseranto Technologies是在2014年創(chuàng)建的，該公司的其他網(wǎng)站遍布美國(guó)和歐洲，”其目標(biāo)是讓RISC-V成為計(jì)算機(jī)密集型應(yīng)用程序（如人工智能和機(jī)器學(xué)習(xí)）的首選架構(gòu)?！癝wift追溯到2017年新芯片的歷史，當(dāng)時(shí)Esperanto的創(chuàng)始人兼董事長(zhǎng)Dave Ditzel在第七屆RISC-V研討會(huì)上提出了Esperanto的愿景。

　　在那個(gè)研討會(huì)上，Ditzel設(shè)定了一個(gè)目標(biāo)：”在單個(gè)設(shè)備上放置4,000個(gè)或更多的內(nèi)核“。Ditzel要求通過(guò)RISC-V提供簡(jiǎn)單的指令集，并要求在定制微體系結(jié)構(gòu)和專有的低功耗設(shè)計(jì)技術(shù)領(lǐng)域進(jìn)行創(chuàng)新。”在隨后的三年中，我們已經(jīng)籌集了7700萬(wàn)美元的風(fēng)險(xiǎn)投資，現(xiàn)在已經(jīng)完成了我們的第一個(gè)設(shè)計(jì)，這是基于RISC-V的一系列AI處理器中的第一個(gè)，“ Swift說(shuō)。

　　名為et - soc1的新芯片包含兩種通用64位RISC-V內(nèi)核：首先是ET-Maxion，一個(gè)超標(biāo)量無(wú)序內(nèi)核（每個(gè)芯片4個(gè)）；其次是ET-Minion，一種”更精簡(jiǎn)、節(jié)能“的有序多線程內(nèi)核，它包含一個(gè)用于機(jī)器學(xué)習(xí)應(yīng)用的大型協(xié)處理器（每個(gè)芯片1089個(gè)，包括一個(gè)服務(wù)處理器）。

　　Esperanto公司ET-SoC-1 die圖。圖片由Art Swift提供。

　　芯片擁有238億個(gè)晶體管，采用了TSMC公司的7nm技術(shù)，直接針對(duì)超大規(guī)模的數(shù)據(jù)應(yīng)用（”特別是推斷，“Swift說(shuō)）。Swift說(shuō)，該芯片使用了通用架構(gòu)，以保護(hù)客戶免受ML模型隨著時(shí)間的推移可能帶來(lái)的不兼容。

　　正如Swift所解釋的那樣，在數(shù)據(jù)中心應(yīng)用程序中，ET-Maxion內(nèi)核可能會(huì)被隨附的Intel或AMD主機(jī)CPU所取代-但是在邊緣應(yīng)用程序中，Maxions對(duì)于保持低成本至關(guān)重要。

　　這些芯片支持pcie4.0和DDR4x RAM（最高32GB），Swift表示，一張PCIe卡上最多可以容納6個(gè)芯片。舉個(gè)例子，Swift展示了一個(gè)開(kāi)源的Glacier Point 卡，它可以容納6個(gè)ET-SoC-1芯片。（”這是我們的全部策略，盡可能地利用開(kāi)源社區(qū)?！埃?/p>

　　Glacier Point v2卡，最多可容納六個(gè)ET-SoC-1芯片。圖片由Art Swift提供。

　　在軟件方面，”我們支持所有常見(jiàn)的機(jī)器學(xué)習(xí)框架，“Swift說(shuō)，并解釋Esperanto利用Facebook的開(kāi)源GLOW編譯器作為中心。

　　雖然他們還沒(méi)有使用物理硅，但Swift基于芯片仿真共享數(shù)據(jù)。”當(dāng)我們將我們的性能與現(xiàn)有解決方案在數(shù)據(jù)中心的實(shí)際測(cè)量性能進(jìn)行比較時(shí)，“他說(shuō)，”我們發(fā)現(xiàn)，我們預(yù)計(jì)在關(guān)鍵工作負(fù)載（如推薦網(wǎng)絡(luò)）上的性能將提高50倍，在圖像分類方面，我們的性能將比現(xiàn)有解決方案高出30倍?！?/p>

　　”但可能更令人興奮和更重要的是，“他繼續(xù)說(shuō)，”我們能夠獲得的能源效率。就每瓦特功率的推斷而言，我們希望看到比現(xiàn)有的解決方案高出100倍的能源效率?！?/p>

　　Esperanto將ET-SoC-1的性能效率歸因于幾個(gè)因素，包括RISC-V的簡(jiǎn)單性、ET Minion核心上的機(jī)器學(xué)習(xí)協(xié)處理器、”唯一優(yōu)化“的內(nèi)存層次結(jié)構(gòu)和定制的低壓電路。

　　Swift反復(fù)強(qiáng)調(diào)，ET-SoC-1只是Esperanto新產(chǎn)品系列的第一位成員，并解釋說(shuō)，該芯片的基于圖塊的設(shè)計(jì)使其易于”擴(kuò)展至數(shù)千個(gè)內(nèi)核或縮減至數(shù)百個(gè)內(nèi)核“，以滿足需求?！睆某笠?guī)模數(shù)據(jù)中心到邊緣AI以及兩者之間的一切?！?/p>

　　Esperanto的聲明緊隨英偉達(dá)收購(gòu)Arm之后，這讓很多人懷疑，收購(gòu)后大家對(duì)RISC-V的興趣和接受度是否會(huì)激增。Esperanto還進(jìn)入了一個(gè)越來(lái)越擁擠的推理芯片市場(chǎng)，競(jìng)爭(zhēng)對(duì)手包括Xilinx、Mythic、Groq和英特爾的Habana Labs