Esperanto Technologies公司的芯片預(yù)示著開源架構(gòu)的新時代,英特爾準備在此大賺一筆。
RISC-V 是一種于 2010 年首次推出的免費和開源計算機指令集架構(gòu),它的采用正像火箭一樣起飛,其大部分燃料來自對人工智能和機器學習的需求。根據(jù)研究公司Semico的數(shù)據(jù),到 2027 年,至少包含部分 RISC-V 技術(shù)的芯片數(shù)量將以每年 73.6% 的速度增長,屆時將生產(chǎn)約 250 億顆 AI 芯片,收入將達到2910 億美元。
Dave Ditzel 表示,從幾年前還是一個新興想法到今天,這一增長令人印象深刻,但對于AI來說,這也代表了翻天覆地的變化,他的公司Esperanto Technologies創(chuàng)造了第一個高性能 RISC-V AI處理器,旨在與AI推薦系統(tǒng)中強大的GPU競爭的處理器。根據(jù) Ditzel 的說法,在早期對機器學習和人工智能的狂熱中,人們認為通用計算機架構(gòu)——x86和Arm——永遠跟不上GPU和更專用的加速器架構(gòu)。
“我們開始證明那些人都錯了,”他說?!癛ISC-V似乎是解決人們想為人工智能做的各種計算的理想基礎(chǔ)?!?/p>
隨著該公司的第一款硅芯片——1092核AI處理器的發(fā)展,以及與英特爾的一項重大開發(fā)協(xié)議,他可能很快就會被證明是正確的。
Ditzel 的整個職業(yè)生涯都是由RISC-V背后的理論定義的。RISC,代表精簡指令集計算機。它的理念是,這個想法是,你可以通過精簡它可以執(zhí)行的核心指令集來制造一個更小、功耗更低但性能更好的處理器。IEEE研究員大衛(wèi)·帕特森在1980年的一篇開創(chuàng)性論文中創(chuàng)造了這個詞。他的學生Ditzel是合著者。Ditzel后來在貝爾實驗室和太陽微系統(tǒng)公司從事RISC處理器的研究工作,之后又共同創(chuàng)立了Transmeta公司,該公司生產(chǎn)了一種低功耗處理器,旨在通過為RISC架構(gòu)翻譯x86代碼來與英特爾競爭。
對于Esperanto,Ditzel將RISC-V視為一種以相對低功耗加速人工智能的方法。在基本層面上,更復(fù)雜的指令集架構(gòu)意味著需要更多的晶體管來組成處理器,每一個晶體管在關(guān)閉時都會漏出一點電流,而在切換狀態(tài)時則會消耗電能?!斑@就是RISC-V吸引人的地方,”他說?!八幸粋€簡單的指令集?!?/p>
內(nèi)核
RISC-V的核心是一組只有47條指令的集合。X86指令的實際數(shù)量很難枚舉,但它可能接近 1000條。Arm 的指令集被認為要小得多,但仍比 RISC-V 大得多。但 Ditzel 表示,僅僅使用一組精簡指令并不足以實現(xiàn)Esperanto所追求的計算能力?!按蠖鄶?shù) RISC-V 內(nèi)核都沒有那么小或那么節(jié)能。因此,這不僅僅是我們采用 RISC-V 內(nèi)核并將 1000 個內(nèi)核放在芯片上的問題。我們必須完全重新設(shè)計 CPU,以使其適應(yīng)那些非常嚴格的限制?!?/p>
在 Ditzel 和他的同事開始工作時,RISC-V 指令集中明顯缺少有效進行機器學習數(shù)學運算所需的“向量”指令,例如矩陣乘法。所以Esperanto工程師想出了他們自己的方法。正如處理器內(nèi)核 ET-Minion 的架構(gòu)所體現(xiàn)的那樣,這些單元包括執(zhí)行 8 位整數(shù)向量以及 32 位和 16 位浮點向量的單元。還有一些單元執(zhí)行更復(fù)雜的“張量”指令,以及與數(shù)據(jù)有效移動相關(guān)的系統(tǒng)以及與芯片上 ET-Minion 內(nèi)核的排列相關(guān)的指令。
由此產(chǎn)生的系統(tǒng)芯片 ET-SoC-1 由 1088 個 ET-Minion 內(nèi)核和四個稱為 ET-Maxions 的內(nèi)核組成,它們幫助管理 Minions 的工作。該芯片的 240 億個晶體管占地 570 平方毫米。這使它的大小約為流行的 AI 加速器Nvidia A100的一半。這兩個芯片遵循非常不同的理念。
ET-SoC-1 旨在加速功率受限的數(shù)據(jù)中心中的 AI,該數(shù)據(jù)中心位于板的核心,適合已安裝的服務(wù)器的外圍組件互連快速 (PCIe) 插槽。這意味著該板只有 120 瓦的可用功率,但它必須提供每秒至少 100 萬億次操作才有價值。Esperanto在該功率范圍內(nèi)管理了超過 800 萬億次的能量。
Esperanto.ai 首席架構(gòu)師Jayesh Iyer 在 12 月的 RISC-V 峰會上對技術(shù)專家說,“大多數(shù)人工智能加速器都是圍繞一個芯片構(gòu)建的,該芯片占用了電路板的大部分電力預(yù)算,Esperanto的方法是使用多個低功耗芯片,這仍然符合功率預(yù)算?!?/p>
在執(zhí)行一個推薦系統(tǒng)基準神經(jīng)網(wǎng)絡(luò)時,每個芯片功耗為20W——不到A100的十分之一——電路板上有六個芯片。這種功率和性能的結(jié)合是通過降低芯片的工作電壓而實現(xiàn)的,而沒有預(yù)期的性能犧牲。(一般來說,更高的工作電壓意味著你可以更快地運行芯片的時鐘,完成更多的計算。)在0.75V(ET-SoC-1 制造過程的標稱電壓)的額定電壓下,一塊芯片將遠遠超出電路板的功率預(yù)算。但當電壓降至0.4 V左右時,你可以在120W的芯片上運行6個芯片,與單一的高壓芯片相比,推薦系統(tǒng)性能提升了4倍。在這個電壓下,ET-Minion的每個核心僅消耗大約10毫瓦。
Iyer表示:“低電壓運行是Esperanto ET-minion(核心)設(shè)計的關(guān)鍵。它為架構(gòu)和電路級別的決策提供了依據(jù)。例如,RISC-V 整數(shù)指令的內(nèi)核流水線由每個時鐘周期最少數(shù)量的邏輯門組成,從而在降低的電壓下允許更高的時鐘速率。當核心執(zhí)行長張量計算時,該管道將關(guān)閉以節(jié)省能源。
其他AI處理器
其他最近開發(fā)的AI處理器也轉(zhuǎn)向了RISC-V和他們自己定制的機器學習加速的組合。例如,Ceremorphic最近憑借其分層學習處理器脫穎而出,它使用 RISC-V 和 Arm 內(nèi)核以及自己的定制機器學習和浮點運算單元。英特爾即將推出的MobileyeEyeQ Ultra將在芯片中配備 12 個 RISC-V 內(nèi)核和神經(jīng)網(wǎng)絡(luò)加速器,旨在為 4 級自動駕駛提供智能。
對于嵌入式AI處理器公司Kneron來說,使用RISC-V處理器既是一項商業(yè)舉措,也是一項技術(shù)舉措。該公司一直在銷售使用Arm CPU內(nèi)核和定制加速器基礎(chǔ)設(shè)施的芯片和知識產(chǎn)權(quán)。但去年11月,Kneron在KL530上發(fā)布了首款基于RISC-V的技術(shù),旨在通過一種名為視覺變壓器的相對新型神經(jīng)網(wǎng)絡(luò)來支持自動駕駛。根據(jù)Kneron首席執(zhí)行官Albert Liu的說法,RISC-V架構(gòu)使得預(yù)處理神經(jīng)網(wǎng)絡(luò)模型變得更容易,從而使其運行更高效。不過,他表示:”考慮到英偉達去年可能收購Arm,此舉可以降低我們在任何可能影響我們的商業(yè)決策方面的風險。“這筆交易在今年2月破裂,但它將把Kneron先前CPU核心架構(gòu)的供應(yīng)商置于競爭對手手中。
未來的RISC-V處理器將能夠使用社區(qū)同意的一套開源指令來處理與機器學習相關(guān)的操作。負責核心指令集架構(gòu)和新擴展的機構(gòu)RISC-V國際(RISC-V International)于2021年12月批準了一組100多條向量指令。
該組織的首席技術(shù)官馬克?希梅爾斯坦(Mark Himelstein)表示,”有了新的矢量指令,人們在人工智能領(lǐng)域做自己的事情就不必從頭開始了。他們可以使用其他公司正在使用的指令。他們可以使用其他公司正在使用的工具。然后他們可以在實施、能耗、性能或其他任何方面進行創(chuàng)新?!?/p>
Himelstein說,即使有了向量擴展,促進機器學習仍然是RISC-V社區(qū)的首要任務(wù)。大多數(shù)與機器學習相關(guān)的RISC-V擴展的開發(fā)都發(fā)生在該組織的圖形特別興趣小組,該小組與機器學習小組合并,”因為他們想要相同的東西,“他說。但是其他的小組,比如那些對高性能和數(shù)據(jù)中心計算感興趣的小組,也在關(guān)注與機器學習相關(guān)的擴展。Himelstein的工作是確保各方的努力在力所能及的范圍內(nèi)趨同。
盡管 RISC-V 取得了成功,但Arm 在許多添加了許多新 AI 功能的市場中仍是市場領(lǐng)導者,而且從現(xiàn)在起五年后仍可能如此,RISC-V 占據(jù)CPU核心設(shè)計市場份額的 15%左右。Semico Research 首席分析師Rich Wawrzyniak表示,這不是 50%,但也不是 5%。如果你想想 RISC-V 已經(jīng)存在了多久,那是相當快速的增長。