4月20日，Cerebras Systems 公司再次刷新歷史，推出為超級計(jì)算機(jī)任務(wù)而打造的第 2 代 Wafer Scale Engine （WSE-2）芯片。與一代WSE相比，WSE-2雖然在面積上沒有變化，但卻擁有創(chuàng)紀(jì)錄的 2.6 萬億個晶體管以及 85萬個 AI 優(yōu)化的內(nèi)核，芯片的所有性能特征，包括：晶體管數(shù)、內(nèi)核數(shù)、內(nèi)存、內(nèi)存帶寬和結(jié)構(gòu)帶寬，均比一代增加了一倍以上。

　　差不多兩年前（2019年8月），SeaMicro 創(chuàng)始人安德魯·費(fèi)爾德曼（Andrew Feldman）創(chuàng)辦的 Cerebras  Systems 公司公司，揭開了芯片設(shè)計(jì)領(lǐng)域的一場革命，他們將整片晶圓制成了一個巨大的芯片。

　　以往的芯片制造流程，是從硅錠切下一片晶圓后在Fab中進(jìn)行加工，一片晶圓能被切成數(shù)百顆獨(dú)立的芯片。而這顆名為晶圓級引擎（Wafer Scale Engine，WSE-1）的處理器直接把整片晶圓做成了一顆芯片，面積與12英寸晶圓所能截取的最大矩形面積一樣——比iPad還大。

　　不過，這顆芯片的每一塊區(qū)域都能被稱為內(nèi)核，它們以一種復(fù)雜的方式與其他內(nèi)核相互連接?；ヂ?lián)的設(shè)計(jì)是為了保持所有內(nèi)核的高速運(yùn)轉(zhuǎn)，以便所有晶體管能夠作為一個整體一起工作。在 2019 年推出的WSE-1中，Cerebras 融入了 40 萬個內(nèi)核和 1.2萬億個晶體管，采用的是 16 納米工藝進(jìn)行制造，可同時專注于AI和HPC（High Performance Computing，高性能計(jì)算機(jī)群）工作負(fù)載。

　　更狠的第二代（WSE-2）來了

　　4月20日，Cerebras Systems 公司再次刷新歷史，推出為超級計(jì)算機(jī)任務(wù)而打造的第二代 Wafer Scale Engine （WSE-2）芯片。與一代WSE相比，WSE-2雖然在面積上沒有變化，但卻擁有創(chuàng)紀(jì)錄的 2.6 萬億個晶體管以及 85萬個 AI 優(yōu)化的內(nèi)核，芯片的所有性能特征，包括：晶體管數(shù)、內(nèi)核數(shù)、內(nèi)存、內(nèi)存帶寬和結(jié)構(gòu)帶寬，均比一代增加了一倍以上。

　　這得益于WSE-2采用基于臺積電（TSMC）的N7工藝（7nm）打造，使得邏輯電路可以按比例縮小，并在一定程度上縮小了SRAM，讓新芯片上可以容納更多AI內(nèi)核。Feldman 說，有了這樣的先進(jìn)工藝支持，Cerebras 可以在同樣的8*8英寸，面積約46225mm2的芯片中塞進(jìn)更多的晶體管。

　　WSE-2與一代對比（圖自：AnanTech）

　　值得注意的是，在功能提升的前提下，Cerebras還能夠保持其系統(tǒng)功耗不變（23 kW）。

　　對比市場上第二大AI處理器，英偉達(dá)的Ampere A100面積約為826mm2，具有0.054萬億個晶體管。WSE-2比它多了2.55萬億個晶體管；內(nèi)核數(shù)是A100的123倍；緩存是其1000倍；可提供的內(nèi)存帶寬，則達(dá)到了A100的13萬倍。

　　Cerebras還引用了1000倍的板載內(nèi)存，帶有40 GB的SRAM，而Ampere A100則為40 MB。

　　最初推出WSE-1的時候，很多人擔(dān)心這么大的晶圓做芯片，萬一其中一塊不良，是否整個報(bào)廢？對此Cerebras解釋說，他們通過設(shè)計(jì)一種可以繞開任何制造缺陷的系統(tǒng)來實(shí)現(xiàn)100％的良率，核心與帶有FMAC數(shù)據(jù)路徑的2D Mesh連接

　　Cerebras在WSE-1用了1.5％的額外核心來容納缺陷，但由于臺積電工藝的提升，這個數(shù)值被進(jìn)一步縮小了。

　　晶圓級引擎存在的意義

　　WSE的出現(xiàn)，是因?yàn)橛?xùn)練神經(jīng)網(wǎng)絡(luò)需要花費(fèi)較多的時間，即便是當(dāng)今最先進(jìn)的模型，也需要幾天或幾周的時間進(jìn)行訓(xùn)練，大型網(wǎng)絡(luò)則需要數(shù)周。通常做法是在數(shù)十、數(shù)百甚至數(shù)千個GPU上進(jìn)行分布式訓(xùn)練，以使訓(xùn)練時間更可控。

　　其中最大的瓶頸，是這些龐大的處理器集群很難編程，而且數(shù)據(jù)必須在處理器和外部 DRAM 存儲器之間進(jìn)行多次傳輸，既浪費(fèi)時間又消耗能源。所以WSE研發(fā)團(tuán)隊(duì)的初衷是擴(kuò)大芯片，使它與 AI 處理器內(nèi)核一起容納所需的所有數(shù)據(jù)，一個CS-2的性能相當(dāng)于整個GPU集群的性能，同時具有單個設(shè)備的簡單性……

　　其設(shè)計(jì)的關(guān)鍵是自定圖形編譯器，采用pyTorch或TensorFlow將每一層映射到芯片的物理部分，從而允許在數(shù)據(jù)流過時進(jìn)行異步計(jì)算。擁有如此大的處理器意味著數(shù)據(jù)永遠(yuǎn)不會掉隊(duì)，也不需要在內(nèi)存中等待，不浪費(fèi)功率，并且可以以流水線的方式連續(xù)地移至計(jì)算的下一個階段。編譯器和處理器的設(shè)計(jì)還考慮到了稀疏性，無論批處理大小如何都可以實(shí)現(xiàn)高利用率，或者可以使參數(shù)搜索算法同時運(yùn)行。

　　Cerebras設(shè)計(jì)的獨(dú)特性，讓它能夠超越制造過程中出現(xiàn)的常見物理限制，即標(biāo)線限制。處理器的設(shè)計(jì)限制，往往取決于芯片的最大尺寸，因?yàn)楹茈y通過Cross link連接兩個區(qū)域。這是Cerebras的殺手锏之一，該公司仍然是唯一一家能提供這種規(guī)模處理器的公司。

　　在Hot Chips 2020，該公司首席硬件架構(gòu)師Sean Lie表示，Cerebras對客戶的主要好處之一是能夠簡化工作負(fù)載，以前需要使用GPU / TPU機(jī)架的工作，現(xiàn)在可以以計(jì)算相關(guān)的方式在單個WSE上運(yùn)行。

　　產(chǎn)品和合作伙伴

　　Cerebras的第一代WSE作為CS-1的完整系統(tǒng)的一部分一起打包出售，不少實(shí)驗(yàn)室與計(jì)算機(jī)中心已經(jīng)部署了Cerebras WSE和CS-1。

　　愛丁堡大學(xué)的超級計(jì)算中心，利用WSE進(jìn)行自然語言處理、基因組學(xué)和COVID-19的相關(guān)研究。

　　在美國阿貢國家實(shí)驗(yàn)室（ANL），WSE被用于COVID-19研究、重力波檢測和材料發(fā)現(xiàn)等；并且在癌癥療法研究中，使癌癥模型的實(shí)驗(yàn)周轉(zhuǎn)時間，減少了300倍以上。

　　制藥企業(yè)葛蘭素史克的高級副總裁金·布蘭森表示：“其增加了生成的編碼器模型的復(fù)雜性，同時將訓(xùn)練時間減少了80倍?！?/p>

　　Lawrence Livermore將一臺CS-1與其23 PFLOP“拉森”超級計(jì)算機(jī)配對。匹茲堡超級計(jì)算機(jī)中心以500萬美元的價(jià)格購買了兩個系統(tǒng)，并將這些系統(tǒng)連接到他們的Neocortex超級計(jì)算機(jī)上，以實(shí)現(xiàn)同步AI和增強(qiáng)的計(jì)算能力。

　　對于WSE-2的應(yīng)用，國際調(diào)研公司Tirias Research首席分析師Jim McGregor認(rèn)為：“顯然，對用于大型數(shù)據(jù)集的Cerebras晶圓級解決方案，有些公司和實(shí)體很感興趣。但是在企業(yè)層面，還有數(shù)百萬的其他AI應(yīng)用，以及一些Cerebras不能處理的情況，這就是英偉達(dá)擁有SuprPod和Selene超級計(jì)算機(jī)的原因。與英偉達(dá)相比，Cerebras更像是一個小眾平臺，二者的廣度無法相提并論?！?/p>

　　目前Cerebras在多倫多、圣地亞哥、東京和舊金山擁有約300名員工。該公司首席執(zhí)行官安德魯·費(fèi)爾德曼（Andrew Feldman）表示，作為一家公司，他們已經(jīng)實(shí)現(xiàn)了盈利，已經(jīng)部署了CS-1的客戶很多，并且在啟動商業(yè)系統(tǒng)時已經(jīng)有更多的客戶在遠(yuǎn)程試用CS-2。

　　除了AI之外，由于芯片的靈活性使流體動力學(xué)和其他計(jì)算仿真成為可能，因此Cerebras在典型的商業(yè)高性能計(jì)算市場（例如石油、天然氣和基因組學(xué)）中吸引了很多客戶。

　　CS-2的部署將于今年晚些時候的第三季度開始，價(jià)格已從2-3百萬美元升至“幾百萬”美元。