12月2日，AI芯片初創(chuàng)公司Graphcore（擬未科技）正式公布其參與MLPerf測試（MLPerf V1.1）的最新結果。Graphcore在本次提交了ResNet-50模型的Closed Division（封閉分區(qū)）以及BERT模型的Closed Division、Open Division（開放分區(qū)）。結果顯示，與首次提交的MLPerf訓練（MLPerf V1.0）結果相比，對于計算機視覺模型ResNet-50，Graphcore通過軟件優(yōu)化，在IPU-POD16上實現(xiàn)了24%的性能提升，在IPU-POD64上實現(xiàn)了41%的性能提升；自然語言處理模型BERT在IPU-POD16上實現(xiàn)了5%的性能提升，在IPU-POD64上實現(xiàn)了12%的性能提升。此次MLPerf測試結果證明了Graphcore的IPU系統(tǒng)越來越強大、高效，軟件日益成熟且更快、更易使用。

Graphcore中國工程總負責人、AI算法科學家金琛指出，本次測試結果展現(xiàn)的性能顯著提升主要歸功于Graphcore對軟件的優(yōu)化，涵蓋對應用程序、框架、系統(tǒng)、編譯器、核函數(shù)的優(yōu)化?！斑@些優(yōu)化在不同模型上都有所體現(xiàn)。大家都知道，很多事情最開始的提升速度最快，但越往后提升越困難，通常需要80%的努力才能獲得20%的提升。Graphcore能獲得這些提升，我們是做了非常多的工作的。”她表示。

Graphcore中國工程總負責人、AI算法科學家金琛

縱向對比：首次納入系統(tǒng)集群，ResNet-50在IPU-POD256上的訓練時間只需3.79分鐘

除了基于IPU-POD16和IPU-POD64提交的MLPerf V1.0測試，這一次，Graphcore首次納入了系統(tǒng)集群，進行了128顆（IPU-POD128）以及256顆（IPU-POD256）IPU集群的提交。如圖所示，ResNet-50在IPU-POD16上的訓練時間（Time to Train）為28.33分鐘，隨著系統(tǒng)的增大，訓練時間逐次遞減——在IPU-POD64上的訓練時間為8.5分鐘，在IPU-POD256上只需3.79分鐘?！?strong>希望明年此時，我們能提供更大的集群，讓ResNet-50的訓練時間在1分鐘之內(nèi)完成，這是我們的目標。”金琛表示。

上圖顯示的是Graphcore提交的BERT-Large在MLPerf上的性能表現(xiàn)。“我們在IPU-POD16上的端到端訓練，在Closed Division上只需半個小時。如果把整個集群增大8倍，我們的訓練時間不到7分鐘。隨著集群的增加，訓練時間大幅縮短，這會極大提高算法工程師迭代模型的效率。在Open Division的提交方面，我們在IPU-POD64上的性能進一步提高，原因是IPU得到了優(yōu)化，包括對訓練策略、對訓練優(yōu)化器超參以及對損失函數(shù)的優(yōu)化。如圖所示，我們基本上另外提高了20%，這非?？捎^。這些優(yōu)化我們也應用到了一些客戶上，得到了正面反饋。”金琛指出。

橫向對比：首次僅通過軟件實現(xiàn)性能提升，IPU-POD16性能優(yōu)于DGX A100

MLPerf同時對比了市面上Graphcore與NVIDIA的產(chǎn)品。盡管GPU在ResNet-50模型上占據(jù)優(yōu)勢，測試結果仍然顯示Graphcore的IPU-POD16在ResNet-50方面的表現(xiàn)優(yōu)于NVIDIA的DGX A100。值得注意的是，這是NVIDIA生態(tài)系統(tǒng)在MLPerf訓練測試中的第五次亮相，而Graphcore是第二次提交。Graphcore的這次提交也是其首次僅通過軟件實現(xiàn)了性能提升。在ResNet-50上，IPU-POD16首次超越了DGX A100的性能，其端到端的訓練時間只用了28.3分鐘，比DGX A100快了近一分鐘。

如文章首段所提，IPU-POD16對ResNet-50的軟件驅動性能提高了24%，在IPU-POD64上對ResNet-50的軟件驅動性能提升甚至更高，達到41%，對于Graphcore具有里程碑式的意義。在金琛看來，NVIDIA的軟件庫已經(jīng)迭代許久，提升的空間可能會有所減緩。Graphcore會持續(xù)迭代、優(yōu)化自身的軟件棧及整個AI系統(tǒng)，久久為功、保持勢頭，不斷提升性能優(yōu)勢?！皟H通過兩次MLPerf的提交，我們就能夠在GPU最主流的模型上超過GPU，這是讓我們非常自豪的一件事，而且Graphcore在未來還有更大的提升空間?！盙raphcore大中華區(qū)總裁兼全球首席營收官盧濤補充道，“以前我們一直強調(diào)IPU是一個極具創(chuàng)新的平臺，適合做一些新的應用，幫助創(chuàng)新者完成他們曾經(jīng)達成不了的任務。這次的測試結果證明IPU確實能在已經(jīng)成為主流的應用上落地，能落地則意味著可觀的商業(yè)回報，這也是對行業(yè)而言比較重要的一個影響。”

Graphcore大中華區(qū)總裁兼全球首席營收官盧濤

大規(guī)模集群性能擁有強大優(yōu)勢

本次Graphcore提交的集群是IPU-POD128和IPU-POD256。除了IPU-POD16和IPU-POD64的時間優(yōu)勢之外，IPU-POD128和IPU-POD256此次能取得優(yōu)異成績主要在于其軟件的可擴展性。“我們在設計軟件的過程中考慮了很多因素，比如大量優(yōu)化模型變形、數(shù)據(jù)變形、Kernel變形。同時，我們擁有非常細致的設計思路，讓用戶只需要寫一個腳本、配置數(shù)據(jù)Replica的個數(shù)，就可以很自如地進行從1個IPU到256個IPU的橫向擴展。”金琛指出，“除了在框架層面進行橫向擴展，我們也在通信庫上做了很大一部分優(yōu)化。這方面的優(yōu)化會為深度學習以及數(shù)據(jù)并行的深度學習帶來顯著影響。關于BERT-Large訓練中5%和12%的提升很大程度上源于我們對通信庫的改進?！?/span>

據(jù)介紹，Graphcore的系統(tǒng)擴展可以應用在更廣泛的應用場景之中，包括用于自然語言處理的GPT類模型和用于計算機視覺的ViT（Transformer視覺模型）。“我們的系統(tǒng)軟件設計及優(yōu)化對新模型、新架構均非常適用。IPU系統(tǒng)可以非常平滑地從16個IPU一直擴展到256個IPU。”金琛表示。

以創(chuàng)新的計算機視覺模型EfficientNet-B4為例，DGX A100端到端的訓練時間為70.5小時（官網(wǎng)數(shù)據(jù)），而IPU-POD16端到端的訓練時間是20.7個小時，前者約為后者的3.5倍。隨著系統(tǒng)的增大，時間逐漸縮短，EfficientNet-B4在IPU-POD256上的訓練時間僅為1.8小時?！氨M管這并非Graphcore本次向MLPerf提交的內(nèi)容，但我們的大規(guī)模集群在實際應用中的確具備更強的性能優(yōu)勢。原來4天的訓練時間現(xiàn)在只需2個小時，這會大大解放開發(fā)者的生產(chǎn)力，是我們大集群非常大的一個吸引力。”金琛解釋。

“我們第一版IPU-POD的硬件是在2020年的12月份宣布量產(chǎn)的。一年內(nèi)的硬件集群的增加、軟件的優(yōu)化，使得我們此次在IPU-POD256上的ResNet性能相較去年年底在IPU-POD16上的ResNet性能提高了50倍，這是一個非常大的飛躍?！北R濤認為，“我們的生態(tài)在過去半年中也取得了長足進步，擁有越來越多跨行業(yè)的商業(yè)用戶、商業(yè)案例研究，例如天氣預測、金融、保險、電信。”

回顧2021，盧濤指出，其自身遇到的最大的挑戰(zhàn)可以用三個字來形容——“周期比預期要長”。不過，正如錘煉一柄傳世寶劍，以精益求精之決心，歷經(jīng)千錘百煉后才能鍛造出去雜存精的好劍。鑄劍的過程是痛苦的，但寶劍內(nèi)在美好的本質(zhì)會被錘煉出來。這時，挑戰(zhàn)亦為收獲。“2021年我們確實扎根產(chǎn)業(yè)，著力落地應用場景，但整體來說，AI應用場景落地的整個鏈條很長，因此把整個方案變?yōu)橐粋€產(chǎn)品是個挑戰(zhàn)?！北R濤告訴記者。

兼具通用性與高性能，IPU發(fā)展經(jīng)歷了“熱鬧的2021”，將迎來“美好的2022”

在盧濤看來，2021年IPU的市場環(huán)境存在兩個特點：第一是應用落地時間長于預期；第二是市場對IPU的期望強于預期?！敖衲昴甑讜r，我們發(fā)現(xiàn)市場的動能、慣性以及活躍程度，比年初時更為看好。這背后的原因在于多種因素組合所帶來的積極推動作用，例如用戶對市場、對自己應用的認知，對市場上各類處理器的認知，還有我們自身框架、應用、生態(tài)以及落地場景等方面的進展。隨著更多資金的投入，2021年的市場環(huán)境將比2020年更為熱鬧。”盧濤告訴記者。

他指出，無論從計算機的體系結構抑或是用戶角度來講，IPU都極具通用性：“從指令級、架構上來看，IPU能夠進行所有AI相關的業(yè)務，從CNN、RNN到LSTM，再到Transformer，所以IPU的通用性毫無疑問。假如不講計算機的體系結構，用戶判斷產(chǎn)品的通用與否主要依據(jù)以下兩點：第一、產(chǎn)品是否能開發(fā)出各種各樣的應用。如果不同的應用都能開發(fā)，那么對用戶而言它就通用。第二、對開發(fā)者來說，產(chǎn)品是否便于針對各種應用進行編程。如果能夠編程，那么對開發(fā)者而言它就通用。所以從這兩個維度來看，IPU是一個非常通用的產(chǎn)品。”

除此之外，高性能也是IPU吸引用戶的關鍵因素。據(jù)介紹，在金融案例中，Graphcore的IPU產(chǎn)品比GPU快10倍；在保險算法模型方面，IPU比GPU快5倍；天氣預測方面，歐洲案例證明IPU比CPU快50倍、比GPU快5倍；中國目前的場景顯示IPU能夠比CPU快60倍?！白罱固垢４髮W醫(yī)學院在差分隱私的使用方面取得了重大突破。通過使用Graphcore IPU，斯坦福團隊能夠將具有差分隱私的人工智能訓練速度提高10倍以上。IPU支持隱私計算非常吸引他們?！北R濤補充。

談及IPU的技術發(fā)展趨勢，盧濤指出以下三點：

第一，“Transformer-based everything”（基于Transformer的一切）；

2017年，谷歌團隊首先提出Transformer模型，該模型最初被應用于NLP領域，成效卓著。如今在計算機視覺領域、對話和語音領域，Transformer同樣表現(xiàn)優(yōu)異。隨著GPT-2、GPT-3、AlphaStar等更多大模型重要成果的顯現(xiàn)，Transformer預計會為更多領域帶來革新。

第二，應用規(guī)模會越來越大、越來越復雜；

“之前大家比較關注單一的視覺任務和語音任務，后來AI又能應用于文字、語言、視頻、圖像，更加復雜，所謂稱之為‘多模態(tài)’，這是一個重要趨勢?！北R濤做出解釋。

第三，AI融合科學計算。

盧濤表示，目前AI正在從互聯(lián)網(wǎng)、自動駕駛等熱門場景向與傳統(tǒng)科學計算相結合的方向發(fā)展。例如DeepMind今年發(fā)布的AlphaFold（蛋白質(zhì)方面的科學研究）、AI用于天氣預測、宇宙學研究、分子動力學仿真等等。

基于此，盧濤表示，2022年Graphcore會相應地在三點進行發(fā)力：

第一，加大基于Transformer的應用上的投入。

ResNet于2016年10月發(fā)明，BERT于2018年10月出現(xiàn)。因此，自2016年5月成立以來，Graphcore在基于Transformer的應用方面呈持續(xù)追趕態(tài)勢?！拔覀兲幱谧汾s當前市場霸主的位置，別人已經(jīng)打磨很久了、做了大量的優(yōu)化和工作?！北R濤表示，“即便這樣，我們甚至只跟目前產(chǎn)業(yè)最領先的企業(yè)在transformer上只有三個月的差距。所以我們會在Transformer-based everything方面加大投入。”

第二，混合語言、語音、視頻、圖片，用AI進行更復雜的應用。

第三，加大對AI與高性能計算、科學計算融合的投入。

企業(yè)的技術提升離不開人才建設，因此Graphcore也會持續(xù)加強人才儲備。2021年初，Graphcore中國團隊只有20人左右，截至目前，團隊人數(shù)增長四倍，達到80人。從全球來看，公司總人數(shù)也從年初的400多人增長至如今的600多人。據(jù)了解，隨著AI在科學計算上的應用逐漸普適化，Graphcore也會在科學計算方面儲備人才。“天氣預測、分子動力學等領域會給國計民生帶來深遠影響，所以不光在深度學習，我們也會在高性能計算領域與大家一同開拓創(chuàng)新?！苯痂「嬖V記者?！拔覀儠_踏實地，認真務實，相信Graphcore‘擬未’會有更美好的未來?！北R濤在最后總結。