邊緣計(jì)算是指對(duì)位于應(yīng)用附近的服務(wù)器中的數(shù)據(jù)進(jìn)行處理和分析。這一概念日益普及，并為成熟的電信提供商、半導(dǎo)體初創(chuàng)公司和新的軟件生態(tài)系統(tǒng)打開了新的市場。在過去的幾十年里，物聯(lián)網(wǎng)產(chǎn)生了海量的數(shù)據(jù)。以大數(shù)據(jù)為起點(diǎn)，通過邊緣計(jì)算的科技融合，使得物聯(lián)網(wǎng)這一領(lǐng)域得以全新開啟，從咖啡杯到藥丸分配器、從煉油廠到造紙廠、從智能護(hù)目鏡到手表，為消費(fèi)者帶來了無限的全新價(jià)值。

　　然而許多人認(rèn)為，物聯(lián)網(wǎng)在市場中并未發(fā)生預(yù)期的曲棍球棒效應(yīng)。除了特定的利基市場，IoT 的連通性并沒有帶來足夠的消費(fèi)者價(jià)值。但在過去 5 年里，人工智能 （AI） 的技術(shù)進(jìn)步已開始徹底改變各行各業(yè)，并改變連接能為消費(fèi)者帶來多少價(jià)值的潛能。這是一個(gè)非常令人振奮的時(shí)期，因?yàn)槭袌隹梢钥吹酱髷?shù)據(jù)、IoT 和 AI 的組合帶來無限的潛力。不過我們才剛剛踏上這段漫長的旅程，有助于利用這種結(jié)合的一項(xiàng)最初進(jìn)展，是邊緣計(jì)算的概念及其對(duì)未來技術(shù)路線圖的影響。

　　邊緣計(jì)算的概念可能不是革命性的，但其實(shí)現(xiàn)將是革命性的。這些實(shí)現(xiàn)將解決許多日益嚴(yán)重的問題，包括降低大型數(shù)據(jù)中心的能耗，提高專用數(shù)據(jù)的安全性，實(shí)現(xiàn)故障安全解決方案，降低信息存儲(chǔ)量和通信成本，以及通過降低延遲能力來開創(chuàng)新應(yīng)用。

　　然而什么是邊緣計(jì)算？如何使用邊緣計(jì)算，以及它能為網(wǎng)絡(luò)帶來什么好處？要了解邊緣計(jì)算，我們需要了解推動(dòng)其發(fā)展的因素，它的應(yīng)用類型，以及如何構(gòu)建和部署邊緣計(jì)算 SoC。

　　1 邊緣計(jì)算，邊緣云，霧計(jì)算，企業(yè)版

　　邊緣計(jì)算有很多術(shù)語，如“邊緣云計(jì)算”、“霧計(jì)算”等，它通常被描述為，在本地服務(wù)器上運(yùn)行的應(yīng)用，旨在將云進(jìn)程移近終端設(shè)備。

　　傳統(tǒng)的“企業(yè)計(jì)算”使用方式與邊緣計(jì)算類似，但更傾向于準(zhǔn)確地描述網(wǎng)絡(luò)功能，而不一定描述計(jì)算的位置。Cisco 創(chuàng)造的霧計(jì)算與邊緣計(jì)算基本相同，盡管有許多人將霧計(jì)算定義為位于邊緣計(jì)算空間之上或之下的計(jì)算，甚至作為邊緣計(jì)算的一個(gè)子集來描述霧計(jì)算。不過作為參考，端點(diǎn)設(shè)備和端點(diǎn)通常被稱為“邊緣設(shè)備”，以免與邊緣計(jì)算相混淆，并且這種劃分對(duì)于我們的討論很重要。邊緣計(jì)算可以采用多種形式，包括小型聚合器、本地服務(wù)器或微型數(shù)據(jù)中心。 微型數(shù)據(jù)中心可以按區(qū)域分布在永久性甚或可移動(dòng)的存儲(chǔ)容器中，這些存儲(chǔ)容器可以捆綁安裝在 18 輪卡車上。

　　2 邊緣計(jì)算的價(jià)值

　　傳統(tǒng)方式中，物聯(lián)網(wǎng)系統(tǒng)從傳感器、攝像頭、麥克風(fēng)，以及一系列不同的 IoT 終端和移動(dòng)設(shè)備上收集數(shù)據(jù)，并將數(shù)據(jù)發(fā)送到集中式數(shù)據(jù)中心或云。

　　據(jù)預(yù)測，到 2020 年，全世界會(huì)有超過 500 億臺(tái)智能設(shè)備實(shí)現(xiàn)連接。這些設(shè)備每年將產(chǎn)生以澤字節(jié) （ZB） 計(jì)算的數(shù)據(jù)，到 2025 年將增長到 150 ZB 以上。互聯(lián)網(wǎng)的骨干網(wǎng)旨在可靠地將設(shè)備彼此連接并與云連接，從而有助于確保數(shù)據(jù)包到達(dá)目的地。但是，將所有這些數(shù)據(jù)發(fā)送到云端會(huì)帶來一些重大問題。

　　首先，150ZB 的數(shù)據(jù)會(huì)造成容量問題。其次，就能源、帶寬和計(jì)算能力而言，將大量數(shù)據(jù)從其原始位置傳輸?shù)郊惺綌?shù)據(jù)中心代價(jià)高昂。據(jù)估計(jì)，目前只有 12% 的數(shù)據(jù)獲得其持有公司執(zhí)行分析，而且只有 3% 的數(shù)據(jù)有助于產(chǎn)生有意義的結(jié)果（對(duì)于我們“環(huán)境數(shù)學(xué)家”來說，有 97% 的數(shù)據(jù)在收集和傳輸之后，就被浪費(fèi)了）。這些數(shù)據(jù)清楚地概括了需要處理的業(yè)務(wù)效率問題。第三，存儲(chǔ)、傳輸和分析數(shù)據(jù)能耗巨大，顯然需要找到一種有效的方法來降低成本和浪費(fèi)。

　　引入邊緣計(jì)算，可以在本地存儲(chǔ)數(shù)據(jù)，從而降低傳輸成本。不過消除數(shù)據(jù)浪費(fèi)需要有效率的技術(shù)，目前最主要的方法都寄希望于 AI 功能。因此，所有應(yīng)用中的大多數(shù)本地服務(wù)器都增加了 AI 功能，現(xiàn)在正在安裝的主要基礎(chǔ)設(shè)施是新型的低功耗邊緣計(jì)算服務(wù)器 CPU，它們以 GPU 和 ASIC 或一系列芯片的形式連接到 AI 加速 SoC。

　　除了解決容量、能源和成本問題外，邊緣計(jì)算還可以提高網(wǎng)絡(luò)可靠性，因?yàn)閼?yīng)用可以在發(fā)生普遍的網(wǎng)絡(luò)中斷期間繼續(xù)運(yùn)行。通過清除某些威脅配置文件（例如全局?jǐn)?shù)據(jù)中心拒絕服務(wù) （DoS） 攻擊），可以提高安全性。

　　最后，邊緣計(jì)算還有一個(gè)很重要的功能，即能夠?yàn)閷?shí)時(shí)用例（例如虛擬現(xiàn)實(shí)商場和移動(dòng)設(shè)備視頻緩存）提供低延遲的能力。縮減延遲將產(chǎn)生新的服務(wù)，使設(shè)備能夠在自動(dòng)駕駛汽車、游戲平臺(tái)或具有挑戰(zhàn)性的快節(jié)奏制造環(huán)境中提供許多創(chuàng)新應(yīng)用。

　　Michael Clegg | IoT 和嵌入式設(shè)備副總裁兼總經(jīng)理 Supermicro 表示：

　　“在邊緣處理傳入的數(shù)據(jù)后，就會(huì)減少需要發(fā)送到云再返回的數(shù)據(jù)量。這也大大減少了處理延遲。一個(gè)很好的類比就是一家大眾披薩餐廳，它通常會(huì)在其他地區(qū)開設(shè)小型分支機(jī)構(gòu)，因?yàn)樵谥饕獱I業(yè)地點(diǎn)烤制的披薩在送往遠(yuǎn)方客戶的路上會(huì)變冷。”

　　3 推動(dòng)拓展應(yīng)用的邊緣計(jì)算

　　5G 基礎(chǔ)架構(gòu)是邊緣計(jì)算最具說服力的驅(qū)動(dòng)力之一。5G 電信提供商發(fā)現(xiàn)了在其基礎(chǔ)架構(gòu)之上提供服務(wù)的機(jī)會(huì)。除了傳統(tǒng)的數(shù)據(jù)和語音連接之外，5G 電信提供商還在構(gòu)建生態(tài)系統(tǒng)，以托管獨(dú)特的本地應(yīng)用。通過將服務(wù)器置于所有基站旁邊，蜂窩流量提供商可以向第三方主機(jī)應(yīng)用開放其網(wǎng)絡(luò)，從而改善帶寬和延遲。

　　Netflix 等流媒體服務(wù)通過其 Netflix Open Connect 計(jì)劃，已經(jīng)與本地 ISP 合作多年，以將高流量內(nèi)容托管在距離用戶更近的地方。借助 5G 的多接取邊緣計(jì)算 （MEC） 計(jì)劃，電信提供商發(fā)現(xiàn)了為流內(nèi)容、游戲和未來的新應(yīng)用提供類似服務(wù)的機(jī)會(huì)。電信提供商認(rèn)為，他們可以以付費(fèi)服務(wù)的方式，向所有人開放此功能，讓需要較低延遲的任何人都可以為在邊緣而非在云中定位應(yīng)用支付額外的費(fèi)用。

　　Credence Research 認(rèn)為，到 2026 年，整個(gè)邊緣計(jì)算市場的價(jià)值將為 96 億美元左右。相比之下，Research and Markets 分析認(rèn)為，移動(dòng)邊緣計(jì)算市場將從今天的幾億美元增長到 2026 年的超過 27.7 億美元。盡管電信行業(yè)是最具聲望且可能是發(fā)展最快的增長動(dòng)力，但是據(jù)估計(jì)，它們僅會(huì)占據(jù)邊緣計(jì)算市場總量的三分之一。這是因?yàn)?web scale、工業(yè)和企業(yè)集團(tuán)也將為其傳統(tǒng)市場提供邊緣計(jì)算硬件、軟件和服務(wù)，期望邊緣計(jì)算也將開創(chuàng)新的應(yīng)用機(jī)遇。

　　大眾快餐店正朝著更加自動(dòng)化的廚房發(fā)展，以確保食品質(zhì)量，減少員工培訓(xùn)，提高運(yùn)營效率并確?？蛻趔w驗(yàn)達(dá)到預(yù)期。Chick-fil-A 是一家連鎖快餐企業(yè)，它成功地使用了本地服務(wù)器，將數(shù)百個(gè)傳感器和控制器與相對(duì)便宜的本地設(shè)備聚合在一起。這些本地設(shè)備在本地運(yùn)行，以防止任何網(wǎng)絡(luò)中斷。2018 年， Chick-Fil-A 在博客上對(duì)此作了概括，宣稱：“通過提高廚房設(shè)備智能化，我們能夠收集更多數(shù)據(jù)。通過在我們的餐廳應(yīng)用數(shù)據(jù)，可以構(gòu)建更多智能系統(tǒng)。通過構(gòu)建更多智能系統(tǒng)，我們能夠進(jìn)一步拓展業(yè)務(wù)?！?這篇博客進(jìn)一步概述，在邊緣計(jì)算的幫助下，許多餐廳現(xiàn)在可以處理的業(yè)務(wù)量相當(dāng)于最初計(jì)劃的三倍。

　　總體而言，成功的邊緣計(jì)算基礎(chǔ)架構(gòu)需要結(jié)合本地服務(wù)器計(jì)算功能、AI 計(jì)算功能以及與移動(dòng)/汽車/IoT 計(jì)算系統(tǒng)的連接（圖 1）。

　　圖 1：邊緣計(jì)算通過使用微數(shù)據(jù)中心來分析和處理數(shù)據(jù)，從而使云計(jì)算過程更靠近終端設(shè)備。

　　CompTIA 首席技術(shù)推廣人James Stanger 博士認(rèn)為：

　　“隨著物聯(lián)網(wǎng) （IoT） 連接越來越多的設(shè)備，網(wǎng)絡(luò)正在從主要在高速公路和中央位置之間往返輸送，過渡到類似于互連、中間存儲(chǔ)和處理設(shè)備組成的蜘蛛網(wǎng)狀態(tài)。邊緣計(jì)算是一種在生成數(shù)據(jù)的客戶端附近而不是在集中式數(shù)據(jù)處理倉庫中捕獲、存儲(chǔ)、處理和分析數(shù)據(jù)的做法。因此，數(shù)據(jù)存儲(chǔ)在網(wǎng)絡(luò)”邊緣“的中間點(diǎn)，而不是始終存儲(chǔ)在中央服務(wù)器或數(shù)據(jù)中心。”

　　4 邊緣計(jì)算用例——Microsoft HoloLens

　　為了解使用邊緣計(jì)算帶來的延遲改善優(yōu)勢，羅格斯大學(xué)和 Inria 使用 Microsoft HoloLens 分析了邊緣計(jì)算（或稱“邊緣云”）的可擴(kuò)展性和性能。

　　在用例中，HoloLens 讀取條形碼掃描儀，然后使用建筑物中的場景分割功能將用戶導(dǎo)航到指定房間，并在 Hololens 上顯示箭頭。該過程同時(shí)使用了映射坐標(biāo)的小數(shù)據(jù)包和連續(xù)視頻的較大數(shù)據(jù)包，以驗(yàn)證邊緣計(jì)算相比傳統(tǒng)云計(jì)算帶來的延遲改善。HoloLens 最初讀取二維碼，然后將映射坐標(biāo)數(shù)據(jù)發(fā)送到邊緣服務(wù)器。該服務(wù)器使用了 4 個(gè)字節(jié)加上標(biāo)頭，花費(fèi)了 1.2 毫秒 （ms）。服務(wù)器找到坐標(biāo)，并通知用戶該位置，總共耗時(shí) 16.22 ms。如果將同樣的數(shù)據(jù)包發(fā)送到云，則大約需要 80 ms（圖 2）。

　　圖 2：比較邊緣設(shè)備到云服務(wù)器與邊緣設(shè)備到邊緣云服務(wù)器的延遲。

　　同樣，他們測試了在使用 OpenCV 進(jìn)行場景分割以將 Hololens 的用戶導(dǎo)航到適當(dāng)位置時(shí)的延遲。HoloLens 以 30 fps 的速度流傳輸視頻，并在邊緣計(jì)算服務(wù)器中以 3.33 GHz 的頻率在配備 15GB RAM 的 Intel i7 CPU 上處理圖像。將數(shù)據(jù)流傳輸?shù)竭吘売?jì)算服務(wù)器需要 4.9 ms，處理 OpenCV 圖像額外花費(fèi)了 37 ms，總計(jì) 47.7 ms。云服務(wù)器上的相同過程花費(fèi)了將近 115 ms，清楚顯示了邊緣計(jì)算降低延遲的明顯優(yōu)勢。

　　雖然該案例研究顯示了邊緣計(jì)算在降低延遲方面的顯著優(yōu)勢，但是有太多新技術(shù)可以在將來更好地實(shí)現(xiàn)低延遲。5G 概述了當(dāng)今延遲少于 1ms 的用例（圖 3），而 6G 已經(jīng)在討論將其降低到 10 微秒 （？s） 的問題。5G 和 Wi-Fi 6 會(huì)增加連接帶寬。5G 打算將帶寬提高到 10Gbps，而 Wi-Fi 6 已經(jīng)支持 2Gbps 帶寬。AI 加速器聲稱場景分割的時(shí)間少于 20?s，這與上述示例技術(shù)論文中引用的 Intel i7 CPU 在大約 20ms 內(nèi)處理每個(gè)幀的速度相比，有了顯著進(jìn)步。

　　圖 3：與圖 2 中 10s 和 100s 的 Msps 相比，從 Hololens 到路由器以及從路由器到邊緣服務(wù)器的帶寬改善高達(dá) 10Gbps，另有 AI 處理的改進(jìn)（從 20ms 改善到 20us），往返延遲 < 1ms。

　　顯然，如果邊緣計(jì)算表現(xiàn)出比云計(jì)算更具優(yōu)勢，那么將計(jì)算全都轉(zhuǎn)移到邊緣設(shè)備中不是最好的解決方案嗎？然而事實(shí)是，目前并不是所有的應(yīng)用程序都是如此（圖 4）。在 HoloLens 案例研究中，數(shù)據(jù)使用的 SQL 數(shù)據(jù)庫太大，無法存儲(chǔ)在耳機(jī)中。今天的邊緣設(shè)備，特別是發(fā)生物理磨損的設(shè)備，沒有足夠的計(jì)算能力來處理大型數(shù)據(jù)集。除了計(jì)算能力之外，云或邊緣服務(wù)器上的軟件比邊緣設(shè)備上的軟件開發(fā)成本更低，因?yàn)樵?邊緣軟件不需要壓縮到更小的內(nèi)存資源和計(jì)算資源中。

　　圖 4：比較云計(jì)算和邊緣計(jì)算與端點(diǎn)設(shè)備。

　　由于某些應(yīng)用程序可以根據(jù)我們基礎(chǔ)架構(gòu)不同位置的計(jì)算能力、存儲(chǔ)能力、存儲(chǔ)器可用性和延遲能力來合理地運(yùn)行，因此無論是在云中、在邊緣服務(wù)器還是在邊緣設(shè)備中，都有一種趨勢來支持未來的混合計(jì)算能力（圖 5）。邊緣計(jì)算是全球混合計(jì)算基礎(chǔ)架構(gòu)的初步建立。

　　圖 5：安裝在 Hololens、邊緣服務(wù)器和云中的 AI，使混合計(jì)算架構(gòu)能夠根據(jù)應(yīng)用需求優(yōu)化計(jì)算、存儲(chǔ)器和存儲(chǔ)資源。

　　5 了解邊緣計(jì)算各部分

　　邊緣計(jì)算是指位置比云更靠近應(yīng)用的運(yùn)算。但是，這是 300 英里，3 英里還是 300 英尺？在計(jì)算領(lǐng)域，云在理論上具有無限的內(nèi)存和無限的計(jì)算能力。在設(shè)備上，理論上只需有足夠的計(jì)算和內(nèi)存資源可以捕獲數(shù)據(jù)并將其發(fā)送到云即可。兩種理論均與事實(shí)稍有不符，但我們可以將其用作描述邊緣計(jì)算不同水平的方法。理論上，云計(jì)算資源越來越靠近端點(diǎn)設(shè)備或應(yīng)用，因而存儲(chǔ)、內(nèi)存和計(jì)算資源就會(huì)越來越少。這些資源消耗的功率也隨之降低了?？拷暮锰幉粌H是可以降低功耗，而且可以降低延遲并提高效率。

　　在該空間中開始出現(xiàn)三種基本的邊緣計(jì)算架構(gòu)（圖 6）。首先，最接近傳統(tǒng)數(shù)據(jù)中心的是區(qū)域數(shù)據(jù)中心，這些數(shù)據(jù)中心是戰(zhàn)略性放置的云計(jì)算服務(wù)器群的微型版本，旨在減少延遲，同時(shí)卻維護(hù)所需的計(jì)算、存儲(chǔ)和內(nèi)存。許多企業(yè)和初創(chuàng)公司都在解決這個(gè)問題，但是專門為解決區(qū)域數(shù)據(jù)中心而設(shè)計(jì)的 SoC，與當(dāng)今著重解決高性能計(jì)算 （HPC） 的傳統(tǒng)云計(jì)算解決方案幾乎沒有什么區(qū)別。

　　本地服務(wù)器和內(nèi)部服務(wù)器（第二個(gè)邊緣計(jì)算部分），是許多 SoC 解決方案用于解決邊緣計(jì)算的功耗和連接性需求的地方。如今，軟件也有大規(guī)模的商業(yè)化開發(fā)，尤其是采用了更靈活的平臺(tái)，能夠支持 Dockers 和 Kubernetes 之類的容器。前文描述的 Chick-Fil-A 示例就使用了 Kubernetes。對(duì)于半導(dǎo)體廠商而言，內(nèi)部服務(wù)器部分中最有趣的部分是在服務(wù)器 SoC 附近引入一種芯片組來處理所需的 AI 加速。顯然，傳統(tǒng)的 AI 加速器位于云計(jì)算場中，而略有不同的一類用于邊緣服務(wù)器 的AI 加速器已經(jīng)被構(gòu)建出來，因?yàn)檫@是市場有望增長的地方，并且有機(jī)會(huì)在這一有前途的領(lǐng)域立足。

　　邊緣計(jì)算的第三部分包括旨在執(zhí)行有限功能的聚合器和網(wǎng)關(guān)，它們可能僅以最小的延遲和最低的功耗運(yùn)行一個(gè)或幾個(gè)應(yīng)用。

　　這三個(gè)部分中的每一個(gè)都已定義為支持實(shí)際應(yīng)用。例如，麥肯錫在邊緣計(jì)算分析中已經(jīng)確定了 107 個(gè)用例。ETSI 通過其分組規(guī)范 MES 002 v.2.1.1 ，為 5G MEC 定義了超過 35 個(gè)用例，包括游戲、服務(wù)級(jí)別協(xié)議、視頻緩存、虛擬現(xiàn)實(shí)、流量重復(fù)數(shù)據(jù)刪除等。這些應(yīng)用中的每一個(gè)都有一些預(yù)定義的延遲要求，具體取決于邊緣服務(wù)器在基礎(chǔ)架構(gòu)中可能存在的位置。OpenStack Foundation 是另一個(gè)將邊緣計(jì)算納入其工作的組織，期望改善端局重構(gòu)為數(shù)據(jù)中心 （Central Office ReArchitected as a Data Center, CORD） 延遲，分布在整個(gè)網(wǎng)絡(luò)中的傳統(tǒng)電信端局現(xiàn)在負(fù)責(zé)托管邊緣云服務(wù)器。

　　5G 市場期望實(shí)現(xiàn)從邊緣設(shè)備到邊緣服務(wù)器再回到邊緣設(shè)備，往返時(shí)間延遲低至 1ms 的用例。實(shí)現(xiàn)這一目標(biāo)的唯一方法是通過本地網(wǎng)關(guān)或聚合器，因?yàn)榈竭_(dá)云全程通常需要 100 ms。2019 年秋天推出的 6G 計(jì)劃宣布了 10s ?S 延遲的目標(biāo)。

　　每個(gè)邊緣計(jì)算系統(tǒng)都支持類似的 SoC 架構(gòu)，其中包括一個(gè)網(wǎng)絡(luò) SoC、一些存儲(chǔ)、一個(gè)服務(wù)器 SoC，以及現(xiàn)在的一個(gè) AI 加速器或 AI 加速器陣列。每種類型的系統(tǒng)都有自己的延遲、功耗和性能水平。這些系統(tǒng)的一般準(zhǔn)則在圖6 中進(jìn)行了描述。市場在變化，這些數(shù)字可能會(huì)隨著技術(shù)的進(jìn)步而迅速變化。

　　圖 6：比較邊緣計(jì)算的三種主要 SoC 架構(gòu)：區(qū)域數(shù)據(jù)中心/邊緣云；內(nèi)部服務(wù)器/本地服務(wù)器；和聚合器/網(wǎng)關(guān)/接入口。

　　6 邊緣計(jì)算對(duì)服務(wù)器系統(tǒng) SoC 有何影響？

　　許多邊緣計(jì)算應(yīng)用的主要目標(biāo)是圍繞與較低延遲相關(guān)的新服務(wù)。為了支持較低的延遲，許多新系統(tǒng)都采用了一些最新的行業(yè)接口標(biāo)準(zhǔn)，包括 PCIe 5.0、LPDDR5、DDR5、HBM2e、USB 3.2、CXL、以及基于 PCIe 的 NVMe 和其它基于新一代標(biāo)準(zhǔn)的技術(shù)。與上一代產(chǎn)品相比，這些技術(shù)中的每一種都通過帶寬改進(jìn)來降低延遲。

　　比減少延遲的驅(qū)動(dòng)因素更為突出的是為所有這些邊緣計(jì)算系統(tǒng)增加了 AI 加速。某些服務(wù)器芯片通過 x86 擴(kuò)展AVX-512 向量神經(jīng)網(wǎng)絡(luò)指令 （AVX512 VNNI） 等新指令提供 AI 加速。很多時(shí)候，這種額外的指令集不足以提供預(yù)期任務(wù)所需的低延遲和低功耗實(shí)現(xiàn)，所以大多數(shù)新系統(tǒng)中還添加了自定義 AI 加速器。這些芯片所需的連接性通常采用帶寬最高的主機(jī)來實(shí)現(xiàn)加速器連接。例如，由于這些帶寬要求直接影響延遲，因此 PCIe 5.0 的使用正在迅速擴(kuò)展，最常見的情況是在具有多個(gè) AI 加速器的某種交換配置中。

　　CXL 是另一種為降低延遲并提供緩存一致性而專門開發(fā)的接口。由于 AI 算法具有異構(gòu)計(jì)算需求和廣泛的內(nèi)存需求，因此務(wù)必要確保緩存一致性。

　　除了本地網(wǎng)關(guān)和聚合服務(wù)器系統(tǒng)之外，單個(gè) AI 加速器通常無法提供足夠的性能，所以需要借助帶寬非常高的芯片到芯片 SerDes PHY 擴(kuò)展這些加速器。最新發(fā)布的 PHY 支持 56G 和 112G 連接。支持 AI 擴(kuò)展的芯片到芯片要求已經(jīng)完成多種實(shí)現(xiàn)。在基于標(biāo)準(zhǔn)的實(shí)現(xiàn)中，以太網(wǎng)可能是一種可擴(kuò)展的選項(xiàng)，現(xiàn)在已經(jīng)有一些基于這種理念的解決方案。但是，當(dāng)今許多實(shí)現(xiàn)都是通過專有控制器來利用最高帶寬的 SerDes。不同的體系結(jié)構(gòu)可能會(huì)改變服務(wù)器系統(tǒng)的未來 SoC 體系結(jié)構(gòu)，從而將網(wǎng)絡(luò)、服務(wù)器、AI 和存儲(chǔ)組件合并到集成度更高的 SoC 中，而不是目前正在實(shí)現(xiàn)的 4 種不同的 SoC 中。

　　圖 7：常見服務(wù)器 SoC 位于邊緣，根據(jù)任務(wù)數(shù)量、功率、延遲和其他需求，具有不同的處理器數(shù)量、以太網(wǎng)吞吐量和存儲(chǔ)能力。

　　AI 算法正在突破內(nèi)存帶寬要求的極限。例如，最新的 BERT 和 GPT-2 型號(hào)分別需要 345M 和 1.5B 參數(shù)。顯然，不僅需要高容量的內(nèi)存能力來支持這些需求，還需把許多復(fù)雜的應(yīng)用放在邊緣云中執(zhí)行。為了支持實(shí)現(xiàn)這種能力，設(shè)計(jì)人員正在新的芯片組中采用 DDR5。除了容量挑戰(zhàn)之外，還需要存取 AI 算法的系數(shù)，以進(jìn)行非線性序列中并行執(zhí)行的大量多次累加計(jì)算。因此，HBM2e 成為迅速獲得采用的一種最新技術(shù)，有些芯片實(shí)現(xiàn)了單芯片中的數(shù)次 HBM2e 實(shí)例化。

　　圖 8：通用 AI SoC 具有高速、高帶寬、內(nèi)存、主機(jī)到加速器，以及高速芯片到芯片接口，用于擴(kuò)展多個(gè) AI 加速器。

　　7 不斷變化的目標(biāo)與邊緣計(jì)算的劃分

　　如果我們仔細(xì)研究邊緣計(jì)算的不同類型需求，就會(huì)發(fā)現(xiàn)區(qū)域數(shù)據(jù)中心、本地服務(wù)器和聚合網(wǎng)關(guān)具有不同的計(jì)算、延遲和功率需求。未來的需求顯然集中在降低往返響應(yīng)的延遲，降低特定邊緣應(yīng)用的功率，以及確保有足夠的處理能力來處理特定任務(wù)上。

　　服務(wù)器 SoC 消耗的功率因等待時(shí)間和處理要求而異。新一代解決方案不僅將具有更低的延遲和更低的功耗，而且還將納入 AI 功能，也就是 AI 加速器。這些 AI 加速器的性能也會(huì)根據(jù)這些需求的擴(kuò)展而變化。

　　但是很明顯，AI 和邊緣計(jì)算的需求正在迅速變化，我們今天看到的許多解決方案在過去兩年中已多次取得了進(jìn)步，并將繼續(xù)加以改進(jìn)。現(xiàn)在的性能可以分類，但數(shù)量會(huì)不斷變化，從而提高性能、降低功耗并降低總體延遲。

　　圖 9：新一代服務(wù)器 SoC 再加上 AI 加速器，將加快邊緣計(jì)算速度。

　　8 結(jié)語

　　邊緣計(jì)算是實(shí)現(xiàn)更快連接性的一項(xiàng)非常重要的技術(shù)。它將使云服務(wù)更靠近邊緣設(shè)備，并將有效降低延遲，為消費(fèi)者提供新的應(yīng)用和服務(wù)。此外，它還將衍生更多 AI 功能，將其擴(kuò)展到云以外。邊緣計(jì)算是未來混合計(jì)算的基礎(chǔ)技術(shù)。在混合計(jì)算中，可以根據(jù)延遲需求、功率需求以及總體存儲(chǔ)和性能需求，在本地、云中或設(shè)備上實(shí)時(shí)做出決策。