DataDirect Networks (DDN)推出了EXA5，這是該公司第五代Exascaler Lustre文件系統(tǒng)平臺(tái)，將用于填充DDN的全閃存、中檔和高端存儲(chǔ)設(shè)備系列。Exascaler主要客戶是針對(duì)HPC人群，但這個(gè)最新版本也吸引了更多面向企業(yè)客戶的特性，尤其是那些從事人工智能工作的客戶。
DDN高級(jí)營銷總監(jiān)Kurt Kuckein表示:“對(duì)于那些不那么熟悉DDN的企業(yè)來說，這些需求變得越來越明顯。因此這款產(chǎn)品結(jié)合了我們存儲(chǔ)功能和一些企業(yè)特性。”
多年來，DDN一直在有條不紊地為Exascaler軟件添加一些利于企業(yè)的功能，人工智能市場(chǎng)正促使DDN對(duì)這一領(lǐng)域給予額外關(guān)注。對(duì)于EXA5，很多新特性都是相當(dāng)標(biāo)準(zhǔn)的問題——增強(qiáng)型數(shù)據(jù)保護(hù)、升級(jí)安全性(包括多租戶)、通過CIFS和NFS網(wǎng)關(guān)支持non-Lustre并行存儲(chǔ)系統(tǒng)[1]以及審計(jì)功能。改進(jìn)的small file性能也有所增加了，這也得到了傳統(tǒng)的高性能計(jì)算客戶的贊賞。
據(jù)Kuckein介紹，他們?cè)贚ustre中做了大量工作來加速Smallfile（小文件存儲(chǔ)）的性能。在硬件級(jí)別，這主要是通過利用基于閃存的存儲(chǔ)組件的特殊隨機(jī)訪問性能實(shí)現(xiàn)的。Kuckein說，他們所做的優(yōu)化不僅加快了Smallfile（小文件存儲(chǔ)）的I/O速度，而且還跨越了一系列文件大小，從幾kb到幾mb。
然而，EXA5最大的新特性是STRATAGEM，這是一個(gè)功能強(qiáng)大的數(shù)據(jù)編排引擎，它使用基于策略的布局為用戶提供全面的數(shù)據(jù)駐留控制，并且提供了Flash和硬盤之間的自動(dòng)分層。分層是通過將活動(dòng)數(shù)據(jù)保存在閃存中，并將訪問的數(shù)據(jù)放在旋轉(zhuǎn)磁盤上，從而優(yōu)化I/O性能。它通過掃描后臺(tái)文件系統(tǒng)并在訪問模式允許的情況下移動(dòng)文件來實(shí)現(xiàn)這一點(diǎn)。EXA5中的其他幾十個(gè)新特性為在云中部署要求最高的工作負(fù)載的用戶提供了獨(dú)特的價(jià)值。
到目前為止，DDN客戶一直依賴于開放源碼的Lustre策略引擎，比如Robinhood，根據(jù)Kuckein的說法，Robinhood在性能方面還有待改進(jìn)。Strategem使用的開銷要小得多，因此可以在不過度影響用戶性能的情況下進(jìn)行文件系統(tǒng)掃描。有趣的是，它將大多數(shù)基于閃存的文件鏡像到硬盤上，以備快速需要閃存層上的空間。用戶還可以自定義開發(fā)，在特定情況下自動(dòng)進(jìn)行數(shù)據(jù)升降級(jí)，還可以使用API對(duì)外部驅(qū)動(dòng)的數(shù)據(jù)移動(dòng)進(jìn)行控制。
DDN設(shè)置了策略引擎，所以無論Flash是在它自己基于NVMe（非易失性內(nèi)存主機(jī)控制器接口規(guī)范）的存儲(chǔ)陣列(比如ES200NV或ES400NV)中，還是在混合設(shè)備(比如ES7990)中與硬盤混合，都沒有關(guān)系。它將解決所有的Flash 是否在文件名稱空間或系統(tǒng)本身的問題。
EXA5已經(jīng)在德克薩斯高級(jí)計(jì)算中心(TACC)很快將擁有一臺(tái)頂級(jí)超級(jí)計(jì)算機(jī)—“Frontera”上實(shí)現(xiàn)了應(yīng)用。作為世界上第五大系統(tǒng)，同時(shí)由CPU和GPU驅(qū)動(dòng)，新型TACC機(jī)器有望與傳統(tǒng)HPC應(yīng)用程序一起運(yùn)行人工智能工作負(fù)載。它支持50 pb的DDN硬件，其中3 pb以基于NVMe的硬件的形式提供額外的快速劃痕存儲(chǔ)。
在人工智能領(lǐng)域，一家提供實(shí)時(shí)視頻分析軟件公司正在應(yīng)用EXA5，XXII分析軟件可以用于無現(xiàn)金的零售環(huán)境中，監(jiān)控商店客戶，并根據(jù)他們放入購物車的內(nèi)容計(jì)算費(fèi)用。在最近的GTC會(huì)議上，XXII分析軟件運(yùn)行在了連接DDN存儲(chǔ)的Nvidia硬件上進(jìn)行了演示。
EXA5可以運(yùn)行在所有的Flash SFA200NV SFA400NV,混合SFA7990,高密度SFA18K,以及 A?I存儲(chǔ)電器 (A1200和AI7990)上，它將在今年第三季度初上市。
[1] Lustre，一種平行分布式文件系統(tǒng)，通常用于大型計(jì)算機(jī)集群和超級(jí)電腦。Lustre是源自Linux和Cluster的混成詞。它是應(yīng)用廣泛的linux開源分布式存儲(chǔ)文件系統(tǒng)，其容量可輕易擴(kuò)容到PB級(jí)別，在HPC、云上有相應(yīng)的使用。