編輯|信創(chuàng)縱橫公眾號(hào)(ID:xinchuangzh)
出品 | 安東工作室
來源|綜合自半導(dǎo)縱橫創(chuàng)咨詢、e公司等
隨著算力網(wǎng)絡(luò)的建設(shè)發(fā)展,業(yè)內(nèi)對(duì)存儲(chǔ)環(huán)節(jié)的關(guān)注度也直線上升。
7月20日在2023世界半導(dǎo)體大會(huì)上,中國工程院院士、中國科學(xué)院計(jì)算技術(shù)研究所研究員倪光南表示,當(dāng)前AI算力中心蓬勃興起,但是廣義算力不僅包括算力,還包括存力、運(yùn)力。數(shù)據(jù)顯示,預(yù)計(jì)2025年中國數(shù)據(jù)量將從7.6ZB增至48.6ZB,超過美國成為全球第一。當(dāng)前,全球各國都在加快制定國家數(shù)據(jù)戰(zhàn)略,其中,存儲(chǔ)技術(shù)和產(chǎn)業(yè)成為共同關(guān)注的戰(zhàn)略重點(diǎn)。
當(dāng)前中國算力中心存力不足,存在重算力輕存力的傾向,國內(nèi)的存儲(chǔ)發(fā)展跟不上數(shù)據(jù)量的增長(zhǎng)。根據(jù)倪光南提及的一組數(shù)據(jù),中國算力中心采用SSD(固態(tài)硬盤)先進(jìn)算力占比僅為24.7%,約為美國一半。中國單位GDP的數(shù)據(jù)存儲(chǔ)量只有美國70%左右,而人均數(shù)據(jù)存儲(chǔ)量,美國是中國的9倍。美國為212GB/人,中國約為25GB/人,說明中國數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)大有可為、前景廣闊。
倪光南建議制定算力和存力適當(dāng)比例范圍,重視高效存儲(chǔ)產(chǎn)業(yè)人才培養(yǎng),以及將數(shù)據(jù)存儲(chǔ)列入信創(chuàng)范圍、設(shè)立國家科技攻關(guān)計(jì)劃和相關(guān)數(shù)據(jù)存儲(chǔ)專項(xiàng),協(xié)同上下游產(chǎn)業(yè)攻關(guān)等。
現(xiàn)在AI大模型崛起,進(jìn)一步推動(dòng)了算力的需求。雖然AI算力中心不斷興起,但是倪光南指出,目前普遍對(duì)算力的理解有片面性,廣義算力不僅包括算力,還包括存力、運(yùn)力。當(dāng)前中國算力中心的存力相對(duì)不足,存在重算力輕存力的傾向。
他進(jìn)一步分析道,中國存儲(chǔ)容量增長(zhǎng)快,但主要用機(jī)械硬盤HDD,先進(jìn)半導(dǎo)體存儲(chǔ)技術(shù)滯后。比如,存儲(chǔ)領(lǐng)域閃存市場(chǎng)占比中,全球平均水平為41.3%,美國為56.4%,中國為20.3%,僅是全球水平的一半。再看算力中心采用SSD(固態(tài)硬盤)先進(jìn)存力占比,美國為52.8%,中國為24.7%。
面對(duì)新一輪存儲(chǔ)技術(shù)變革,在倪光南看來,隨著國產(chǎn)存儲(chǔ)整機(jī)和閃存生產(chǎn)能力提升,SSD(固態(tài)硬盤)取代HDD(機(jī)械硬盤)的時(shí)機(jī)已經(jīng)到來。
談及存儲(chǔ)芯片產(chǎn)業(yè)鏈,倪光南介紹道,中國的新型半導(dǎo)體存儲(chǔ)產(chǎn)業(yè)鏈比較完整,比如在產(chǎn)業(yè)鏈上游,長(zhǎng)江存儲(chǔ)的NANDFlash和長(zhǎng)鑫存儲(chǔ)的DRAM芯片已經(jīng)達(dá)到全球主流的水平和生產(chǎn)能力;在SSD主控芯片方面,國內(nèi)已經(jīng)有十幾家廠商的產(chǎn)品得到商用,產(chǎn)品能力與國外主流廠商持平。
而在產(chǎn)業(yè)鏈中游,我國存儲(chǔ)整機(jī)的核心能力和競(jìng)爭(zhēng)力構(gòu)筑在自主的核心存儲(chǔ)芯片、系統(tǒng)架構(gòu)和軟件之上,也已具備國際領(lǐng)先技術(shù)水平,目前國產(chǎn)品牌廠商在國內(nèi)市場(chǎng)占比85%,在全球市場(chǎng)份額占比20%,在海外有巨大增長(zhǎng)空間。
在他看來,我國新型存儲(chǔ)產(chǎn)業(yè)在實(shí)現(xiàn)國產(chǎn)化的情況下已經(jīng)具備了國際競(jìng)爭(zhēng)力,今后如能通過雙循環(huán)拉動(dòng),迅速擴(kuò)展規(guī)模,提升性價(jià)比和營銷服務(wù)能力,有望成為IT領(lǐng)域的“5G”產(chǎn)業(yè),成為中國的又一新名片。
對(duì)于存儲(chǔ)產(chǎn)業(yè)發(fā)展,倪光南建議制定算力和存力適當(dāng)比例范圍,重視高效存儲(chǔ)產(chǎn)業(yè)人才培養(yǎng),以及將數(shù)據(jù)存儲(chǔ)列入信創(chuàng)范圍、設(shè)立國家科技攻關(guān)計(jì)劃和相關(guān)數(shù)據(jù)存儲(chǔ)專項(xiàng),協(xié)同上下游產(chǎn)業(yè)攻關(guān)等。
倪光南院士表示,隨著信息技術(shù)的快速發(fā)展,數(shù)據(jù)存儲(chǔ)作為一個(gè)重要的產(chǎn)業(yè)分支以后會(huì)成為一個(gè)廣為人知的產(chǎn)業(yè)。
2021年美國提出《創(chuàng)新與競(jìng)爭(zhēng)法》,要拿出大量資金來發(fā)展十大關(guān)鍵技術(shù),包括數(shù)據(jù)存儲(chǔ),數(shù)據(jù)管理技術(shù)。目前國內(nèi)對(duì)存儲(chǔ)的概念還停留在一個(gè)小的部件,沒有把它上升到一個(gè)產(chǎn)業(yè)的高度。
據(jù)預(yù)測(cè)2025年中國的數(shù)據(jù)存儲(chǔ)量將超過美國,未來有望成為世界第一數(shù)據(jù)大國。作為數(shù)據(jù)大國,數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)就需要跟上,中國應(yīng)該抓住這個(gè)機(jī)遇,有強(qiáng)大先進(jìn)的數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)作為支撐,才能有發(fā)展的主動(dòng)權(quán)。
中國新增數(shù)據(jù)量年復(fù)合增長(zhǎng)率是30%左右,目前數(shù)據(jù)存儲(chǔ)市場(chǎng)規(guī)模還不夠大,市場(chǎng)還跟不上數(shù)據(jù)量的發(fā)展,需要充分用好數(shù)據(jù)量的拉動(dòng),把成熟數(shù)據(jù)成熟產(chǎn)業(yè)帶動(dòng)起來。
從人均的數(shù)據(jù)存儲(chǔ)量來看,目前美國人均存儲(chǔ)量是212 GB/人,中國是25 GB/人,美國是中國的8倍,這說明中國數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)是大有可為的,前景是非常光明的。
當(dāng)前,數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)一個(gè)很大的推動(dòng)因素來自于大語言模型。大模型正在帶動(dòng)各地建設(shè)AI算力中心,但是產(chǎn)業(yè)主要關(guān)心的都是運(yùn)算力。實(shí)際上算力中心的計(jì)算能力由三個(gè)因素決定:存力、算力、運(yùn)力。倪光南院士認(rèn)為,用廣義算力去定義一個(gè)算力中心,才更準(zhǔn)確。
美國的算力中心存算比為1.11TB/GFlops,中國約為美國的37.8%。相對(duì)來說,走在更前列,經(jīng)過市場(chǎng)檢驗(yàn)的美國算力中心的存算比會(huì)更合理一點(diǎn)。當(dāng)算力中心可能會(huì)出現(xiàn)算力發(fā)揮不了作用,這時(shí)候就需要把存力提高了。產(chǎn)業(yè)應(yīng)該去研究算力建設(shè),確定一個(gè)適當(dāng)?shù)谋戎?,充分發(fā)揮我們投資的效益。確定合適的存算比,有助于當(dāng)前AI算力中心的建設(shè)。
從技術(shù)變革方面來看,存儲(chǔ)領(lǐng)域正在發(fā)生一項(xiàng)新的技術(shù)變革,即基于半導(dǎo)體技術(shù)的新型產(chǎn)品替代基于機(jī)械技術(shù)的傳統(tǒng)產(chǎn)品,這一個(gè)正在加速進(jìn)行的客觀趨勢(shì)。
全球SSD占存儲(chǔ)市場(chǎng)比重是41.3%,這一比例在美國是56.4%,在中國約為20.3%,說明在國內(nèi)還是傳統(tǒng)存儲(chǔ)占了很大的比重,而發(fā)達(dá)國家已經(jīng)走在前面了,用先進(jìn)的半導(dǎo)體存儲(chǔ)替代了傳統(tǒng)的機(jī)械存儲(chǔ),這是一個(gè)很重要的啟示。有差距也說明有市場(chǎng)潛力。
SSD對(duì)機(jī)械硬盤替代的進(jìn)度慢很大一個(gè)問題是價(jià)格。不過SSD在性能、能耗方面仍有優(yōu)勢(shì)。圖上藍(lán)線就是半導(dǎo)體存儲(chǔ)的價(jià)格變化,紅線是機(jī)械存儲(chǔ)的變化,綠線是SSD與機(jī)械存儲(chǔ)的比較,在今年大概是2.2,兩者有望在2026年實(shí)現(xiàn)平衡。
倪光南院士強(qiáng)調(diào),對(duì)于存儲(chǔ)產(chǎn)品不應(yīng)該只關(guān)注價(jià)格問題,綜合各種性能來看SSD的性價(jià)比已經(jīng)超出了機(jī)械硬盤。
SSD可以實(shí)現(xiàn)用先進(jìn)的壓縮算法,把數(shù)據(jù)更好的壓縮,可以去重,可以更好的加密解密,用新的文件系統(tǒng)等等。在招標(biāo)中只考慮價(jià)格,不考慮其他因素,這是不對(duì)的,倪光南院士也建議有關(guān)方面在招標(biāo)項(xiàng)目規(guī)劃之中,更加全面考慮存儲(chǔ)產(chǎn)品的多種性能。各方面共同努力推動(dòng)半導(dǎo)體存儲(chǔ)替代機(jī)械存儲(chǔ)的產(chǎn)業(yè)變革。
用SSD替代機(jī)械硬盤從供應(yīng)鏈安全的角度來看也有好處,因?yàn)楝F(xiàn)在的機(jī)械硬盤市場(chǎng)完全被外國廠商壟斷。倪光南院士提到,在新型存儲(chǔ)的產(chǎn)業(yè)鏈上游國產(chǎn)公司布局是比較完整的,目前來講主要的芯片像NAND,DRAM芯片都可以自己生產(chǎn)。從中游來講,國內(nèi)在核心存儲(chǔ)設(shè)備、系統(tǒng)架構(gòu)軟件都有自主創(chuàng)新的東西,達(dá)到了國際領(lǐng)先的技術(shù)水平,比如像華為的存儲(chǔ)在全球僅次于EMC。在新型存儲(chǔ)領(lǐng)域,中國品牌有足夠的國際競(jìng)爭(zhēng)力。
當(dāng)前是發(fā)展中國數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)的好時(shí)機(jī),倪光南院士給出了幾點(diǎn)建議。
1、產(chǎn)業(yè)發(fā)展,標(biāo)準(zhǔn)先行。為促進(jìn)產(chǎn)業(yè)更好地發(fā)展,以“行標(biāo)”或“團(tuán)標(biāo)”的方式,發(fā)布“算力中心建設(shè)指南”;提出“算力”與“存力”的適當(dāng)比率范圍;提出“存力”中采用SSD先進(jìn)存力的適當(dāng)比率范圍,避免大力發(fā)展算力中心建設(shè)中的某些傾向,均衡部署,均衡發(fā)展,搶占新一輪科技革命和產(chǎn)業(yè)變革的制高點(diǎn)。
2、政策引導(dǎo),力推SSD取代HDD。存儲(chǔ)設(shè)備的政府采購、招標(biāo)等項(xiàng)目中,應(yīng)優(yōu)先支持SSD,不得以單一價(jià)格指標(biāo)作為評(píng)標(biāo)依據(jù);重要基礎(chǔ)設(shè)施的存儲(chǔ)設(shè)備,政府應(yīng)政策引導(dǎo)指定采用國產(chǎn)SSD以此促進(jìn)國產(chǎn)SSD的產(chǎn)業(yè)發(fā)展。
3、安全測(cè)評(píng),公平公正。美光未通過中國政府對(duì)其的安全審查,為國產(chǎn)存儲(chǔ)產(chǎn)業(yè)發(fā)展提供發(fā)展窗口期。存儲(chǔ)領(lǐng)域應(yīng)以此為契機(jī),重視對(duì)存儲(chǔ)產(chǎn)品的安全審查,包括供應(yīng)鏈安全、信息安全、數(shù)據(jù)安全等等。尤其是對(duì)于存儲(chǔ)整機(jī)、主控芯片、存儲(chǔ)文件系統(tǒng)等等關(guān)鍵核心技術(shù),建議參照信創(chuàng)工作經(jīng)驗(yàn),實(shí)施“自主可控測(cè)評(píng)”,根據(jù)第三方測(cè)評(píng)機(jī)構(gòu)給出的自主可控測(cè)評(píng)分值作為選擇依據(jù)。
4、千秋大業(yè),人才為先。重視高校存儲(chǔ)產(chǎn)業(yè)人才培養(yǎng)。存儲(chǔ)產(chǎn)業(yè)為技術(shù)密集型產(chǎn)業(yè),產(chǎn)品研發(fā)需要大量具有存儲(chǔ)技術(shù)研發(fā)能力的人才。北美有60+高校開展存儲(chǔ)領(lǐng)域研究,領(lǐng)軍教授80+,博士團(tuán)隊(duì)500+;西歐有20+高校開展領(lǐng)域研究,領(lǐng)軍教授30+、博士團(tuán)隊(duì)200+;目前國內(nèi)僅有10+高校開展存儲(chǔ)領(lǐng)域研究,領(lǐng)軍教授10+,博士隊(duì)伍100+,碩士不足300人。數(shù)據(jù)看出,人才基數(shù)與中國整個(gè)存儲(chǔ)產(chǎn)業(yè)和應(yīng)用市場(chǎng)體量來講顯然是不匹配的,建議在高校要增設(shè)存儲(chǔ)專業(yè)、課程、實(shí)驗(yàn)室等,擴(kuò)大存儲(chǔ)人才培養(yǎng)規(guī)模,并從收入、激勵(lì)機(jī)制、基本公共服務(wù)等多角度構(gòu)建新的人才政策,吸引并聚集國內(nèi)外優(yōu)秀人才。
5、集聚產(chǎn)業(yè),協(xié)同攻關(guān)。建議將數(shù)據(jù)存儲(chǔ)列入信創(chuàng)范圍,與上下游產(chǎn)業(yè)協(xié)同促進(jìn)國產(chǎn)信息技術(shù)生態(tài)發(fā)展。同時(shí)設(shè)立國家科技攻關(guān)計(jì)劃和相關(guān)產(chǎn)業(yè)鏈中數(shù)據(jù)存儲(chǔ)專項(xiàng),組織國內(nèi)產(chǎn)學(xué)研用各界聯(lián)合攻關(guān),實(shí)現(xiàn)全產(chǎn)業(yè)鏈風(fēng)險(xiǎn)可控;成立存儲(chǔ)國家實(shí)驗(yàn)室、國家級(jí)科創(chuàng)平臺(tái)等,開展前沿技術(shù)研究,形成原創(chuàng)性成果,提升國產(chǎn)存儲(chǔ)全球技術(shù)競(jìng)爭(zhēng)力。
小知識(shí):數(shù)據(jù)存儲(chǔ)的那些事兒
寫在前面
對(duì)于運(yùn)維來說,數(shù)據(jù)讀取、安全與存儲(chǔ),也是至關(guān)重要的一點(diǎn),數(shù)據(jù)存儲(chǔ)的技術(shù)點(diǎn)也是相當(dāng)?shù)亩?,面比較廣,今天,民工哥來給各位小伙伴聊一聊有關(guān)于數(shù)據(jù)存儲(chǔ)的“那些事兒”
存儲(chǔ)的概念介紹
數(shù)據(jù)存儲(chǔ)對(duì)象包括數(shù)據(jù)流在加工過程中產(chǎn)生的臨時(shí)文件或加工過程中需要查找的信息。數(shù)據(jù)以某種格式記錄在計(jì)算機(jī)內(nèi)部或外部存儲(chǔ)介質(zhì)上。數(shù)據(jù)存儲(chǔ)要命名,這種命名要反映信息特征的組成含義。數(shù)據(jù)流反映了系統(tǒng)中流動(dòng)的數(shù)據(jù),表現(xiàn)出動(dòng)態(tài)數(shù)據(jù)的特征;數(shù)據(jù)存儲(chǔ)反映系統(tǒng)中靜止的數(shù)據(jù),表現(xiàn)出靜態(tài)數(shù)據(jù)的特征,解釋來源于百度百科。
民工哥用一句話總結(jié):數(shù)據(jù)存儲(chǔ)就是將一定量的數(shù)據(jù)通過不同的存儲(chǔ)架構(gòu)存儲(chǔ)到不同的存儲(chǔ)介質(zhì)當(dāng)中
存儲(chǔ)介質(zhì)介紹
磁盤和磁帶都是常用的存儲(chǔ)介質(zhì)
磁盤又分機(jī)械式磁盤、SSD等類型
數(shù)據(jù)存儲(chǔ)組織方式因存儲(chǔ)介質(zhì)而異。在磁帶上數(shù)據(jù)僅按順序文件方式存??;在磁盤上則可按使用要求采用順序存取或直接存取方式。數(shù)據(jù)存儲(chǔ)方式與數(shù)據(jù)文件組織密切相關(guān),其關(guān)鍵在于建立記錄的邏輯與物理順序間對(duì)應(yīng)關(guān)系,確定存儲(chǔ)地址,以提高數(shù)據(jù)存取速度。
存儲(chǔ)方式
DAS直接附加存儲(chǔ)方式
就與普通的PC機(jī)存儲(chǔ)一樣,將外部的存儲(chǔ)設(shè)備直接加在服務(wù)器內(nèi)部來存儲(chǔ)數(shù)據(jù)
這種存儲(chǔ)方式,比較適用于小型網(wǎng)絡(luò)結(jié)構(gòu),數(shù)據(jù)量小,對(duì)數(shù)據(jù)的傳輸與讀取速度要求不高的場(chǎng)景下
NAS網(wǎng)絡(luò)存儲(chǔ)方式
它是采用獨(dú)立于應(yīng)用服務(wù)器,單獨(dú)為網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)而開發(fā)的一種文件服務(wù)來連接所有的存儲(chǔ)設(shè)備,通過這種方式來存儲(chǔ)數(shù)據(jù),可單獨(dú)為所有應(yīng)用服務(wù)共享使用
這種存儲(chǔ)方式安裝布署比較簡(jiǎn)單,可以即插即用,而且不依賴于操作系統(tǒng),缺點(diǎn)就是存儲(chǔ)的性能不太好
SAN存儲(chǔ)方式
這種存儲(chǔ)方式是1991年IBM公司推出的,基于光纖介質(zhì)的一種存儲(chǔ)方式,它的組成如下:
1)存儲(chǔ)和備份設(shè)備:包括磁帶、磁盤和光盤庫等。
2)光纖通道網(wǎng)絡(luò)連接部件:包括主機(jī)總線適配卡、驅(qū)動(dòng)程序、光纜、集線器、交換機(jī)、光纖通道和SCSI間的橋接器
3)應(yīng)用和管理軟件:包括備份軟件、存儲(chǔ)資源管理軟件和存儲(chǔ)設(shè)備管理軟件。
磁盤陣列系統(tǒng)介紹
由于數(shù)據(jù)存儲(chǔ)量的增長(zhǎng),單塊磁盤設(shè)備不能滿足正常的存儲(chǔ)量需求了,因此引入了磁盤陣列系統(tǒng)這個(gè)概念,常用的磁盤陣列有以下幾個(gè)
RAID 0
RAID0是所有磁盤陣列中讀寫性能最好,也是最簡(jiǎn)單的實(shí)現(xiàn)方式
但它缺點(diǎn)是沒有數(shù)據(jù)冗余及恢復(fù)機(jī)制,它至少需要兩塊盤進(jìn)行組建,從而將兩塊磁盤的空量疊加在一起,形成一個(gè)新的大的存儲(chǔ)容量磁盤,由于它的缺點(diǎn),當(dāng)其中一塊磁盤損壞,就會(huì)造成數(shù)據(jù)丟失無法恢復(fù),這種陣列可以存儲(chǔ)一些大量的日志數(shù)據(jù)
RAID 1
RAID 1它被稱為鏡像陣列,因此結(jié)構(gòu)中的磁盤是互為鏡像互備的
此結(jié)構(gòu)最少需要兩塊盤組成,當(dāng)一塊磁盤損壞可以即時(shí)恢復(fù)數(shù)據(jù),它的讀取性能比較好,存儲(chǔ)的性能較差,因?yàn)橥环輸?shù)據(jù)需要寫入到兩塊磁盤中
RAID 10 01
RAID10需要四塊盤進(jìn)行組建,理論上兩塊盤也可以,不過沒有任何實(shí)際可用的意義
這類結(jié)構(gòu)要求最好磁盤的容量最好一致,否則整個(gè)陣列只能識(shí)別最小容量的磁盤設(shè)備,它是獨(dú)立工作的兩組RAID1,然后再組成RAID0這樣的陣列結(jié)構(gòu)
RAID01(或稱之為RAID0+1)
它的結(jié)構(gòu)是先將磁盤組成RAID0,然后再組成多個(gè)獨(dú)立的RAID1
RAID5
這種結(jié)構(gòu)至少需要三塊磁盤組成
它是基于基偶校驗(yàn)的原理,它的算法核心是XOR,可以允許損壞一塊磁盤,然后通過這種XOR算法,能很快的完成數(shù)據(jù)的恢復(fù)。
更多精彩內(nèi)容歡迎點(diǎn)擊==>>電子技術(shù)應(yīng)用-AET<<