據(jù)IDC數(shù)據(jù)顯示,2022年中國(guó)液冷服務(wù)器市場(chǎng)規(guī)模為10.1億美元,滲透率在10%左右;而到了2027年,中國(guó)液冷服務(wù)器市場(chǎng)規(guī)模將達(dá)到89億美元,2022年-2027年復(fù)合增長(zhǎng)率為55%。當(dāng)前,浸沒(méi)式液冷雖然不如冷板式液冷發(fā)展快,但從長(zhǎng)遠(yuǎn)角度出發(fā),隨著單機(jī)柜功率越來(lái)越大,單機(jī)柜突破100KW已經(jīng)“近在眼前”,當(dāng)單機(jī)柜超過(guò)80KW,達(dá)到100KW甚至更大時(shí),浸沒(méi)式液冷的優(yōu)勢(shì)就顯現(xiàn)出來(lái)了。
2023年,在以AI大模型為代表的新一代數(shù)字技術(shù)應(yīng)用不斷涌現(xiàn)的背景下,各行業(yè)對(duì)算力的需求與日俱增。同時(shí),作為算力底層支撐的數(shù)據(jù)中心也趁勢(shì)逐步向智算中心演進(jìn),數(shù)據(jù)中心行業(yè)可以說(shuō)又一次迎來(lái)革新。
而在數(shù)據(jù)中心向著智算發(fā)展的過(guò)程中,隨著機(jī)柜功率越來(lái)越大,對(duì)數(shù)據(jù)中心暖通也提出了更高的要求,傳統(tǒng)的散熱模式已經(jīng)沒(méi)辦法解決CPU\GPU的散熱問(wèn)題,數(shù)據(jù)中心暖通系統(tǒng)也步入了革新的時(shí)代。
液冷也正成為未來(lái)數(shù)據(jù)中心供冷“標(biāo)配”,市場(chǎng)熱度逐步增加。據(jù)IDC數(shù)據(jù)顯示,2022年中國(guó)液冷服務(wù)器市場(chǎng)規(guī)模為10.1億美元,滲透率在10%左右;而到了2027年,中國(guó)液冷服務(wù)器市場(chǎng)規(guī)模將達(dá)到89億美元,2022年-2027年復(fù)合增長(zhǎng)率為55%。
傳統(tǒng)散熱模式失效
2023年10月份,六部委聯(lián)合印發(fā)的《算力基礎(chǔ)設(shè)施高質(zhì)量行動(dòng)計(jì)劃》中明確,到2025年,算力規(guī)模要超過(guò)300EFLOPS,智能算力占比達(dá)到35%以上,重點(diǎn)行業(yè)的核心數(shù)據(jù)、重要數(shù)據(jù)的災(zāi)備覆蓋率要達(dá)到百分之百,每個(gè)重點(diǎn)領(lǐng)域要打造30個(gè)應(yīng)用標(biāo)桿等。
據(jù)統(tǒng)計(jì),截至2023年上半年,全國(guó)在用的數(shù)據(jù)中心總規(guī)模超過(guò)760萬(wàn)標(biāo)準(zhǔn)機(jī)架,算力總規(guī)模達(dá)到了197EFLOPS,已經(jīng)位居全球第二。新增的算力設(shè)施中,智能算力的占比超過(guò)了50%,成為了增長(zhǎng)的新熱點(diǎn)。
顯然,未來(lái)智算中心將成為數(shù)據(jù)中心行業(yè)的“主力軍”,而數(shù)據(jù)中心也必將從原先的“存儲(chǔ)中心”向著“計(jì)算中心”轉(zhuǎn)變,中國(guó)信息通信研究院云計(jì)算與大數(shù)據(jù)研究所所長(zhǎng)何寶宏曾表示,現(xiàn)階段,數(shù)據(jù)中心的核心使命是算力的供給,而不再是存儲(chǔ)能力的供給。
在這個(gè)轉(zhuǎn)變的過(guò)程中,隨著越來(lái)越多以GPU為核心的智算中心的落地,數(shù)據(jù)中心的能耗,以及產(chǎn)生的熱量也必將越來(lái)越多。據(jù)不完全統(tǒng)計(jì),以Intel、英偉達(dá)等主要芯片制造商的產(chǎn)品為例,目前主流系列處理器功耗已達(dá)350~400TDP/W。這還僅是CPU的功耗,而GPU的功耗遠(yuǎn)遠(yuǎn)高于CPU,以英偉達(dá)H800為例,其功率密度可達(dá)700TDP/W。并且,隨著摩爾定律逐漸失效,在后摩爾定律時(shí)代下,芯片算力與其功耗仍將大幅提升。
與此同時(shí),數(shù)據(jù)中心作為高載能行業(yè)的屬性,在“雙碳”戰(zhàn)略的引導(dǎo)下,推進(jìn)節(jié)能減排,降低PUE(Power Usage Effectiveness,電源使用效率),實(shí)現(xiàn)碳中和,也是必須之舉。
據(jù)科智咨詢測(cè)算,以運(yùn)行PUE為1.57的數(shù)據(jù)中心為例,IT設(shè)備能耗占比達(dá)63.7%,為數(shù)據(jù)中心最大,其次就是制冷系統(tǒng)能耗,占比可達(dá)27.9%?,F(xiàn)階段,隨著數(shù)據(jù)中心的計(jì)算能力和功率密度不斷增加,傳統(tǒng)的風(fēng)冷技術(shù)已逐漸無(wú)法滿足高效散熱的需求。
數(shù)據(jù)中心采用傳統(tǒng)風(fēng)冷技術(shù)散熱上限一般為單機(jī)柜20KW,在高密度部署流行的當(dāng)下,單機(jī)柜功率也逐步攀升,萬(wàn)國(guó)數(shù)據(jù)中國(guó)區(qū)聯(lián)席總裁梁艷曾表示,現(xiàn)階段,國(guó)內(nèi)很多大廠單機(jī)柜密度已達(dá)到70~100KW。顯然,傳統(tǒng)風(fēng)冷已經(jīng)難以滿足高密度部署的需求。
無(wú)獨(dú)有偶,科華數(shù)據(jù)數(shù)通高級(jí)副總裁、數(shù)據(jù)中心業(yè)務(wù)總經(jīng)理鄒建忠也曾對(duì)鈦媒體表示,當(dāng)下數(shù)據(jù)中心單機(jī)柜功率越來(lái)越大,傳統(tǒng)的散熱模式已經(jīng)沒(méi)辦法解決CPU\GPU的散熱問(wèn)題。
寧暢信息產(chǎn)業(yè)有限公司總裁秦曉寧也曾公開(kāi)表示,在大模型快速發(fā)展的當(dāng)下,用戶側(cè)機(jī)柜的功率越來(lái)越高,與之相對(duì)應(yīng)的,對(duì)機(jī)柜散熱的要求也越來(lái)越大?!芭c此同時(shí),在‘雙碳’目標(biāo)的引導(dǎo)下,傳統(tǒng)風(fēng)冷顯然已經(jīng)不足以滿足數(shù)據(jù)中心PUE要求,液冷已經(jīng)成為數(shù)據(jù)中心必選項(xiàng)?!鼻貢詫帍?qiáng)調(diào)。
在此背景下,數(shù)據(jù)中心亟需暖通技術(shù)亟需革新,需要一項(xiàng)新的制冷技術(shù)幫助數(shù)據(jù)中心在滿足用戶對(duì)算力與日俱增的需求的同時(shí),有序推進(jìn)數(shù)據(jù)中心實(shí)現(xiàn)碳中和。
液冷技術(shù)作為一種新興的散熱解決方案,在數(shù)據(jù)中心領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛力。據(jù)了解,僅采用傳統(tǒng)風(fēng)冷技術(shù)的數(shù)據(jù)中心PUE極限值為1.25,而采用液冷技術(shù)后,數(shù)據(jù)中心PUE值可低于1.1。
“長(zhǎng)線”浸沒(méi)式,“短線”冷板式.....液冷布局逐漸清晰
液冷在數(shù)據(jù)中心行業(yè)的發(fā)展并不是新鮮事,自從“雙碳”提出以后,液冷相關(guān)技術(shù)就得到了數(shù)據(jù)中心行業(yè)的高度關(guān)注,但在2023年,隨著對(duì)算力需求的激增,機(jī)柜功率的進(jìn)一步提升,以及液冷產(chǎn)業(yè)不斷成熟,液冷技術(shù)才真正開(kāi)始在數(shù)據(jù)中心行業(yè)切實(shí)落地。
根據(jù)IDC發(fā)布的《中國(guó)半年度液冷服務(wù)器市場(chǎng)(2023上半年)跟蹤》報(bào)告,中國(guó)液冷服務(wù)器市場(chǎng)在2023年仍將保持快速增長(zhǎng)。2023上半年中國(guó)液冷服務(wù)器市場(chǎng)規(guī)模達(dá)到6.6億美元,同比增長(zhǎng)283.3%,預(yù)計(jì)2023年全年將達(dá)到15.1億美元。浪潮信息數(shù)據(jù)中心產(chǎn)品部副總經(jīng)理李金波表示,據(jù)測(cè)算,到2025年中國(guó)液冷數(shù)據(jù)中心市場(chǎng)滲透率將超20%。
快速增長(zhǎng)的液冷為數(shù)據(jù)中心提供了更可靠、更低碳的供冷方式的同時(shí),由于液冷技術(shù)的細(xì)分供冷方式,也帶來(lái)行業(yè)內(nèi)關(guān)于哪種液冷技術(shù)更適合數(shù)據(jù)中心應(yīng)用的討論。
據(jù)了解,液冷技術(shù)應(yīng)用于數(shù)據(jù)中心中主要有三種,即:冷板式液冷、浸沒(méi)式液冷和噴淋式液冷。其中,浸沒(méi)式液冷又分為單相浸沒(méi)式和相變浸沒(méi)式兩種;冷板式液冷又按照不同場(chǎng)景可分為芯片級(jí)、機(jī)柜級(jí)等。
以目前包括浪潮信息、寧暢、阿里云、曙光等中國(guó)液冷行業(yè)頭部玩家的布局,以及數(shù)據(jù)中心應(yīng)用情況來(lái)看,冷板式液冷與浸沒(méi)式液冷屬于未來(lái)比較可行的液冷路徑。
其中,冷板式液冷是在熱源上覆一塊水冷板,完全阻隔了冷卻液與電子器件之間的直接接觸。使用泵和管道將冷卻液送至與電子部件接觸的冷板上來(lái)傳遞熱量,通過(guò)液體流動(dòng)把熱量帶走。
冷板主要覆蓋CPU、GPU、DIMM等核心發(fā)熱部件,即“把錢花在刀刃上”,對(duì)于其他部分的散熱,冷板式液冷通常需要風(fēng)冷精密空調(diào)來(lái)輔助冷卻,也因此,相比于將服務(wù)器全部浸泡在冷卻液中來(lái)散熱的浸沒(méi)式液冷,冷板式液冷的PUE會(huì)較高。據(jù)IDC數(shù)據(jù)顯示,2023上半年,中國(guó)液冷服務(wù)器市場(chǎng)中,冷板式占比達(dá)90%。
與冷板式液冷不同,浸沒(méi)式液冷則是醬IT硬件設(shè)備直接浸入充滿絕緣性冷卻液(目前比較常見(jiàn)的是氟化液)的密閉容器中,電子組件產(chǎn)生的熱量直接傳導(dǎo)至氟化液。
單相浸沒(méi)式液冷系統(tǒng)的浸沒(méi)機(jī)柜設(shè)計(jì)更為簡(jiǎn)單,氟化液更易操作、維護(hù)。與相變浸沒(méi)式液冷相比,單相浸沒(méi)式液冷在材料兼容性和循環(huán)中污染物上的隱患也更少。
相變浸沒(méi)式液冷系統(tǒng)則是通過(guò)沸騰過(guò)程(通過(guò)液相到氣相的變化),實(shí)現(xiàn)更高的傳熱效率,從而實(shí)現(xiàn)更大的功率密度(高達(dá)250至500千瓦/浸沒(méi)腔)。此外,支持相變浸沒(méi)式液冷所需的冷卻基礎(chǔ)設(shè)施通常膠簡(jiǎn)單,如果使用干式冷卻器作為一次側(cè)冷卻,無(wú)需冷卻水塔等蒸發(fā)降溫設(shè)施。
以鈦媒體對(duì)于目前業(yè)內(nèi)從業(yè)者的調(diào)查顯示,因?yàn)榭梢詫?shí)現(xiàn)更高的傳熱效率,以及支持更大功率密度的機(jī)柜,相變浸沒(méi)式液冷相較于單相浸沒(méi)式液冷更受“歡迎”。
在冷板式與浸沒(méi)式之間,目前行業(yè)對(duì)冷板式液冷的接受度更高。李金波對(duì)鈦媒體表示,相比于浸沒(méi)式液冷,冷板式液冷在對(duì)數(shù)據(jù)中心與服務(wù)器架構(gòu)的改造程度、產(chǎn)業(yè)鏈成熟度、部件更換運(yùn)維便捷性、初期投資等方面均有顯著優(yōu)勢(shì)。
鄒建忠也曾對(duì)鈦媒體表示,從投資收益角度來(lái)看,浸沒(méi)式液冷前期投資太高,投資收益不如冷板式液冷。不過(guò),在他看來(lái),如果是新建機(jī)房,且機(jī)柜功率特別大的情況,更適合部署浸沒(méi)式液冷。
從現(xiàn)階段技術(shù)和應(yīng)用角度出發(fā),浸沒(méi)式液冷對(duì)元器件及運(yùn)維的要求更高,寧暢信息產(chǎn)業(yè)有限公司副總裁兼首席技術(shù)官趙雷對(duì)鈦媒體表示,浸沒(méi)式液冷需要考慮的因素相較于冷板式液冷更多,“用戶主要需要考慮冷卻液與元器件的兼容性、可靠性,以及后期運(yùn)維難度等問(wèn)題,”趙雷如是說(shuō),“除此之外,元器件長(zhǎng)期浸泡在冷卻液中,對(duì)元器件的‘耐久度’也是個(gè)不小的考驗(yàn)?!?/p>
確實(shí),鈦媒體通過(guò)調(diào)研包括IDC服務(wù)商、液冷技術(shù)供應(yīng)商,以及部分行業(yè)用戶等在內(nèi)的眾多從業(yè)人員,總結(jié)出:
從短期角度出發(fā),冷板式液冷比較適合數(shù)據(jù)中心大規(guī)模應(yīng)用。冷板式液冷相較于浸沒(méi)式液冷,因其定制化程度低、產(chǎn)業(yè)鏈較成熟、運(yùn)維難度低等特點(diǎn),比較符合當(dāng)下數(shù)據(jù)中心從傳統(tǒng)風(fēng)冷向液冷的過(guò)渡;
從長(zhǎng)期角度出發(fā),浸沒(méi)式液冷更符合數(shù)據(jù)中心長(zhǎng)期發(fā)展。浸沒(méi)式液冷因其導(dǎo)熱效果更好、余熱更便于回收、支持機(jī)柜功率更大等特點(diǎn),從長(zhǎng)遠(yuǎn)角度上看,隨著對(duì)單機(jī)柜功率需求的不斷增加,浸沒(méi)式液冷更適合未來(lái)數(shù)據(jù)中心的供冷。
IDC服務(wù)商、液冷技術(shù)供應(yīng)商.....多方布局
雖然液冷在數(shù)據(jù)中心中的應(yīng)用是去年才開(kāi)始入雨后春筍般不斷涌現(xiàn)的,但“竹根深埋春土中,破土而出春筍蓬”,液冷技術(shù)也正是經(jīng)過(guò)多年來(lái)產(chǎn)業(yè)上下游的共同努力,才得以在數(shù)據(jù)中心應(yīng)用落地的。
立足國(guó)內(nèi)液冷產(chǎn)業(yè),目前比較領(lǐng)先的技術(shù)供應(yīng)商主要有浪潮信息、寧暢、曙光等企業(yè)。這其中,早在2022年初,浪潮信息就提出“All in液冷”的戰(zhàn)略。
據(jù)鈦媒體從浪潮信息了解的最新消息顯示,浪潮信息聯(lián)合英特爾創(chuàng)新研發(fā)的全液冷冷板技術(shù)方案,實(shí)現(xiàn)了100%液冷散熱,PUE可降至1.08,并通過(guò)去空調(diào)化實(shí)現(xiàn)系統(tǒng)極簡(jiǎn),節(jié)省數(shù)據(jù)中心30%以上的空間,進(jìn)一步實(shí)現(xiàn)高密部署,進(jìn)一步推動(dòng)數(shù)據(jù)中心高能效、高密度綠色發(fā)展。
另一方面,同樣作為數(shù)據(jù)中心液冷解決方案頭部玩家的寧暢也于2023年底推出了全新的B8000液冷整機(jī)柜服務(wù)器。據(jù)寧暢公開(kāi)信息顯示,寧暢B8000液冷整機(jī)柜服務(wù)器節(jié)點(diǎn)內(nèi)液冷覆蓋率超過(guò)90%,PUE可低至1.09,在業(yè)內(nèi)冷板液冷PUE 1.2的平均水平下。
與此同時(shí),在液冷服務(wù)器出貨量方面,浪潮、超聚變與寧暢也是國(guó)內(nèi)大多數(shù)客戶選擇液冷服務(wù)器時(shí)的優(yōu)先考慮目標(biāo),據(jù)IDC發(fā)布的《中國(guó)半年度液冷服務(wù)器市場(chǎng)(2023上半年)跟蹤》報(bào)告數(shù)據(jù)顯示,2023上半年市場(chǎng)占比前三的廠商分別是浪潮信息、寧暢和超聚變,共占據(jù)了七成左右的市場(chǎng)份額。
值得注意的是,除了液冷服務(wù)器與技術(shù)供應(yīng)商層面出現(xiàn)“神仙打架”局面之外,目前還有諸如云酷智能、英維克、申菱環(huán)境等眾多提供包括接頭、電磁閥、機(jī)柜、CDU、manifold等在內(nèi)的液冷基礎(chǔ)設(shè)施服務(wù)商。
而液冷數(shù)據(jù)中心可觀的發(fā)展前景也吸引了諸如美的、海爾等在內(nèi)的眾多傳統(tǒng)風(fēng)冷、水冷等數(shù)據(jù)中心暖通解決方案供應(yīng)商的入局,可以說(shuō),當(dāng)下數(shù)據(jù)中心液冷已呈現(xiàn)出“百舸爭(zhēng)鳴”的現(xiàn)狀。
IDC服務(wù)商方面,以IDC頭部玩家世紀(jì)互聯(lián)為例,據(jù)世紀(jì)互聯(lián)相關(guān)負(fù)責(zé)人對(duì)鈦媒體表示,世紀(jì)互聯(lián)太倉(cāng)基地是目前國(guó)內(nèi)最大的冷板式液冷數(shù)據(jù)中心集群。據(jù)了解,太倉(cāng)基地已交付獨(dú)立110kV及220kV變電站,總體規(guī)劃電力容量不低于880MVA,總IT容量可達(dá)300MW+,總算力不小于1780PFLOPS。
該項(xiàng)目采用業(yè)內(nèi)首個(gè)第三代全新架構(gòu)的風(fēng)、液組合冷卻技術(shù)解決方案,整體解決方案由多個(gè)世紀(jì)互聯(lián)自研的冷卻系統(tǒng)有機(jī)組成,是同類型數(shù)據(jù)中心冷卻技術(shù)應(yīng)用的重大突破,有效降低了數(shù)據(jù)中心的PUE,處于同地域行業(yè)領(lǐng)先水平,極大提高數(shù)據(jù)中心運(yùn)營(yíng)效率,并節(jié)約全生命周期TCO。
除此之外,諸如萬(wàn)國(guó)數(shù)據(jù)、科華數(shù)據(jù)等第三方IDC廠商也都在嘗試液冷在數(shù)據(jù)中心中的應(yīng)用,也都已經(jīng)有較成熟應(yīng)用案例落地。
從目前應(yīng)用情況來(lái)看,應(yīng)用液冷的數(shù)據(jù)中心大多數(shù)采用冷板式液冷與風(fēng)冷機(jī)組混合部署的方式進(jìn)行建設(shè)。這種部署形式主要在機(jī)房?jī)?nèi)以機(jī)房微模塊的形式呈現(xiàn),可以實(shí)現(xiàn)液冷、風(fēng)冷以及風(fēng)液混合的靈活部署。混合部署的模式可以最大限度地利用原有的風(fēng)冷資源,避免在液冷數(shù)據(jù)中心改造過(guò)程中造成資源浪費(fèi)。
顯然,液冷已經(jīng)成為未來(lái)數(shù)據(jù)中心綠色化過(guò)程中不可或缺的一環(huán)。IDC數(shù)據(jù)顯示,2022年中國(guó)液冷服務(wù)器市場(chǎng)規(guī)模為10.1億美元,滲透率在10%左右;而到了2027年,中國(guó)液冷服務(wù)器市場(chǎng)規(guī)模將達(dá)到89億美元,2022年-2027年復(fù)合增長(zhǎng)率為55%。而今年也將會(huì)有越來(lái)越多的液冷數(shù)據(jù)中心落地。
展望未來(lái),冷板式液冷的“液冷”呈現(xiàn)出離芯片越來(lái)越近的趨勢(shì),最理想的狀態(tài)將是芯片級(jí)液冷+機(jī)柜級(jí)液冷的組合形式;浸沒(méi)式液冷雖然目前不如冷板式液冷發(fā)展快,但從長(zhǎng)遠(yuǎn)角度出發(fā),隨著單機(jī)柜功率越來(lái)越大,單機(jī)柜突破100KW已經(jīng)“近在眼前”,當(dāng)單機(jī)柜超過(guò)80KW,達(dá)到100KW甚至更大時(shí),浸沒(méi)式液冷的優(yōu)勢(shì)就顯現(xiàn)出來(lái)了。
伴隨新的算力供給需求,數(shù)據(jù)中心已經(jīng)邁入液冷時(shí)代。在市場(chǎng)火熱的追逐下,技術(shù)落地的具體挑戰(zhàn)也有望加速解決,比如安全性、硬件成本、運(yùn)維難度……冷板式液冷是當(dāng)下數(shù)據(jù)中心有效降低PUE的手段,同時(shí)其兼容性更強(qiáng)、定制化程度更低;浸沒(méi)式液冷在未來(lái)發(fā)展空間更大,市場(chǎng)增長(zhǎng)空間也更大。