2024 年 7 月 22 日凌晨，xAI 創(chuàng)始人 Elon Musk 在推特上正式宣布，在凌晨 4:20 分正式啟動(dòng)了世界上最強(qiáng)的 AI 訓(xùn)練集群。

這個(gè)訓(xùn)練集群建設(shè)在美國(guó)田納西州孟菲斯市，集合了 10 萬(wàn)個(gè)液冷 H100 芯片。

然而，這在當(dāng)?shù)貐s引發(fā)了居民們的抗議和不滿。

這樣巨大的 AI 訓(xùn)練集群每天會(huì)消耗 100 萬(wàn)加侖的水和 150 兆瓦的電力，因此也是引發(fā)了當(dāng)?shù)丨h(huán)保人士的擔(dān)心和抗議。

隨著萬(wàn)卡集群，甚至十萬(wàn)卡集群成為科技巨頭們訓(xùn)練 AI 大模型的標(biāo)配，這樣的巨型數(shù)據(jù)中心到底意味著什么？

消耗電力好理解，那為什么會(huì)消耗如此多的水呢？冷卻系統(tǒng)與供電系統(tǒng)等關(guān)鍵基礎(chǔ)設(shè)施是如何運(yùn)作的？目前數(shù)據(jù)中心的主計(jì)算芯片開(kāi)始從 CPU 轉(zhuǎn)向 GPU，這會(huì)帶來(lái)如何的變革？

可能大家對(duì) CPU、GPU 這類計(jì)算芯片了解較多，卻很少會(huì)關(guān)注配套的基礎(chǔ)設(shè)施。

但事實(shí)上，它們就像冰山藏在水下的部分一樣，不僅是整個(gè)數(shù)據(jù)中心的支柱，還是至關(guān)重要的安全樞紐。

  我們來(lái)揭秘一下萬(wàn)卡集群的數(shù)據(jù)中心到底是如何運(yùn)作的，也非常榮幸邀請(qǐng)了專注于數(shù)據(jù)中心基礎(chǔ)設(shè)施的公司維諦技術(shù)的多位專家一起來(lái)探討，AI 爆發(fā)給數(shù)據(jù)中心的基礎(chǔ)設(shè)施帶來(lái)的挑戰(zhàn)與機(jī)遇。

01 AI 時(shí)代數(shù)據(jù)中心面臨的挑戰(zhàn)

首先，我們先簡(jiǎn)單了解下，數(shù)據(jù)中心的組成結(jié)構(gòu)。

從物理結(jié)構(gòu)上來(lái)看，數(shù)據(jù)中心會(huì)劃分成三個(gè)系統(tǒng)，主機(jī)房、供電系統(tǒng)和冷卻系統(tǒng)。

如果咱們把數(shù)據(jù)中心類比成一支軍隊(duì)，你看這主機(jī)房陳列的一排排機(jī)柜，像不像前線征戰(zhàn)的士兵，它們承擔(dān)著整個(gè)數(shù)據(jù)中心的核心功能——運(yùn)算。

而冷卻與供電系統(tǒng)則是軍隊(duì)后方的保障機(jī)構(gòu)。冷卻系統(tǒng)負(fù)責(zé)保障士兵的健康與安全，供電系統(tǒng)負(fù)責(zé)糧草的運(yùn)送與分配。

此外還有綜合管理系統(tǒng)來(lái)維護(hù)兵器等等，它們就像數(shù)據(jù)中心的 " 兵部尚書 "，雖然不在一線征戰(zhàn)，卻起到了關(guān)鍵作用。

如今一些數(shù)據(jù)中心開(kāi)始由通用計(jì)算轉(zhuǎn)向?qū)Ｓ糜?jì)算，其中以 AI 為主的數(shù)據(jù)中心被稱為 " 智算數(shù)據(jù)中心 "，主力芯片從 CPU 變成了 GPU，這也將對(duì)所有基礎(chǔ)設(shè)施帶來(lái)巨大的挑戰(zhàn)。

顧華

維諦技術(shù)市場(chǎng)營(yíng)銷與產(chǎn)品應(yīng)用高級(jí)總監(jiān)：

因?yàn)閭鹘y(tǒng)的 CPU 其實(shí)過(guò)去十多年的時(shí)間一直在采用的 X86 的結(jié)構(gòu)，它 CPU 的功耗，包括服務(wù)器的功耗都相對(duì)比較標(biāo)準(zhǔn)和恒定，所以我們?cè)谶^(guò)去的近十多年的時(shí)間，看到數(shù)據(jù)中心的平均的機(jī)柜的功率密度，大概一直在 3~5 千瓦左右。

但是現(xiàn)在隨著 GPU 的采用，AI 模型的推理和訓(xùn)練，需要集中大量的 GPU 來(lái)進(jìn)行并行的浮點(diǎn)運(yùn)算，需要通過(guò)集群的方式，通過(guò)軟件互聯(lián)通信在非常小的空間里面集中大量的 GPU。

這使得 GPU 的服務(wù)器，包括單機(jī)柜的功率密度會(huì)迅速的提高。所以我們也看到機(jī)柜的功率密度從過(guò)去的 5 千瓦，現(xiàn)在迅速的提升到了 10 千瓦、 20 千瓦、 40 千瓦，甚至 80 千瓦、100 千瓦以上。

智算機(jī)柜功率密度的提升對(duì)基礎(chǔ)設(shè)施來(lái)說(shuō)，我覺(jué)得主要有四大方面的挑戰(zhàn)。

首先是給散熱能力帶來(lái)的挑戰(zhàn)，第二個(gè)方面是給高效的能源供應(yīng)帶來(lái)的挑戰(zhàn)，第三個(gè)是占地面積，第四是快速的部署。

所以，GPU 芯片的迅速更新迭代給數(shù)據(jù)中心配套設(shè)施帶來(lái)了這四大挑戰(zhàn)。如何應(yīng)對(duì)這四個(gè)問(wèn)題，我們先來(lái)看看冷卻系統(tǒng)，為什么它會(huì)如此耗水？

02 冷卻系統(tǒng)

Chapter 2.1 冷卻系統(tǒng)的重要性

電子器件運(yùn)行時(shí)會(huì)產(chǎn)生熱量，而芯片對(duì)熱量尤其敏感，如果過(guò)熱，輕則觸發(fā)芯片的自我保護(hù)機(jī)制，降低運(yùn)行頻率，重則導(dǎo)致服務(wù)器故障，業(yè)務(wù)中斷，甚至燒毀硬件。

隨著數(shù)據(jù)中心的功率密度越來(lái)越高，這時(shí)如果冷卻系統(tǒng)發(fā)生故障，留給維護(hù)人員的反應(yīng)時(shí)間，可能只有一兩分鐘。

王超

維諦技術(shù)熱管理解決方案部高級(jí)經(jīng)理：

如果單機(jī)柜到了 10 千瓦，按照我們過(guò)去的仿真經(jīng)驗(yàn)，可能很快，一兩分鐘，（環(huán)境）就能到 30 多度甚至 40 度，那就宕機(jī)了。

因此，芯片算力的升級(jí)也直接帶來(lái)了對(duì)數(shù)據(jù)中心冷卻系統(tǒng)的升級(jí)需求。我們?cè)凇稉岆?、圈地、?duì)賭，深聊科技巨頭的千億美元 AI 能源大戰(zhàn)》那期文章里也講過(guò)，隨著功率密度的提升，廠商們開(kāi)始轉(zhuǎn)向液冷方案。

而恰恰是這個(gè)液冷，導(dǎo)致了不少環(huán)保人士抵制。

除了開(kāi)頭說(shuō)的 xAI 訓(xùn)練集群外，2023 年烏拉圭民眾也聯(lián)合抗議谷歌建設(shè)數(shù)據(jù)中心，還有新墨西哥州的農(nóng)民抗議 Meta 數(shù)據(jù)中心遷入。

大家抵制的原因之一就是，這些數(shù)據(jù)中心耗水太多，甚至加劇了當(dāng)?shù)氐母珊登闆r。

那為什么液冷會(huì)消耗如此多的水呢？

Chapter 2.2 液冷為何如此耗水

在回答這個(gè)問(wèn)題前，我們需要簡(jiǎn)單科普下冷卻系統(tǒng)的結(jié)構(gòu)。目前冷卻系統(tǒng)主要分為兩個(gè)大類，風(fēng)冷與液冷。

我們先來(lái)聊聊風(fēng)冷。如果你進(jìn)入過(guò)數(shù)據(jù)中心，那第一感覺(jué)應(yīng)該是：太吵了！這個(gè)噪音就來(lái)自于機(jī)柜中用于給芯片降溫的風(fēng)扇。

風(fēng)扇的作用是將芯片的熱量散發(fā)到空氣中，但如果熱量全部堆積在空氣中，也會(huì)降低散熱效果，所以還需要空調(diào)對(duì)空氣降溫。

空調(diào)也分為很多種，我們這里就不一一舉例了。

顯而易見(jiàn)的是，空氣的熱交換效率較低，在功率密度不斷提升下，必須采用效率更高的散熱介質(zhì)，那就是液體。

液冷散熱的原理就是通過(guò)水的蒸發(fā)潛熱帶走芯片的熱量，液冷散熱也分為很多種，目前全球主流的兩類是冷板液冷和浸沒(méi)液冷。

當(dāng)然在國(guó)內(nèi)還有一種是噴淋液冷技術(shù)。噴淋也是一個(gè)比較創(chuàng)新的技術(shù)，但這個(gè)技術(shù)目前還是受到了一定的限制，所以不是很多。

冷板液冷是讓冷板與芯片緊密貼合，讓芯片熱量傳導(dǎo)至冷板中的冷卻液，并將冷卻液中的熱量運(yùn)輸至后端冷卻。

而浸沒(méi)液冷是將整個(gè)主板都浸沒(méi)在特定液體中，但對(duì)于目前主流的 GPU 設(shè)備來(lái)說(shuō)，浸沒(méi)液冷卻不太適用。

維諦技術(shù)熱管理解決方案部高級(jí)經(jīng)理：?

因?yàn)樗?GPU 它都是還是按照冷板液冷這種規(guī)格來(lái)開(kāi)發(fā)的，所以不太適配浸沒(méi)。

冷卻系統(tǒng)會(huì)分為一次側(cè)和二次側(cè)，一次側(cè)是將整體熱量散走，并與二次側(cè)的冷卻分發(fā)單元（Cooling Distribution Units，簡(jiǎn)稱 CDU）來(lái)交換熱量。

通常提到的液冷散熱，都是指二次側(cè)，由 CDU 將冷水分配到各個(gè)機(jī)柜中。而當(dāng)前的液冷散熱系統(tǒng)一次側(cè)大部分也是水冷方式，最終在室外通過(guò)水的顯熱交換和潛熱交換帶走全部熱量。

顯熱交換是水在加熱或冷卻過(guò)程中，會(huì)吸收或釋放的熱量，水的狀態(tài)不變。

而潛熱交換就是水在相變過(guò)程中，如蒸發(fā)、凝結(jié)、融化、凝固時(shí)，吸收或釋放的熱量，而溫度保持不變。

就像咱們天氣熱時(shí)，如果給房間放一盆水，水溫慢慢升高，這就是顯熱交換；同時(shí)水會(huì)慢慢蒸發(fā)，這就是潛熱交換，兩種交換共同進(jìn)行，使得水盆上方的空氣溫度降低。

前面我們說(shuō)到環(huán)保人士抵制 AI 數(shù)據(jù)中心，就是因?yàn)槿f(wàn)卡集群的 AI 數(shù)據(jù)中心，浪費(fèi)的水實(shí)在太多了。

這其實(shí)就回到那個(gè)規(guī)模效應(yīng)了，如果說(shuō)咱們只是建一兩個(gè)數(shù)據(jù)中心，比如就是像 20 兆瓦，或者甚至即使到 100 兆瓦都沒(méi)事。但是如果進(jìn)一步擴(kuò)大，那個(gè)耗水量是非常巨大的，可能會(huì)對(duì)當(dāng)?shù)氐牡叵滤Y源有一定的影響，可以肯定一定會(huì)存在數(shù)據(jù)中心和人搶水的這個(gè)問(wèn)題。

你可能想問(wèn)，就算水蒸發(fā)了，那不是還會(huì)變成雨降下來(lái)嗎？為什么會(huì)被稱為 " 浪費(fèi) " 呢？我們分兩個(gè)方面來(lái)說(shuō)。

首先，水蒸發(fā)后變成云，飄到哪兒降落就不好說(shuō)了，數(shù)據(jù)中心就像個(gè)抽水機(jī)，把當(dāng)?shù)氐乃樽吆笏偷搅似渌胤剑瑢?duì)于原本降雨量低的地區(qū)，加劇了干旱情況。

其次，數(shù)據(jù)中心對(duì)水的質(zhì)量要求也不低，但高質(zhì)量的水蒸發(fā)后，如果降落在污染地或海面，這些水很難再利用了。

同時(shí)，使用高質(zhì)量的水，也意味著數(shù)據(jù)中心要和居民搶水，甚至可能造成民用水不夠的情況。

那為什么一定要用高質(zhì)量的水呢？

水如果蒸發(fā)，它就會(huì)跟制冷設(shè)備的一些部件會(huì)有接觸，不管是水滴還是水霧，它到制冷設(shè)備上面，如果水質(zhì)不太好，比如酸堿度不太好，偏酸偏堿都可能會(huì)導(dǎo)致腐蝕。如果鈣鎂離子的含量比較多，就像咱們家里燒開(kāi)水一樣，那可能水垢就會(huì)附著在表面上。

一旦水垢附著在換熱設(shè)備的表面，帶來(lái)的影響就是換熱設(shè)備的效率會(huì)下降。本來(lái)我是 200 千瓦的散熱量，但是因?yàn)樗疁蠁?wèn)題，可能會(huì)導(dǎo)致它衰減到 80%，甚至更低，那帶來(lái)的就是冷量可能不夠這一類的問(wèn)題。

有報(bào)道稱，每個(gè)數(shù)據(jù)中心平均每天要消耗 100 萬(wàn)到 500 萬(wàn)加侖的水，比如開(kāi)頭提到的 xAI 萬(wàn)卡集群，每天消耗 100 萬(wàn)加侖的水，可供 3000 多戶家庭使用一天。

而 GPT-3 在訓(xùn)練期間消耗了 700 萬(wàn)噸水，后續(xù)的推理階段，每回答 20 個(gè)問(wèn)題，就相當(dāng)于倒掉了一瓶 500 毫升的礦泉水。

NPJ 的一份名為《數(shù)據(jù)中心用水調(diào)查》報(bào)告顯示，數(shù)據(jù)中心耗水來(lái)源 58% 是飲用水，這其中還存在耗水不透明度的問(wèn)題，長(zhǎng)此以往甚至?xí)斐蓺夂蝻L(fēng)險(xiǎn)。

所以也難怪 AI 數(shù)據(jù)中心會(huì)遭到抵制了。

同時(shí)，也有企業(yè)做過(guò)海底數(shù)據(jù)中心，如此一來(lái)不就解決了耗水問(wèn)題嗎？但很遺憾，這就涉及到冷卻系統(tǒng)面臨的另一大挑戰(zhàn)，經(jīng)濟(jì)賬的問(wèn)題了。

Chapter 2.3 冷卻系統(tǒng)的經(jīng)濟(jì)賬

海底數(shù)據(jù)中心就是把服務(wù)器放置在殼體內(nèi)并沉到海水里，因?yàn)楹Ｋ臏囟容^低，可以直接為殼體降溫，而且不需要額外補(bǔ)充機(jī)械能。

聽(tīng)上去是個(gè)既節(jié)能又環(huán)保的方案，但維諦的專家告訴我們，這將對(duì)技術(shù)提出更高的要求。

因?yàn)槌恋胶Ｋ镞?，整個(gè)數(shù)據(jù)中心的殼體、包括一些光纜還有電纜之類的，它都要能下海，其實(shí)提出了更高的要求。

更高的技術(shù)要求，就意味著企業(yè)需要在研發(fā)上投入更多，但長(zhǎng)期來(lái)看，這確實(shí)是一個(gè)創(chuàng)新的解決方案。

除了技術(shù)難題外，冷卻系統(tǒng)的用電也一直居高不下。有數(shù)據(jù)顯示，冷卻系統(tǒng)通常占數(shù)據(jù)中心平均電力消耗的 40%，不少巨頭都在努力降低冷卻系統(tǒng)的能源消耗，但搞不好反而會(huì)弄巧成拙。

有論文研究稱，數(shù)據(jù)中心每將送風(fēng)溫度提高 1 ° C，可以降低大約 2-5% 的制冷功率，因此數(shù)據(jù)中心開(kāi)始呈現(xiàn)把冷卻系統(tǒng)溫度從 75 ℉（約 23.9 ℃）提高到 85 ℉（約 29.4 ℃）的趨勢(shì)，連谷歌也采取了這樣的做法。

但這個(gè)做法還挺危險(xiǎn)的，這相當(dāng)于你設(shè)置的溫度，距離數(shù)據(jù)中心能承受最高溫度的緩沖區(qū)間縮窄了，反倒會(huì)導(dǎo)致系統(tǒng)性風(fēng)險(xiǎn)。

比如，2021 年，新加坡一家數(shù)據(jù)中心運(yùn)營(yíng)商為了節(jié)省冷卻成本，將溫度提高到危險(xiǎn)的臨界水平，結(jié)果導(dǎo)致數(shù)據(jù)中心服務(wù)器大面積故障，這種情況持續(xù)了近一周，真是得不償失。

同時(shí)，這篇論文也發(fā)出了警告：數(shù)據(jù)中心受到熱攻擊的原因之一，是因?yàn)椴捎昧思みM(jìn)的冷卻策略，也就是系統(tǒng)溫度設(shè)置的太高，減少了冗余度。

所以如何讓冷卻系統(tǒng)更節(jié)能，成為了 AI 時(shí)代的挑戰(zhàn)之一。

維諦技術(shù)的專家告訴我們，要降低冷卻系統(tǒng)能耗，主要分為三大方向。

現(xiàn)在從節(jié)能角度來(lái)講，其實(shí)是可以分為三大方向。一個(gè)是從風(fēng)側(cè)來(lái)做自然冷來(lái)做節(jié)能，然后另外的話就是水側(cè)自然冷，還有就是氟側(cè)自然冷。

所謂的 " 自然冷 "（Free-Cooling），是指利用室外的低溫冷源，來(lái)給室內(nèi)降溫，達(dá)到降低能耗的一種技術(shù)方法。

想象一下冬天我們悶在房間里非常熱，如果打開(kāi)窗戶讓室外的冷空氣進(jìn)入，房間就涼快了，這就是自然冷。

而風(fēng)側(cè)自然冷，就是在窗戶邊放一些風(fēng)扇向房間吹風(fēng)，加速室外冷空氣進(jìn)入。

水側(cè)自然冷和氟側(cè)自然冷，則是將導(dǎo)體替換為了水和氟。

風(fēng)側(cè)自然冷它是受地理?xiàng)l件的限制比較大，因?yàn)樗菚?huì)把新風(fēng)引到機(jī)房里來(lái)，對(duì)空氣質(zhì)量之類有一定的要求，其實(shí)就是即使做新風(fēng)也是會(huì)結(jié)合一些機(jī)械冷的。從我們來(lái)講，我們還是更專注于水側(cè)自然冷和氟側(cè)自然冷。

氟側(cè)自然冷就是我們常規(guī)的風(fēng)冷空調(diào)這個(gè)系統(tǒng)，在溫度相對(duì)來(lái)說(shuō)比較低，以及冬季的時(shí)候，來(lái)通過(guò)氟泵工作來(lái)利用室外自然冷源，那這會(huì)就不需要開(kāi)壓縮機(jī)了，壓縮機(jī)的功耗就是整個(gè)系統(tǒng)里邊制冷功耗最大的部分，那如果可以在一部分時(shí)間里邊把壓縮機(jī)替換成氟泵，因?yàn)榉玫墓β适呛艿偷?，那?dāng)然可以大大的節(jié)約能耗。

水側(cè)自然冷，做節(jié)能就是通過(guò)室外的一些蒸發(fā)之類的，把它的那個(gè)冷的能力間接的帶到室內(nèi)來(lái)。

風(fēng)側(cè)自然冷受到地理限制較大，水側(cè)自然冷蒸發(fā)的水太多，所以目前既省電又省水的方案，就是氟側(cè)自然冷。

氟側(cè)自然冷它就是一個(gè)無(wú)水的智能解決方案，天然的它就不需要水，它是靠氟泵、靠冷媒來(lái)實(shí)現(xiàn)自然冷的，不需要靠水的蒸發(fā)。

但這種方式就對(duì)技術(shù)提出了很大挑戰(zhàn)，需要長(zhǎng)期的積累經(jīng)驗(yàn)，才能控制好整套系統(tǒng)。

怎么才能更好的控制，讓氟泵的工作時(shí)長(zhǎng)更長(zhǎng)一點(diǎn)點(diǎn)，讓氟泵和壓縮機(jī)的切換能夠更加的穩(wěn)定、更少的波動(dòng)、然后讓它更節(jié)能。它的難度是比做水側(cè)自然冷是要更難的，所以最大的難點(diǎn)就還是在于技術(shù)儲(chǔ)備。

除了節(jié)能環(huán)保外，如今數(shù)據(jù)中心還面臨著芯片升級(jí)的挑戰(zhàn)。

我們之前的文章中有提到，英偉達(dá)新出的 Blackwell 芯片，由于功耗上升，老舊的數(shù)據(jù)中心難以直接部署，甚至一些公司由于業(yè)務(wù)轉(zhuǎn)型，需要將以 CPU 為主的計(jì)算設(shè)備，升級(jí)到以 GPU 為主，如何改造成了當(dāng)下的難題。

Chapter 2.4 數(shù)據(jù)中心如何升級(jí)？

在 AI 來(lái)之前，數(shù)據(jù)中心的分類其實(shí)都是以風(fēng)冷為主的，那它的單機(jī)柜功率密度才 5~10 千瓦，而且其實(shí) 10 千瓦的都不是很多了，主要是 5~6 千瓦這樣的為主。那現(xiàn)在我要升級(jí)智算，首先要把風(fēng)冷設(shè)備的散熱量加夠，然后再去額外的再去補(bǔ)充液冷部分。

既然冷卻系統(tǒng)可以升級(jí)，為什么還有些企業(yè)會(huì)選擇花很多資金重建數(shù)據(jù)中心呢？這就不得不說(shuō)到，舊機(jī)房升級(jí)的瓶頸了。

對(duì)于制冷它主要就是空間的問(wèn)題，一般情況下，從我們當(dāng)前的設(shè)計(jì)經(jīng)驗(yàn)來(lái)看，制冷設(shè)備的空間往往可能是夠的。因?yàn)樵鹊膯螜C(jī)柜 6 千瓦，現(xiàn)在單機(jī)柜 40 千瓦，那單機(jī)柜的功率密度提升了 6 倍還多，原先 6 個(gè)機(jī)柜解決的問(wèn)題，現(xiàn)在只需要一個(gè)機(jī)柜。

行業(yè)里邊有一個(gè)說(shuō)法，就是數(shù)據(jù)中心的盡頭其實(shí)是電力，所以咱們?cè)跀U(kuò)容的時(shí)候，往往首先要考慮的還是電力的問(wèn)題。

為什么電力是制約數(shù)據(jù)中心升級(jí)的因素？AI 爆發(fā)又給供電系統(tǒng)帶來(lái)了哪些挑戰(zhàn)呢？接下來(lái)我們聊聊供電系統(tǒng)。

03 供電系統(tǒng)

Chapter 3.1 AI 給供電系統(tǒng)帶來(lái)的挑戰(zhàn)

我們?cè)?AI 電力爭(zhēng)奪戰(zhàn)那期文章里講過(guò)，AI 數(shù)據(jù)中心帶來(lái)了大量電能消耗，未來(lái)將給電網(wǎng)帶來(lái)供應(yīng)缺口，其實(shí)不止是外部的電網(wǎng)，AI 數(shù)據(jù)中心內(nèi)部的供電也同樣面臨巨大壓力，其中很大的因素就在于占地面積。

趙呈濤

維諦技術(shù) ACP 解決方案部高級(jí)經(jīng)理：

因?yàn)檎麄€(gè)的功率密度提升，供配電和 IT 機(jī)房的占比出現(xiàn)了很大的偏差，占地面積成為了一個(gè)很大的挑戰(zhàn)。

正是因?yàn)檫@些難點(diǎn)，成為了老舊數(shù)據(jù)中心升級(jí)困難的原因，其中最為棘手的就是占地問(wèn)題。

在解析這個(gè)問(wèn)題前，為了便于大家理解，我們先簡(jiǎn)單介紹下供電系統(tǒng)的結(jié)構(gòu)。

Chapter 3.2 供電系統(tǒng)結(jié)構(gòu)及占地問(wèn)題

供電系統(tǒng)的結(jié)構(gòu)主要分為四個(gè)層級(jí)：市電或發(fā)電機(jī)將電能輸送到變配電系統(tǒng)，變配電系統(tǒng)會(huì)給冷卻系統(tǒng)、不間斷電源（Uninterruptible Power Supply，即 UPS）供電，UPS 再將電能送到主機(jī)房的電源分配單元（Power Distribution Unit，即 PDU），由 PDU 給每個(gè)機(jī)柜分配電能。

其中發(fā)電機(jī)是為了在市電發(fā)生故障時(shí)有應(yīng)急的電力輸入，但發(fā)電機(jī)啟動(dòng)需要一定時(shí)間，而 UPS 包含了大容量電池，能保證服務(wù)器繼續(xù)運(yùn)行 5 到 15 分鐘，為發(fā)電機(jī)啟動(dòng)爭(zhēng)取時(shí)間。

當(dāng)然，供電系統(tǒng)還會(huì)根據(jù)市電線路數(shù)和冗余結(jié)構(gòu)的不同，分為 DR 架構(gòu)、RR 架構(gòu)、2N 架構(gòu)，這里我們就不多贅述了。

那回到占地面積的問(wèn)題，由于服務(wù)器功耗增加后，需要額外的供電設(shè)備，但是，供電設(shè)備實(shí)在太占地了。

從傳統(tǒng)的數(shù)據(jù)中心建設(shè)來(lái)看，它會(huì)有傳統(tǒng)的中壓室、低壓室、電力室、電池室等等，這些傳統(tǒng)的產(chǎn)品都會(huì)通過(guò)線來(lái)做連接，這些物理連接由于它是分散于各個(gè)廠家的產(chǎn)品，它的標(biāo)準(zhǔn)的制式、標(biāo)準(zhǔn)的體積都不是很融合，另外一個(gè)它們的整個(gè)的部署的物理距離，中間的一般都是都會(huì)有一些間隙。

所以有限的空間成了制約老舊數(shù)據(jù)中心升級(jí)的痛點(diǎn)，想發(fā)展 AI，重建數(shù)據(jù)中心成了更好的選擇。

但數(shù)據(jù)中心的設(shè)計(jì)壽命有 20 到 30 年，GPU 換代一般是 3~5 年，總不能隔幾年就重建一次吧，為此行業(yè)發(fā)展出了新的方向，那就是設(shè)備一體化。

Chapter 3.3 設(shè)備一體化與效率提升

我們針對(duì)占地面積的問(wèn)題，推出了交流直流供配電一體化的電力模組，就像我們傳統(tǒng)的組裝式的電腦，現(xiàn)在變成了一體機(jī)是一樣的，我們通過(guò)將 UPS、供配電、變壓器、補(bǔ)償、饋電柜多個(gè)產(chǎn)品融合為一體，提供了一個(gè)工程產(chǎn)品化的一個(gè)產(chǎn)品，這樣可以將我們占地面積減少至少 30%。

當(dāng)然我們還有一個(gè)新型的解決方案，我們的供配電電力模組，采用背靠背的這種方式，通過(guò)上送風(fēng)，這樣的話我們可以把傳統(tǒng)的電力層面積再縮小 50%。

縮小其他設(shè)備的占地面積不光有利于老舊數(shù)據(jù)中心的升級(jí)，新的數(shù)據(jù)中心也能帶來(lái)更高的經(jīng)濟(jì)效益，因?yàn)轵v出來(lái)的空間就可以多擺點(diǎn)計(jì)算用的機(jī)柜、多一些算力，縮短模型的訓(xùn)練與推理時(shí)間。

除了縮小設(shè)備占地外，供電系統(tǒng)的另一個(gè)趨勢(shì)是提升電能傳輸效率。

眾所周知，每個(gè)設(shè)備都有電阻，電能在一層層設(shè)備的轉(zhuǎn)換中，總會(huì)伴隨著能量損失，如此一來(lái)為了滿足服務(wù)器機(jī)柜的電能需求，前端的供配電設(shè)備需要留有更多冗余、占據(jù)更大面積。

而提升傳輸效率后，不僅能減少設(shè)備的數(shù)量，還能降低數(shù)據(jù)中心的能耗，達(dá)到節(jié)能減排的效果。

那該從哪些方面來(lái)提升效率呢？

第一，UPS 我們采用了碳化硅的產(chǎn)品線，將整個(gè)的效率提升了很多。第二，我們采用了 SCB 的多晶合金的變壓器，第三通過(guò)以傳統(tǒng)的線纜方式改用銅牌的方式來(lái)連接，進(jìn)一步降低了線路的損耗來(lái)提升它整體的效率。

為了提升末端配電的負(fù)載，我們推出了 1000 安培的小母線，這樣服務(wù)器未來(lái)可以擴(kuò)容 100 千瓦、 150 千瓦。

最后，我們來(lái)聊聊顧華提到的第四個(gè)挑戰(zhàn)，快速部署。有意思的是，行業(yè)為此竟然呈現(xiàn)出了 " 預(yù)制化 " 的趨勢(shì)，這能行得通嗎？

04 建設(shè)周期與快速部署

如今全球的 AI 戰(zhàn)正打的火熱，急劇增長(zhǎng)的算力需求促使著各大公司新建 AI 數(shù)據(jù)中心，這就對(duì)整行業(yè)提出了建設(shè)速度的要求，畢竟 AI 數(shù)據(jù)中心早一天上線，就能帶來(lái)更多經(jīng)濟(jì)效益。

大家也在紛紛嘗試創(chuàng)新的解決方案，譬如 " 木質(zhì)數(shù)據(jù)中心 "，用木材作為關(guān)鍵結(jié)構(gòu)部件，來(lái)建設(shè)數(shù)據(jù)中心。

難道他們就不怕遇到地震、臺(tái)風(fēng)或者火災(zāi)啥的，把整個(gè)數(shù)據(jù)中心都弄沒(méi)了嗎？

其實(shí)盡管木質(zhì)數(shù)據(jù)中心聽(tīng)上去是個(gè)非常激進(jìn)的概念，但早在 2019 年就有公司就建成并投入使用了。

他們使用的也并不是那種直接從樹(shù)上鋸下的木板，而是名為正交膠合木（Cross-Laminated Timber，簡(jiǎn)稱 CLT）的建筑材料。

這種材料具有極高的強(qiáng)度和均勻性，直接作為承重墻板或者樓板使用都沒(méi)問(wèn)題，同時(shí)它還有耐火的特性，英國(guó)就有棟名為 Stadthaus 的九層樓公寓，采用了 CLT 材料建成。

木質(zhì)材料不僅能滿足環(huán)保的要求，還能通過(guò)預(yù)制化，將整體的建設(shè)速度，加快 40%~80%。

當(dāng)然，數(shù)據(jù)中心的建設(shè)不光是外部建筑，還有內(nèi)部的基礎(chǔ)設(shè)施需要定制。而現(xiàn)在，冷卻系統(tǒng)與供電設(shè)備也走向了預(yù)制化的道路。

雷愛(ài)民

維諦技術(shù)綜合解決方案架構(gòu)部總監(jiān)：

現(xiàn)在的智算中心，客戶可能需要在 6 個(gè)月之內(nèi)建設(shè)好，這也是傳統(tǒng)建造方式的最快完工時(shí)間，而維諦的 360AI 智算解決方案，可以協(xié)助客戶縮小 50% 左右的時(shí)間。

我們?cè)诤Ｍ夂鸵恍┧懔?、互?lián)網(wǎng)公司有合作，會(huì)根據(jù)它需要的算力，來(lái)定制全套的預(yù)制化基礎(chǔ)設(shè)施。就是說(shuō)已經(jīng)提前把數(shù)據(jù)中心的基礎(chǔ)設(shè)施配套好了，同時(shí)對(duì)里面的供電、制冷、軟件，甚至工程的材料的預(yù)制化，都進(jìn)行了詳細(xì)的部署。

將設(shè)備由定制改為預(yù)制，就能大幅節(jié)省工程時(shí)間，但這其中又會(huì)存在匹配性的問(wèn)題。

不同的客戶他確實(shí)有很大的需求上的差別，比如政府和金融項(xiàng)目，金融客戶他最在乎的就高可靠性，他對(duì)創(chuàng)新、綠色持穩(wěn)健的態(tài)度，但是對(duì)互聯(lián)網(wǎng)公司來(lái)說(shuō)，他在乎的就是創(chuàng)新性、成本、部署速度。所以說(shuō)在這兩種客戶之間，我們提供的是差異化的服務(wù)、差異化的方案和服務(wù)。

不同的數(shù)據(jù)中心，都有自己獨(dú)特的需求，如果失去了 " 定制 " 這個(gè)環(huán)節(jié)，是否意味著預(yù)制化的設(shè)備難以大量鋪開(kāi)呢？

專家給我們解釋道，所謂的預(yù)制化，其實(shí)是預(yù)制了各個(gè)部件的模塊，在一個(gè)統(tǒng)一的平臺(tái)下，可以將這些模塊按需求來(lái)組裝，這樣就能滿足不同的客戶。

維諦技術(shù)綜合解決方案架構(gòu)部總監(jiān)：?

維諦實(shí)際上它在長(zhǎng)期的發(fā)展和實(shí)踐里面，它形成了很多標(biāo)準(zhǔn)化的組件，所以說(shuō)當(dāng)一項(xiàng)新的需求來(lái)臨的時(shí)候，我們可能優(yōu)先去選擇，在這個(gè)積木庫(kù)里面，去提取一些適合我們這個(gè)新的場(chǎng)景的一些部件和組件，這樣就可以高效率的搭建出一個(gè)適應(yīng)客戶新的需要的，這樣的一個(gè)產(chǎn)品類型。

打個(gè)比方，就像我們買來(lái)的樂(lè)高積木，其實(shí)是很多通用的小塊，它既可以拼成汽車，也能拼成飛機(jī)。

雖然我們常說(shuō)，AI 的飛躍源自芯片的積累，然而，為芯片運(yùn)行打下基石的，是基礎(chǔ)設(shè)施的技術(shù)進(jìn)步，它們?nèi)缤瑹o(wú)形的 " 兵部尚書 "，在幕后默默支持和調(diào)控著前線士兵的作戰(zhàn)行動(dòng)，讓 AI 大模型訓(xùn)練順利推進(jìn)。

就像之前提到的，士兵的作戰(zhàn)效率在提升，那么兵部尚書的水平也要相對(duì)提高，這對(duì)整個(gè) AI 芯片的上下游市場(chǎng)都提出了更高的要求，是挑戰(zhàn)也是機(jī)遇。

隨著更高能力、更多參數(shù)以及更大 AI 模型的投入訓(xùn)練，也許我們會(huì)看到數(shù)據(jù)中心更快的升級(jí)迭代，有更多的技術(shù)創(chuàng)新來(lái)支持 AI 大模型的技術(shù)大戰(zhàn)。