2024 年剛開年，OpenAI 推出的文生視頻工具 Sora 再次風(fēng)靡全球，成為了 OpenAI 繼 ChatGPT 之后新的生成式 AI 標(biāo)桿。AI 重塑世界，也可能會(huì)讓環(huán)境資源付出巨大的代價(jià)。

  據(jù)《紐約客》雜志引援國外研究機(jī)構(gòu)報(bào)告，ChatGPT 每天要響應(yīng)大約 2 億個(gè)請(qǐng)求，在此過程中消耗超過 50 萬度電力，也就是說，ChatGPT 每天用電量相當(dāng)于 1.7 萬個(gè)美國家庭的用電量。而隨著生成式 AI 的廣泛應(yīng)用，預(yù)計(jì)到 2027 年，整個(gè)人工智能行業(yè)每年將消耗 85 至 134 太瓦時(shí)（1 太瓦時(shí) =10 億千瓦時(shí)）的電力。

除了耗電，和 ChatGPT 或其他生成式 AI 聊天，也會(huì)消耗水資源。加州大學(xué)河濱分校研究顯示，ChatGPT 每與用戶交流 25-50 個(gè)問題，就可消耗 500 毫升的水。而 ChatGPT 有超過 1 億的活躍用戶，這背后消耗的水資源無疑是令人震驚的。

訓(xùn)練一個(gè)大模型，科技巨頭每年都消耗了多少能源？本期鈦媒體 · 鈦度圖聞帶你關(guān)注。

AI 大模型參數(shù)突破百萬億級(jí)別，訓(xùn)練一次有多燒錢？

在大模型的訓(xùn)練中，語料信息的規(guī)模是很重要的。一般來說，語料規(guī)模越大，其蘊(yùn)含的信息就越豐富，模型所形成的參數(shù)越大，具有更好的泛化能力。為了獲得智能水平更高的大模型，AI 模型的語料規(guī)模和參數(shù)規(guī)模越來越大。

從參數(shù)規(guī)模上看，大模型先后經(jīng)歷了預(yù)訓(xùn)練模型、大規(guī)模預(yù)訓(xùn)練模型、超大規(guī)模預(yù)訓(xùn)練模型三個(gè)階段，參數(shù)量實(shí)現(xiàn)了從億級(jí)到百萬億級(jí)的突破。2017 年，谷歌首次提出 6500 萬參數(shù)的 Transformer 模型，自此大模型就開始走上了一條快速發(fā)展之路。

2018 年，谷歌發(fā)布基于 Transformer 的 BERT，BERT 學(xué)習(xí)了 16GB 的語料，形成 3.4 億個(gè)參數(shù)；2019 年，OpenAI 推出了 15 億參數(shù)的 GPT-2，同年，谷歌推出 T5 模型，參數(shù)達(dá)到 110 億。從十億級(jí)到百億級(jí)，大模型在一年內(nèi)實(shí)現(xiàn)躍升。2020 年，OpenAI 推出了 1750 億參數(shù)的 GPT-3；2021 年，谷歌推出 Switch Transformer 架構(gòu)，其參數(shù)量擴(kuò)展到了 1.6 萬億；同年，北京智源人工智能研究院也推出參數(shù)量在萬億級(jí)別的模型 " 悟道 "。2022 年，清華大學(xué)、阿里達(dá)摩院等機(jī)構(gòu)的研究人員提出的 " 八卦爐 " 模型，其具有 174 萬億個(gè)參數(shù)，可與人腦中的突觸數(shù)量相媲美。如今，大模型參數(shù)量已實(shí)現(xiàn)百萬億級(jí)的突破。

目前，人工智能公司很少公開談?wù)摯竽Ｐ偷挠?xùn)練成本，但相關(guān)研究估計(jì)這些模型的訓(xùn)練成本可高達(dá)數(shù)百億美元。斯坦福大學(xué)發(fā)布的《2023 年人工智能指數(shù)報(bào)告》，基于已有大模型披露的硬件和訓(xùn)練時(shí)間，對(duì)其訓(xùn)練成本進(jìn)行了估算。

2019 年，OpenAI 發(fā)布的大語言模型 GPT-2 參數(shù)量為 15 億，它的訓(xùn)練成本約為 5 萬美元左右；到了 2020 年，訓(xùn)練 1750 億參數(shù)量的 GPT-3 的費(fèi)用大概是 180 萬美元。GPT-3 比 GPT-2 的參數(shù)量擴(kuò)大了 117 倍，其訓(xùn)練費(fèi)用也增加了 36 倍。大型語言和多模態(tài)模型如 " 吞金獸一般 "，變得越來越大，也越來越貴。

生成式 AI 多耗能：ChatGPT 日耗電量超 50 萬度

訓(xùn)練大模型需要大量的能源，比傳統(tǒng)的數(shù)據(jù)中心要消耗更多的電力。OpenAI 曾發(fā)布報(bào)告指出，自 2012 年以來，AI 訓(xùn)練應(yīng)用的電力需求每 3 到 4 個(gè)月就會(huì)翻一倍。華為 AI 首席科學(xué)家田奇也曾給出數(shù)據(jù)，AI 算力在過去 10 年至少增長了 40 萬倍。AI 大模型可謂是 " 耗電巨獸 "。

研究顯示，訓(xùn)練谷歌于 2022 年發(fā)布的大語言模型 PaLM 需要消耗 3436 兆瓦時(shí)的電量，約等于 11.8 萬美國普通家庭日耗電量（美國普通家庭日均耗電量約為 29 千瓦時(shí)）；就算訓(xùn)練參數(shù)量為 3.4 億的 BERT 模型，也需要消耗 1.5 兆瓦時(shí)的電量，相當(dāng)于觀看 1875 小時(shí)的流媒體。

據(jù)了解，AI 服務(wù)器和芯片是產(chǎn)生能耗最主要的地方。通用型服務(wù)器只需要 2 顆 800W 服務(wù)器電源，而 AI 服務(wù)器則需要 4 顆 1800W 高功率電源，AI 服務(wù)器對(duì)于電源的需求大大提升。荷蘭一位學(xué)者表示，到 2027 年，新制造的人工智能設(shè)備的用電量將與荷蘭、瑞典、阿根廷等國的用電量一樣。

除了耗電，由于算力設(shè)備的冷卻需求，AI 消耗的水資源數(shù)量也驚人。

谷歌環(huán)境報(bào)告顯示，2022 年谷歌的用水量達(dá)到了 56 億加侖水（約 212 億升水），相當(dāng)于 8500 個(gè)奧運(yùn)會(huì)規(guī)格的游泳池，這些水被用來為該公司的數(shù)據(jù)中心散熱。不僅如此，在微軟的美國數(shù)據(jù)中心訓(xùn)練 GPT-3 使用的水量相當(dāng)于填滿一個(gè)核反應(yīng)堆的冷卻塔所需的水量，大約 70 萬升。而用戶在使用生成式 AI 工具時(shí)也需要耗水。研究顯示，ChatGPT 每與用戶交流 25-50 個(gè)問題，就可消耗 500 毫升的水。研究人員預(yù)計(jì)，到 2027 年，全球范圍內(nèi)的 AI 需求可能會(huì)需要消耗掉 66 億立方米的水資源，幾乎相當(dāng)于美國華盛頓州全年的取水量。

除了消耗大量的電力和水資源，AI 大模型還是碳排放大戶。斯坦福大學(xué)報(bào)告顯示，OpenAI 的 GPT-3 模型在訓(xùn)練期間釋放了 502 公噸碳，是目前大模型中有據(jù)可查耗能最嚴(yán)重的，它的碳排放量是 Gopher 模型的 1.4 倍， 是 BLOOM 模型的 20.1 倍，約等于 8 輛普通汽油乘用車一生的碳排放量，人均 91 年的碳排放量。

隨著科技日新月異，未來 AI 大模型會(huì)層出不窮。不可否認(rèn)的是，生成式 AI 的出現(xiàn)給社會(huì)生活帶來了巨大的助力，但 AI 給人類帶來效率提升的同時(shí)也可能引發(fā)能源危機(jī)。所以，科技巨頭們還需從算法和模型優(yōu)化、硬件優(yōu)化、訓(xùn)練和計(jì)算技巧等方面入手，讓 AI 功耗在一定程度上降低。

數(shù)據(jù)來源：斯坦福大學(xué)《2023 年人工智能指數(shù)報(bào)告》、《AI 專題：重新思考對(duì) AI 能源使用的擔(dān)憂》、中國政府網(wǎng)等公開資料整理。