近日,在中國電信集團公司統(tǒng)一組織下,中國電信研究院、天翼云、北京電信成功完成業(yè)內(nèi)首個1024卡千億參數(shù)商用大模型分布式聯(lián)合訓練真實用戶試商用,通過武清到瀛海之間的真實光路環(huán)回實現(xiàn)了500公里長距互聯(lián)分布式訓練,訓練性能達到單數(shù)據(jù)中心的97%以上,這一重大突破為大模型訓練的跨地域協(xié)同發(fā)展開辟了新的道路。
本次試商用基于北京現(xiàn)網(wǎng)800G廣域智聯(lián)無損網(wǎng)絡以及息壤一站式智算服務平臺開展,在互聯(lián)距離、帶寬收斂比以及模型參數(shù)方面均產(chǎn)生突破,實現(xiàn)了多數(shù)據(jù)中心互聯(lián)及資源整合支持商用模型分布式聯(lián)合訓練。
在廣域智聯(lián)無損網(wǎng)絡技術(shù)方面,中國電信創(chuàng)新廣域無損調(diào)度算法、關(guān)鍵幀識別技術(shù),將帶寬收斂比提升到32:1;創(chuàng)新WSON 50ms極速倒換技術(shù),實現(xiàn)長距鏈路中斷無感知切換。系列技術(shù)有效解決了長距離傳輸中網(wǎng)絡擁塞丟包、鏈路故障、建網(wǎng)成本等問題,確保了訓練過程的穩(wěn)定性和高效性——在500公里的長距離傳輸下,網(wǎng)絡傳輸吞吐率仍能保持在較高水平,為千卡千億參數(shù)商用大模型的聯(lián)合訓練提供了堅實的網(wǎng)絡支撐。與此同時,息壤平臺支持算力插件、跨地域算網(wǎng)協(xié)同、跨數(shù)據(jù)中心自動并行、斷點續(xù)訓等一系列關(guān)鍵技術(shù)能力,實現(xiàn)故障秒級定位、分鐘級處理與恢復,保證了百川千億參數(shù)商用模型的快速部署和穩(wěn)定高效運行。
此次試商用的成功是中國電信在智算網(wǎng)絡領(lǐng)域持續(xù)創(chuàng)新和實踐的成果,也是積極響應國家戰(zhàn)略推動算力網(wǎng)絡協(xié)同發(fā)展的重要舉措。未來,中國電信將繼續(xù)加大在智算網(wǎng)絡領(lǐng)域的投入和研發(fā)力度,為人工智能產(chǎn)業(yè)的發(fā)展提供更加強有力的網(wǎng)絡支持,助力我國數(shù)字經(jīng)濟的高質(zhì)量發(fā)展。