《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 人工智能 > 業(yè)界動(dòng)態(tài) > 中國(guó)AI公司選擇多芯片混合訓(xùn)練AI模型以免于算例受限

中國(guó)AI公司選擇多芯片混合訓(xùn)練AI模型以免于算例受限

2024-07-05
來(lái)源:芯智訊

7月4日消息,據(jù)Digitimes報(bào)道,為解決人工智能(AI)芯片算力問(wèn)題,中國(guó)AI公司正實(shí)施“多芯片混合”的策略來(lái)提高在AI計(jì)算方面的能力的同時(shí),進(jìn)一步避免供應(yīng)鏈安全問(wèn)題。

多芯片混合計(jì)算的方法有諸多優(yōu)勢(shì),包括利用多個(gè)不同型號(hào)的GPU并行訓(xùn)練,來(lái)共同提高大語(yǔ)言模型(LLM)訓(xùn)練速度,因同時(shí)可以處理更多數(shù)據(jù),可更好利用內(nèi)存,中國(guó)廠商可以降低對(duì)于更昂貴的英偉達(dá)(NVIDIA)芯片的依賴(lài),進(jìn)而降低成本。

自2022年10月以來(lái),受美國(guó)持續(xù)升級(jí)的限制政策的影響,中國(guó)獲取國(guó)外高性能AI芯片受到了極大的限制。因此,目前也依然存在著一些灰色渠道,但是供給量還是比較有限的。同樣,雖然中國(guó)本土也有一些AI芯片,但是性能和產(chǎn)能也都比較有限。

傳聞稱(chēng),目前中國(guó)公司已經(jīng)開(kāi)始開(kāi)發(fā)“多芯片混合”技術(shù),將不同芯片組成一個(gè)訓(xùn)練集群,包括百度和阿里巴巴都在研究這項(xiàng)解決方案。例如,百度在其 2024 年財(cái)報(bào)電話會(huì)議上宣布,它可以組合來(lái)自不同供應(yīng)商的 GPU 并將其用于 AI 訓(xùn)練。另一家中國(guó)大型科技公司阿里巴巴自 2021 年以來(lái)一直致力于“一云多芯片”解決方案。但也面臨諸多挑戰(zhàn),例如需要像NVIDIA NVLink這樣的高速構(gòu)架,確保不同的加速器能高效通信。不過(guò),阿里云已經(jīng)開(kāi)始轉(zhuǎn)向使用基于以太網(wǎng)的高性能網(wǎng)絡(luò)。


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問(wèn)題,請(qǐng)及時(shí)通過(guò)電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。