《電子技術應用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動態(tài) > “數(shù)字主播”上線:冬奧手語播報AI數(shù)字人

“數(shù)字主播”上線:冬奧手語播報AI數(shù)字人

2022-01-22
來源:人民微看點

一些對我們而言輕而易舉的事情,對于聽障人士來說,卻非常困難——比如“看”冬奧會。這次他們有福了!據(jù)悉,將有一位“數(shù)字主播”——手語播報AI數(shù)字人亮相北京2022冬奧會和冬殘奧會,她會在大屏幕上根據(jù)主持人的語音用手語將冬奧賽事進行同步播報。

9月24日,在2021中關村論壇之“人工智能與多學科協(xié)同創(chuàng)新”平行論壇上,北京智源人工智能研究院學術副院長、清華大學教授唐杰發(fā)布了“冬奧手語播報數(shù)字人系統(tǒng)”成果 圖片來源/中國科學報 鄭金武攝影

99ff-f2f16adc26997fb3940cb5f24dbed605.jpg

根據(jù)國內(nèi)統(tǒng)計數(shù)據(jù),中國有超過2700萬聽障人士,對教育、社交、娛樂、信息獲取有巨大的需求。如果算上需要與他們交流的親人、朋友和同事,更是會涉及到上億人。

傳統(tǒng)的手語播報,主要靠手勢來傳遞信息,一方面因不同的人有不同的手勢習慣,容易造成信息傳遞偏差;另一方面,會造成手語播報主持人翻譯工作量大、與節(jié)目主持人配合難度高,從一定程度上限制了聽障人士對于信息的獲取。手語播報AI數(shù)字人首先可以避免“千人千面”,始終保持統(tǒng)一;其次,可以根據(jù)收聽到的語音,自動實時生成手語手勢,提供精確的播報服務。

數(shù)字手語主播不僅需要真實的數(shù)字人形象,也需要能夠理解、翻譯語音和手語的數(shù)字大腦。手語播報數(shù)字人,是一個“智能人”,它不僅擁有生動的表情神態(tài)、豐富的肢體語言,還擁有“大腦”——能夠理解、翻譯語音和手語的數(shù)字雙輪驅動虛擬數(shù)字腦。它配置了口形、表情、姿態(tài)、手部動作等多種素材以便進行“表情管理”。

2021年9月23日,北京,2021年中關村論壇上手語播報數(shù)字人 圖片來源/視覺中國

為了提高冬奧播報的準確性,研發(fā)團隊還對手語播報數(shù)字人進行了“培訓”,構建了冬奧手語語料庫,包括多模態(tài)肢體動作、表情、手指等語料,教授數(shù)字腦掌握手語表達的方法。同時,手語數(shù)字腦可以通過計算機模仿聽障人士的大腦,將看到的中文文本信息轉換成手語詞匯序列,讓聽障人士實時了解賽事進程。通過AI技術將播報內(nèi)容翻譯合成為手語,并利用數(shù)字人虛擬主播來播報,成為解決這一難題的重要途徑。

手語數(shù)字播報的實現(xiàn),是因為背后有“悟道2.0”超大規(guī)模人工智能模型的技術支撐。結合冬奧會的有關信息,悟道大模型可以實現(xiàn)文本到手勢的自動轉化。當播報員播報時,數(shù)字人可以將文字轉換成手語,方便聽障人士收看賽事專題報道,這是“悟道2.0”超大規(guī)模預訓練模型的首次實際場景應用。依托“數(shù)據(jù)”與“知識”,冬奧期間賽事新聞實現(xiàn)了實時手語翻譯播報,填補了這一領域的空白。

2021年6月3日,觀眾在2021北京智源大會上參觀智能模型“悟道2.0”的資料介紹?!拔虻?.0”模型的參數(shù)規(guī)模達到1.75萬億,是目前中國首個、全球最大的萬億級模型 圖片來源/視覺中國

據(jù)了解,這一“冬奧手語播報數(shù)字人系統(tǒng)”由北京市科委、北京市殘聯(lián)發(fā)起,科技冬奧專項支持,智譜AI、凌云光和北京廣播電視臺聯(lián)合打造,項目還得到了市殘聯(lián)聾人協(xié)會的大力支持。

數(shù)字人的未來不只是手語播報,隨著人工智能技術的不斷演進,數(shù)字人也進入了其它領域,如向大家介紹空間站情況的數(shù)字記者小諍、游戲直播行業(yè)涌現(xiàn)的各類虛擬人物等。

如今,在技術蓬勃發(fā)展的新風口下,數(shù)字人不僅達到了人像的寫實級逼真程度,還具備了一定的溝通交流能力。虛擬互動技術的擴展,讓數(shù)字人可以進入到醫(yī)學、礦學和航天學等精細或危險領域。未來,數(shù)字人將具備類似人的看、聽、說和知識邏輯能力,人工智能將進一步發(fā)展。讓我們翹首以待吧!




最后文章空三行圖片.jpg


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權者。如涉及作品內(nèi)容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。