縱觀世界藝術(shù)歷史,科技的發(fā)展和藝術(shù)的發(fā)展息息相關(guān),從農(nóng)耕時代中世紀(jì)的教堂圣詠,到工業(yè)革命冶煉技術(shù)出現(xiàn)后成就的交響樂,隨著電子技術(shù)以及計算機的出現(xiàn),電子音樂、MIDI、計算機音樂、音樂人工智能迅速發(fā)展。未來音樂會是和計算機、人工智能有關(guān)嗎?這是很有可能的。我們并不知道未來音樂是怎樣的,但未來音樂值得我們探索。
音樂與人工智能的發(fā)展
國外音樂與科技相關(guān)學(xué)科的發(fā)展自20世紀(jì)50年代開始,工程師和科學(xué)家開始合作探索音樂的數(shù)字處理技術(shù),逐漸形成了音樂科技/計算機音樂(Music Technology/Computer Music)這一交叉學(xué)科。上世紀(jì)70年代以后,歐美各國相繼建立了多個大型計算機音樂研究機構(gòu)。2000年后,音樂科技在世界各地如澳大利亞、日本、新加坡等地都逐漸發(fā)展起來。
20世紀(jì)90年代起,國內(nèi)各個綜合類大學(xué)的計算機專業(yè)中的一些教授開始了關(guān)于計算機與音樂的研究。近年來,中央音樂學(xué)院、中央美術(shù)學(xué)院、上海音樂學(xué)院等國內(nèi)一批一流藝術(shù)院校先后成立了藝術(shù)科技交叉學(xué)科,對音樂或其他藝術(shù)與人工智能的交叉研究開展了初步探索。
中央音樂學(xué)院是我國最早開展音樂與人工智能交叉研究的藝術(shù)院校:1993年成立了電子音樂中心2012年成立音樂科技部,2018年組建音樂人工智能與音樂信息科技學(xué)科方向和實體系,下設(shè)音樂人工智能、電子音樂作曲、電子音樂制作、音響藝術(shù)指導(dǎo)、音樂治療、藝術(shù)嗓音等專業(yè)方向。前一段時間在京舉辦的世界音樂人工智能大會就是由音樂人工智能系承辦的,主辦單位是中央音樂學(xué)院和中國人工智能學(xué)會,團結(jié)了全世界最頂尖的一線人工智能音樂專家。明年我們爭取做得更大,希望它成為世界音樂人工智能的風(fēng)向標(biāo)和重要的學(xué)術(shù)交流場所,成為產(chǎn)業(yè)化交流的平臺與服務(wù)社會的紐帶。
世界音樂人工智能大會圓桌討論
人工智能與藝術(shù)目前受到廣泛關(guān)注,去年在西安舉辦的中國人工智能與藝術(shù)教育論壇,網(wǎng)絡(luò)在線近50萬人共同參與了該論壇。我們發(fā)現(xiàn),全國各地有非常多的人關(guān)注這個事情。2021年舉辦的全球人工智能技術(shù)大會(GAITC)——當(dāng)AI與藝術(shù)相遇專題論壇,同樣幾十萬人參與。
今年,中國人工智能學(xué)會(CAAI)藝術(shù)與人工智能專委會、中國計算機學(xué)會(CCF)計算藝術(shù)分會相繼成立,團結(jié)了全國八大藝術(shù)門類的所有跟科技相關(guān)的人員,包括中央音樂學(xué)院、中央美術(shù)學(xué)院、上海音樂學(xué)院、中央戲劇學(xué)院等藝術(shù)院校藝術(shù)與科技的相關(guān)人才,一起來探討未來藝術(shù)。
音樂人工智能先樂后藥
音樂與人工智能發(fā)展有三個過程:創(chuàng)作、呈現(xiàn)、接受。我們研究音樂、人和人工智能三者如何協(xié)同發(fā)展的關(guān)系。在創(chuàng)作、呈現(xiàn)、接受以外,還有哲學(xué)、音樂人工智能的美學(xué)以及它的倫理,都有待我們跟進研究。
音樂創(chuàng)作方面,有作曲技術(shù)的研究,也有智能作曲和新創(chuàng)作的方式。智能作曲是按照人既有的規(guī)律創(chuàng)作;而新創(chuàng)作的方式,是以人還沒有的規(guī)律(由AI)自覺創(chuàng)作的一個過程。我們現(xiàn)在做AI作曲,會發(fā)現(xiàn)它模擬人的創(chuàng)作挺有趣,而它模擬的自主創(chuàng)作會讓人瞠目結(jié)舌,希望未來也會為這個世界創(chuàng)作一些驚喜。
音樂呈現(xiàn)、傳播等方面,有機器人的演奏,中央音樂學(xué)院與美國印第安納大學(xué)還搞了一個自動伴奏系統(tǒng)。原來的伴奏系統(tǒng)是人跟著樂隊、伴奏帶學(xué)習(xí),但現(xiàn)在的AI伴奏系統(tǒng),會像人一樣配合你的演奏。未來我們也會自動生成為一些伴奏音樂。
音樂接受方面,我們已經(jīng)在認(rèn)知、音樂治療、欣賞過程方面進行了研究和探索。音樂治療是我們?nèi)斯ぶ悄芟抵匾牟块T之一,下設(shè)音樂治療教研室中心,已經(jīng)有了接近30年的歷史。目前,中央音樂學(xué)院的音樂治療除了傳統(tǒng)的音樂治療以外,還有音樂人腦科學(xué),科學(xué)地研究、構(gòu)建一個更大的音樂治療范圍,不僅僅是從心理學(xué)角度研究,還從腦科學(xué)進行研究。目前,大家已經(jīng)找到了音樂記憶在腦部的某個位置的反應(yīng),是很小的一個記憶點。我們希望搞清楚音樂的頻率、音樂如何形成人的情緒,它對人腦到底產(chǎn)生了什么影響。其實,音樂對人的情緒影響是巨大的,有的時候甚至超過了藥物,你吃藥得反應(yīng)半天才會有效果,可是聽音樂的一瞬間情緒就會發(fā)生變化,所以音樂的頻率特別神奇。
中國古代音樂的“樂”字繁體字“樂”,加個草字頭就是“藥”(藥)字。《黃帝內(nèi)經(jīng)》不斷說了先樂后藥,治病的時候還有聲音治病。我們希望通過腦科學(xué)驗證聲音的頻率到底對人有多大的反應(yīng),反應(yīng)在哪兒,它的機理是什么。我們未來想做抑郁癥、自閉癥、臨終關(guān)懷,可是現(xiàn)在我們想第一步解決睡眠的問題,研究音樂對睡眠的影響。
智能作曲已經(jīng)開始了
央音的AI自動作曲系統(tǒng),是通過人工智能算法進行作曲、編曲、歌唱、混音,并最終生成完整歌曲作品的系統(tǒng)。智能作曲能夠在23秒快速地創(chuàng)作出一首歌曲,可以達(dá)到一般作曲家寫作水平。23秒,配器、演唱都可以出來,在全世界都比較前沿。
自動作曲系統(tǒng)架構(gòu)
智能自動作曲系統(tǒng)主要分為自動作曲模塊、自動編曲模塊、歌聲合成模塊和自動混音模塊。在系統(tǒng)建立過程當(dāng)中,首先要對歌曲旋律、曲風(fēng)、情感、歌詞等歌曲信息進行整理和統(tǒng)計,建立給信息大數(shù)據(jù)庫,然后用深度學(xué)習(xí)算法訓(xùn)練對應(yīng)的模型,最后由系統(tǒng)根據(jù)用戶輸入的參數(shù)和歌詞進行歌曲作品的制作。這個項目最終的目的是要實現(xiàn)一個基于網(wǎng)頁-服務(wù)器架構(gòu)的、可供用戶操作使用的網(wǎng)頁端產(chǎn)品。
未來的音樂一定會是一個多維的音樂空間。傳統(tǒng)的一對音箱的立體聲,我們聽到的聲音都是從前面?zhèn)鬟^來。但是現(xiàn)在很多全景式的收音、錄音技術(shù),是可以收到四面八方的聲音的,效果就好了很多。3D音樂將比立體聲音樂有著更動人的音樂魅力,是傳統(tǒng)的立體聲音樂聽覺的升級,是目前電視、立體聲錄音等沒辦法體驗的、全新概念的音樂體現(xiàn)方式。這種“跑動起來、流動的”3D全息音樂將是未來音樂的一部分,是一個這個時代的創(chuàng)新工程,值得我們探索。
除了傳統(tǒng)的交響樂隊產(chǎn)生三維立體聲效,我們還有新創(chuàng)造的音樂,比如電子音樂創(chuàng)作,不拘泥于前面發(fā)聲,也可以通過后面發(fā)聲、上面發(fā)聲,各個維度所有方向參與音樂的創(chuàng)作表達(dá)當(dāng)中。我們的研究結(jié)果
發(fā)現(xiàn),3D音樂的出現(xiàn),可能會對我們傳統(tǒng)的和聲、配器產(chǎn)生影響。
3D音樂肯定會改變原來的模式,2019年中央音樂學(xué)院做了一場3D音樂《中國十二生肖》。現(xiàn)在全世界很多的音樂家都在做,包括杜比公司、DTS公司已經(jīng)發(fā)布自己的編碼解碼系統(tǒng),這就給了創(chuàng)造者更多的空間,他們自己在家里就可以做3D音樂了。3D音樂除了音箱以外,還可以下降到耳機的算法,我們戴耳機也可以聽出三維的空間。
未來,音樂機器人、虛擬機器人對于我們音樂表演、交互、音樂娛樂將會有重要的好處,我們目前正在做一個音樂教育方面的音樂機器人。大家知道,全世界的音樂教育師資缺乏,特別是偏遠(yuǎn)地區(qū)專業(yè)的音樂老師非常缺乏,甚至有些地方都是體育老師、語文老師兼職。我們希望在“數(shù)字人”方面做一些努力,讓“數(shù)字人”能作為一個音樂老師跟你交互。如果音樂教育的虛擬人物能為全國的邊遠(yuǎn)山區(qū)做一些事,對我們中國的美育教育將會是一個重大的貢獻(xiàn)。
我們還有一個AI歌詞輔助寫作系統(tǒng),輔助作曲家創(chuàng)作歌詞。我們做了一個作詩系統(tǒng),80%的人都寫不過它。我們現(xiàn)在在做音樂數(shù)據(jù)以及計算中心,教育部和發(fā)改委都非常重視,特別希望我們建成全世界最大的音樂數(shù)據(jù)中心。
音樂人工智能的研究領(lǐng)域非常廣泛,全世界沒有專門研究人工智能的學(xué)校,大家都是從聲音轉(zhuǎn)過來的。中央音樂學(xué)院這個學(xué)科研究的就是未來音樂,我們有人工智能創(chuàng)作、人工智能的表演與交互、智能音樂教育、音樂與腦科學(xué)四個研究方向。我們的畢業(yè)生特別搶手,音樂人工智能的畢業(yè)生還沒有畢業(yè),各個大公司都搶著要我們的人。未來的音樂是什么?可能我們不知道。但是我們可以通過縱觀音樂歷史的發(fā)展、科技的發(fā)展來看到一些線索??萍嫉陌l(fā)展對我們的音樂創(chuàng)作、音樂呈現(xiàn)、音樂接受、音樂哲學(xué)等都會產(chǎn)生深遠(yuǎn)的影響。
我認(rèn)為未來音樂的發(fā)展將會在下面三個維度上展開:
第一、傳統(tǒng)意義的音樂(包括現(xiàn)代音樂)將會繼續(xù)發(fā)展;第二、科技賦能傳統(tǒng)意義的音樂創(chuàng)新發(fā)展; 第三、新科技產(chǎn)生新的音樂形態(tài)獨立發(fā)展。
總之,音樂人工智能是幫助人類、賦能人類的,不是代替人類的,人類的藝術(shù)因為音樂人工智能的出現(xiàn)將更加豐富多彩、更加彌足珍貴。希望我們一起攜手為未來音樂做一些事情。