模仿樹狀樹枝的電子設(shè)備構(gòu)成了神經(jīng)元用來相互通信的網(wǎng)絡(luò),這可能會導(dǎo)致人工智能,不再需要云中的兆瓦電力。一項新的研究表明,人工智能將能夠依靠智能手機電池的電量運行。
隨著被稱為神經(jīng)網(wǎng)絡(luò)的模擬人工智能系統(tǒng)的規(guī)模和功率的增長,它們變得越來越昂貴和能源匱乏。例如,為了訓(xùn)練其最先進的神經(jīng)網(wǎng)絡(luò)GPT-3,OpenAI花費460萬美元在兩周內(nèi)運行9200個GPU。加州斯坦福大學(xué)神經(jīng)形態(tài)工程師、研究作者Kwabena Boahen表示,GPT-3在訓(xùn)練過程中消耗的能量在同一時間內(nèi)會釋放出多達1300輛汽車尾氣排放的碳。
現(xiàn)在,Boahen為AI系統(tǒng)提出了一種方法,以提高其傳輸?shù)拿總€信號中傳遞的信息量。他說,這可能會減少他們目前所需的能源和空間。
在神經(jīng)網(wǎng)絡(luò)中,被稱為神經(jīng)元的組件被輸入數(shù)據(jù),并合作解決問題,例如識別人臉。神經(jīng)網(wǎng)絡(luò)反復(fù)調(diào)整神經(jīng)元周圍的突觸,以修改每個突觸的“權(quán)重”,即一個神經(jīng)元對另一個神經(jīng)元的影響強度。然后,網(wǎng)絡(luò)確定所產(chǎn)生的行為模式是否更善于找到解決方案。隨著時間的推移,系統(tǒng)會發(fā)現(xiàn)哪些模式最適合計算結(jié)果。然后,它采用這些模式作為默認模式,模仿人腦的學(xué)習(xí)過程。如果一個神經(jīng)網(wǎng)絡(luò)擁有多層神經(jīng)元,它就被稱為“深層”。(例如,GPT-3擁有1750億個權(quán)重,連接了相當(dāng)于830萬個384層深的神經(jīng)元。)
目前,人工智能的進步是每兩個月執(zhí)行兩倍的計算。然而,電子行業(yè)僅每兩年將執(zhí)行這些操作所需的設(shè)備增加一倍。這意味著人工智能通常僅限于云,云可以提供所需的數(shù)千個處理器。
以前,降低計算能耗的一種方法是縮小晶體管并將它們密集地封裝在一起。然而,這種策略的回報正在減少,因為晶體管之間的信號現(xiàn)在必須在微芯片上傳播得越來越遠,而且電線越長,信號消耗的能量就越多??s短這些距離的一種策略是在三維空間中將電路堆疊在一起,但這種方法會減少可用于散熱的表面積。
為了解決這個問題,Boahen提出了一種人工智能系統(tǒng)在傳遞更多信息的同時發(fā)送更少信號的方法。為了實現(xiàn)這一目標(biāo),他建議,這些系統(tǒng)可能希望模擬一部分與目前不同的生物神經(jīng)元。他認為,與其模仿突觸,不如模仿神經(jīng)元之間的空間,它們應(yīng)該模仿稱為樹突的結(jié)構(gòu)。
生物神經(jīng)元有三個主要部分:樹突、軸突和細胞體,它們分別類似于樹的樹枝、根和樹干。樹突是神經(jīng)元從其他細胞(例如,另一個神經(jīng)元的軸突)接收信號的地方。突觸是將樹突或軸突與另一個細胞分離的空間。
樹突可以大量分支,允許一個神經(jīng)元與其他許多神經(jīng)元連接。先前的研究發(fā)現(xiàn),樹突從其分支接收信號的順序決定了其響應(yīng)的強度。當(dāng)樹突從其頂端到其莖部連續(xù)接收信號時,其響應(yīng)比從其莖部到其頂端連續(xù)接收這些信號時更強烈。
基于這些發(fā)現(xiàn),Boahen開發(fā)了一個樹突的計算模型,只有當(dāng)樹突以精確的順序接收到來自神經(jīng)元的信號時才會做出反應(yīng)。這意味著每個枝晶可以編碼數(shù)據(jù),而不是像今天的電子元件一樣,只以2個1或0為基數(shù),開或關(guān)。它將使用更高的基礎(chǔ)系統(tǒng),這取決于它擁有的連接數(shù)量和它接收的信號序列的長度。
Boahen建議,一系列鐵電電容器可以模擬一段枝晶,取代場效應(yīng)晶體管的柵極堆疊,形成鐵電FET(FeFET)。他說,一個1.5微米長的五柵極FeFET可以模擬一個15?m長的具有五個突觸的樹突。
在人腦中,一個神經(jīng)元可以與數(shù)千個其他神經(jīng)元相連。Boahen說,這一人工版本可能證明“在3D芯片中是可行的”。
Boahen和他的同事現(xiàn)在獲得了200萬美元的國家科學(xué)基金會贈款,用于探索這種“dendrocentric learning”方法。11月30日,他在《自然》雜志上詳細闡述了這一概念。
更多信息可以來這里獲取==>>電子技術(shù)應(yīng)用-AET<<