近年來，我們目睹了“深度學(xué)習(xí)”的興起，這一領(lǐng)域試圖實(shí)現(xiàn)類似于人類行為的推理和智能水平。

人工神經(jīng)網(wǎng)絡(luò)（ANN）精煉出的數(shù)學(xué)公式是相對于能夠有效運(yùn)行這些網(wǎng)絡(luò)的物理設(shè)備的開發(fā)而開發(fā)的。人們經(jīng)常拿計(jì)算機(jī)和人類大腦進(jìn)行比較，它們的底層結(jié)構(gòu)截然不同。神經(jīng)網(wǎng)絡(luò)的一個(gè)明顯特性是它們的蜂窩狀特性。因此，基本的“cell”結(jié)構(gòu)是探索的方面之一，一個(gè)顯而易見的原因是它多次重復(fù)。因此，效率的重要性。將是本文討論的重點(diǎn)。

ANN理論指引

人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)是一大堆稱為神經(jīng)元的元素，通常以緊密相連的束排列。簡而言之，神經(jīng)元是一種特征在于具有多個(gè)輸入和單個(gè)輸出的單元。單元的輸出是輸入的直接函數(shù)，每個(gè)輸入在對輸出的總體貢獻(xiàn)中得到不同的“關(guān)注”，這種“關(guān)注”水平通常被稱為權(quán)重。此外，輸出可能帶有一些閾值效應(yīng)，只有當(dāng)神經(jīng)元超過閾值（也稱為“已觸發(fā)”）時(shí)才會(huì)產(chǎn)生響應(yīng)。連接到“射擊”（firing）神經(jīng)元的線下神經(jīng)元的相關(guān)輸入將被“激發(fā)”，并且該過程將在整個(gè)網(wǎng)絡(luò)中傳輸以達(dá)到最終輸出。

圖1 ：神經(jīng)元生物學(xué)靈感（左）及其人工，概念等效圖（右）。樹突作為輸入; 軸突是輸出，聚合發(fā)生在“細(xì)胞”內(nèi)。

在定義等效模型時(shí)，最常見的方法是加權(quán)求和，并將非線性應(yīng)用于輸出。這種方法在以簡單而有意義的方式捕捉概念的本質(zhì)方面非常有用。然而，在嘗試捕獲生物行為的更精細(xì)方面時(shí)，要尋求更復(fù)雜的模型。這些反映了可能導(dǎo)致更完整的神經(jīng)元描述的其他屬性，并且出于實(shí)際原因，可以提供克服基本表示法固有的一些性能障礙的實(shí)現(xiàn)替代方案。

模擬神經(jīng)元行為的選項(xiàng)涉及時(shí)域，頻域和幅域表示。這些選項(xiàng)可以用閉合的數(shù)學(xué)形式很容易地表達(dá)，如下所述。

直接的離散模型，將神經(jīng)元表示為輸入的加權(quán)和（圖2a）; 脈沖序列，其中脈沖序列代表活動(dòng)，它們的時(shí)間速率決定激發(fā)水平 - 這是表示人體中神經(jīng)細(xì)胞活動(dòng)的最接近表示的圖形（圖2b）和連續(xù)表示。

圖2：a）離散（b）脈沖和（c）連續(xù)模型的數(shù)學(xué)表示。

模擬和數(shù)字實(shí)現(xiàn)

用于神經(jīng)元實(shí)現(xiàn)的各種方法需要解決兩個(gè)基本問題：（i）處理 - 負(fù)責(zé)計(jì)算輸入和權(quán)重輸出的部分；（ii）數(shù)據(jù)傳輸 - 負(fù)責(zé)數(shù)據(jù)傳輸和存儲的部分。

雖然采用數(shù)字電路實(shí)現(xiàn)在現(xiàn)代大規(guī)模IC設(shè)計(jì)中更為常見，但最近的方法越來越多地通過模擬電路實(shí)現(xiàn)。神經(jīng)元的數(shù)字實(shí)現(xiàn)基于乘法和累加電路。每個(gè)操作都涉及讀取輸入和權(quán)重，并產(chǎn)生中間結(jié)果。該過程重復(fù)多次。在求和結(jié)束之后，需要將非線性應(yīng)用于結(jié)果值，并且將結(jié)果呈現(xiàn)為神經(jīng)元輸出。每N個(gè)循環(huán)可獲得一次結(jié)果。此后應(yīng)存儲該結(jié)果。

圖3：數(shù)字電路構(gòu)建功能塊

模擬電路則利用信號的連續(xù)性來表示某些物理電平的總和（例如，電壓電位的總和，或電流的總和），并獲得免除有限世界長度表示問題的連續(xù)信號。

圖4：模擬電路構(gòu)建的功能塊（連續(xù)操作）

模擬電路的另一種變型是基于脈沖的電路，其利用恒定幅度的脈沖序列的概念。在這種情況下，激勵(lì)水平取決于速率。這個(gè)概念大部分類似于腦神經(jīng)元活動(dòng)。

圖5：模擬電路構(gòu)建的功能塊（脈沖操作）

在模擬情況下，數(shù)據(jù)存儲是一項(xiàng)非常重要的挑戰(zhàn)。它可以通過轉(zhuǎn)換到數(shù)字域來解決，這意味著需要進(jìn)行某種模數(shù)轉(zhuǎn)換，同時(shí)在獲取數(shù)據(jù)時(shí)進(jìn)行數(shù)據(jù)和數(shù)模轉(zhuǎn)換?；蛘撸敵隹梢灾苯羽佀偷较乱患?，從而避免任何存儲操作。如果設(shè)計(jì)能夠支持所需的帶寬，則后一種方法是高效的。如果需要，可以應(yīng)用一些電容以允許帶寬控制。（注意：圖3、4和5顯示了實(shí)現(xiàn)每個(gè)前面提到的方法的一個(gè)選項(xiàng)，并沒有包含所有實(shí)現(xiàn)細(xì)節(jié)）

性能

在研究各種方法的性能時(shí)，很明顯，雖然數(shù)字化方案已經(jīng)得到了很好的建立，但它受到CMOS技術(shù)障礙的限制，如~0.4V的晶體管級閾值電壓，低于3GHz的標(biāo)準(zhǔn)單元、與工藝相關(guān)的最大時(shí)鐘頻率和占空比限制。對于單個(gè)8位乘加運(yùn)算，這將導(dǎo)致處理節(jié)點(diǎn)的下界約為~100fJ。

相反，模擬電路在理論上受熱噪聲的約束，熱噪聲大約為0.01fJ。這比數(shù)字電路低四個(gè)數(shù)量級。因此，有理由基于模擬計(jì)算結(jié)構(gòu)構(gòu)建電路。然而，實(shí)際部署受到各種問題的挑戰(zhàn)，例如將數(shù)據(jù)傳遞到所描述的大量計(jì)算單元，與其連接相關(guān)的寄生效應(yīng)，有效存儲輸出以及最終轉(zhuǎn)化為大規(guī)模設(shè)計(jì)流程和批量生產(chǎn)技術(shù)的能力。在實(shí)踐中，有報(bào)告表明，計(jì)算單元的可實(shí)現(xiàn)能量為1~10fJ。在這些實(shí)現(xiàn)中，實(shí)際上計(jì)算單元能量變得可以忽略不計(jì)，然而，總能量主要由周圍電路和存儲單元支配。

總而言之，在基于數(shù)字電路構(gòu)建的功能塊之上的X10~X100的實(shí)際效率在小規(guī)模下是可以實(shí)現(xiàn)的，但是一旦單元規(guī)模擴(kuò)大，其效率就會(huì)迅速下滑。 

圖6：相關(guān)的操作域圖

圖6是不同方法的定性描述。模擬電路的效率損失主要是由于實(shí)現(xiàn)損耗（即，檢測器電路具有一些內(nèi)部噪聲，其降低了信噪比并且需要更好的裕度）。在這種情況下，脈沖方法具有較低的檢測閾值。放大模擬解決方案時(shí)，會(huì)觀察到噪聲耦合。這種效應(yīng)隨著解決方案規(guī)模的增長而增長（在連續(xù)方法中更為顯著）。數(shù)字方法受這種耦合效應(yīng)的影響較小。實(shí)際上，從模擬到數(shù)字的能量差距歸因于更高的電壓電平和工作頻率，這在模擬情況下要高得多。

實(shí)際上，大規(guī)模電路設(shè)計(jì)在過去幾十年中已經(jīng)成熟，且獲得的行業(yè)經(jīng)驗(yàn)不容易被忽視。因此，可擴(kuò)展性和產(chǎn)品化在很大程度上限制了使基于模擬的解決方案成為解決一般問題的主要方法的能力。此外，在系統(tǒng)層面，不能忽視次要貢獻(xiàn)者。一旦計(jì)算單元貢獻(xiàn)降低到合理水平，進(jìn)一步改進(jìn)就變得不那么重要了。

系統(tǒng)層面

到目前為止，這個(gè)討論一直致力于構(gòu)建功能塊級別。但是，忽略系統(tǒng)的其余部分是不完整的。系統(tǒng)級分析應(yīng)該考慮所有貢獻(xiàn)者，并考慮到在某個(gè)時(shí)刻基本處理的改進(jìn)因素可以忽略不計(jì)的事實(shí)。能量分布就是這種情況。

迄今為止，在運(yùn)行機(jī)器學(xué)習(xí)任務(wù)時(shí)，最先進(jìn)的解決方案正在努力達(dá)到0.1~1TOPS / W. 這相當(dāng)于每次操作1~10pJ。如前所述，由于0.1pJ的神經(jīng)元平臺的數(shù)字實(shí)現(xiàn)，然后90％~99％的能量仍然存在于包括存儲單元、控制結(jié)構(gòu)和總線架構(gòu)的其他領(lǐng)域中。因此，利用潛力進(jìn)行架構(gòu)改造至關(guān)重要。僅通過轉(zhuǎn)換到模擬方案回收的能量上限為所消耗的總能量的10%。

對照

下表列出了各種方法的一些關(guān)鍵屬性，并總結(jié)了上面提到的大多數(shù)項(xiàng)目。

表1：模擬和數(shù)字電路基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的比較

結(jié)語

總而言之，顯而易見的是，機(jī)器學(xué)習(xí)的活躍特性將帶來新的和有趣的技術(shù)，這些技術(shù)將逐步成熟并滿足各種市場需求。

模擬解決方案在神經(jīng)網(wǎng)絡(luò)計(jì)算引擎領(lǐng)域展現(xiàn)出了巨大的發(fā)展?jié)摿?。一旦成熟，它很可能成為各種神經(jīng)計(jì)算解決方案中的補(bǔ)充元素，并可能解決一些具有挑戰(zhàn)性的案例。盡管如此，由于其有限的可擴(kuò)展性，技術(shù)節(jié)點(diǎn)敏感度，以及它提供的解決方案與相對有限的應(yīng)用程序子集相關(guān)，而數(shù)字解決方案可提供有效的解決方案，因此，目前還很難預(yù)見基于模擬電路的解決方案何時(shí)能在該領(lǐng)域?qū)崿F(xiàn)靈活的替代，并占據(jù)主導(dǎo)地位。

原文鏈接：http://www.eenewsanalog.com/news/analog-and-digital-circuits-machine-learning