近日，谷歌在 distill 上發(fā)文《The Building Blocks of Interpretability》探討了如何結(jié)合特征可視化和其他可解釋性技術(shù)來理解神經(jīng)網(wǎng)絡(luò)如何做出決策，同時谷歌還發(fā)布了 Lucid（及其 GitHub），一套研究神經(jīng)網(wǎng)絡(luò)可解釋性的基礎(chǔ)架構(gòu)和工具和 colab notebooks，使得借助 Lucid 再現(xiàn)文中的可視化變得極其簡單。

2015 年，谷歌可視化神經(jīng)網(wǎng)絡(luò)理解圖像方式的早期嘗試導(dǎo)致了迷幻圖像（psychedelic images）的產(chǎn)生。不久之后，谷歌開源了 DeepDream 代碼，從而衍生出一種小型藝術(shù)流派，產(chǎn)生的作品令人驚嘆。但是谷歌并未放棄 DeepDream 背后的研究思路，并嘗試解決深度學(xué)習(xí)中最令人激動的問題之一：神經(jīng)網(wǎng)絡(luò)的自身運行方式是什么？

去年，谷歌在線上期刊 Distill 上介紹了這些技術(shù)如何展示神經(jīng)網(wǎng)絡(luò)中單個神經(jīng)元的行為，而不是 DeepDream 中給神經(jīng)網(wǎng)絡(luò)帶來有趣的部分。這使我們看到網(wǎng)絡(luò)中神經(jīng)元如何檢測所有事物（紐扣、布片、建筑），及其如何構(gòu)建成為更復(fù)雜的神經(jīng)網(wǎng)絡(luò)層。

GoogLeNet 神經(jīng)元可視化。更高層中的神經(jīng)元表示更高級的思想。

盡管可視化神經(jīng)元令人興奮，但是這項研究遺漏了一些重要的東西：這些神經(jīng)元與神經(jīng)網(wǎng)絡(luò)實際行為之間的關(guān)系。

今天，谷歌發(fā)布《The Building Blocks of Interpretability》，這篇新的 Distill 文章探討了如何結(jié)合特征可視化和其他可解釋性技術(shù)來理解神經(jīng)網(wǎng)絡(luò)如何決策。這種結(jié)合允許我們稍微「站在神經(jīng)網(wǎng)絡(luò)內(nèi)部」，看到神經(jīng)網(wǎng)絡(luò)在某一具體時刻如何決策，及其如何影響最終輸出。例如，我們可以看到神經(jīng)網(wǎng)絡(luò)如何檢測耷拉的耳朵，以提高其判斷一張圖像是「拉布拉多犬」還是「比格犬」的概率。

谷歌探索了理解神經(jīng)網(wǎng)絡(luò)中哪些神經(jīng)元處于激活狀態(tài)的技術(shù)。如果我們詢問哪些神經(jīng)元被激活，通常會得到一些沒用的答案，如「神經(jīng)元 538 有一點興奮」，而這對專家來說也沒有什么幫助。谷歌的技術(shù)通過可視化每個神經(jīng)元，使事情變得更加有意義，能夠看到「耷拉的耳朵檢測器被激活」。這可以說是神經(jīng)網(wǎng)絡(luò)的 MRI 了。

谷歌同樣可以縮小圖像，展示如何按照不同層對圖像進(jìn)行「觀察」。這允許看到網(wǎng)絡(luò)從檢測簡單的邊連接到細(xì)致的紋理、三維結(jié)構(gòu)，再到高級結(jié)構(gòu)（如耳朵、鼻子、頭和腿）的轉(zhuǎn)換。

這些見解本身已經(jīng)非常令人振奮了，但是當(dāng)把其與神經(jīng)網(wǎng)絡(luò)的最終決策聯(lián)系起來時，事情更加讓人激動。我們不僅看到網(wǎng)絡(luò)檢測出耷拉的耳朵，還看到這一檢測如何提高圖像被標(biāo)注為拉布拉多犬的概率。

除了論文之外，谷歌還發(fā)布了 Lucid，一個建立在 DeepDream 上的神經(jīng)網(wǎng)絡(luò)可視化庫。Lucid 是研究神經(jīng)網(wǎng)絡(luò)可解釋性的一套基礎(chǔ)架構(gòu)和工具。具體來說，它提供頂尖的特征可視化技術(shù)實現(xiàn)和靈活的抽象，使探索新的研究方向變得非常簡單。除了更藝術(shù)化的 DeepDream 圖像，Lucid 還允許進(jìn)行上述的特征可視化。

谷歌還發(fā)行了 colab notebooks，它們使得用 Lucid 再現(xiàn)谷歌文章中的可視化變得極其簡單。只要打開 notebook，點擊按鈕運行代碼即可，無需安裝。

在 colab notebooks 中，你可以點擊按鈕運行代碼，并查看下方結(jié)果。

GitHub 地址：https://github.com/tensorflow/lucid

這一工作只是觸及用某些可能的接口幫助理解神經(jīng)網(wǎng)絡(luò)的表面。期待社區(qū)的下一步動作，并為共同致力于加深對人們對神經(jīng)網(wǎng)絡(luò)的理解而感到興奮。