自去年周志華等研究者提出了「深度森林」以后，這種新型的層級(jí)表征方式吸引了很多研究者的關(guān)注。今日，南京大學(xué)的馮霽、俞揚(yáng)和周志華提出了多層梯度提升決策樹(shù)模型，它通過(guò)堆疊多個(gè)回歸 GBDT 層作為構(gòu)建塊，并探索了其學(xué)習(xí)層級(jí)表征的能力。此外，與層級(jí)表征的神經(jīng)網(wǎng)絡(luò)不同，他們提出的方法并不要求每一層都是可微，也不需要使用反向傳播更新參數(shù)。因此，多層分布式表征學(xué)習(xí)不僅有深度神經(jīng)網(wǎng)絡(luò)，同時(shí)還有決策樹(shù)!

近十年來(lái)，深層神經(jīng)網(wǎng)絡(luò)的發(fā)展在機(jī)器學(xué)習(xí)領(lǐng)域取得了顯著進(jìn)展。通過(guò)構(gòu)建分層或「深層」結(jié)構(gòu)，該模型能夠在有監(jiān)督或無(wú)監(jiān)督的環(huán)境下從原始數(shù)據(jù)中學(xué)習(xí)良好的表征，這被認(rèn)為是其成功的關(guān)鍵因素。成功的應(yīng)用領(lǐng)域包括計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理等 [1]。

目前，幾乎所有的深層神經(jīng)網(wǎng)絡(luò)都使用具有隨機(jī)梯度下降的反向傳播 [2，3] 作為訓(xùn)練過(guò)程中更新參數(shù)的幕后主力軍。實(shí)際上，當(dāng)模型由可微分量（例如，具有非線性激活函數(shù)的加權(quán)和）組成時(shí)，反向傳播似乎仍是當(dāng)前的最佳選擇。其他一些方法如目標(biāo)傳播 [4] 已經(jīng)被作為訓(xùn)練神經(jīng)網(wǎng)絡(luò)的替代方法被提出，但其效果和普及還處于早期階段。例如，[5_]_的研究表明，目標(biāo)傳播最多可達(dá)到和反向傳播一樣的效果，并且實(shí)際上常常需要額外的反向傳播來(lái)進(jìn)行微調(diào)。換句話說(shuō)，老掉牙的反向傳播仍然是訓(xùn)練神經(jīng)網(wǎng)絡(luò)等可微分學(xué)習(xí)系統(tǒng)的最好方法。

另一方面，探索使用非可微模塊來(lái)構(gòu)建多層或深度模型的可能性的需求不僅僅是學(xué)界的興趣所在，其在現(xiàn)實(shí)應(yīng)用上也有很大的潛力。例如，基于樹(shù)的集成（例如隨機(jī)森林 [6] 或梯度提升決策樹(shù)（GBDT）[7] 仍然是多個(gè)領(lǐng)域中建模離散或表格數(shù)據(jù)的主要方式，為此在這類數(shù)據(jù)上使用樹(shù)集成來(lái)獲得分層分布式表征是個(gè)很有趣的研究方向。在這樣的案例中，由于不能使用鏈?zhǔn)椒▌t來(lái)傳播誤差，反向傳播不再可行。這引發(fā)了兩個(gè)基本的問(wèn)題：首先，我們是否可以用非可微組件構(gòu)建多層模型，從而中間層的輸出可以被當(dāng)作分布式表征？其次，如果是這樣，如何在沒(méi)有反向傳播的幫助下，聯(lián)合地訓(xùn)練這種模型？本文的目的就在于提供這種嘗試。

近期 Zhou 和 Feng [8] 提出了深度森林框架，這是首次嘗試使用樹(shù)集成來(lái)構(gòu)建多層模型的工作。具體來(lái)說(shuō)，通過(guò)引入細(xì)粒度的掃描和級(jí)聯(lián)操作（cascading operation），該模型可以構(gòu)建多層結(jié)構(gòu)，該結(jié)構(gòu)具備適應(yīng)性模型復(fù)雜度，且能夠在多種類型的任務(wù)上取得有競(jìng)爭(zhēng)力的性能。[8] 提出的 gcForest 模型利用了集成學(xué)習(xí)多樣性增強(qiáng)的各種策略，然而該方法僅適用于監(jiān)督學(xué)習(xí)設(shè)置。同時(shí)，該論文仍然不清楚如何利用森林來(lái)構(gòu)建多層模型，并明確地測(cè)試其表征學(xué)習(xí)能力。由于很多之前的研究者認(rèn)為，多層分布式表征 [9] 可能是深度神經(jīng)網(wǎng)絡(luò)成功的關(guān)鍵，為此我們應(yīng)該對(duì)表征學(xué)習(xí)進(jìn)行這樣的探索。

該研究力求利用兩個(gè)方面的優(yōu)勢(shì)：樹(shù)集成的出色性能和分層分布式表征的表達(dá)能力（主要在神經(jīng)網(wǎng)絡(luò)中進(jìn)行探索）。具體來(lái)說(shuō)，本研究提出了首個(gè)多層結(jié)構(gòu)，每層使用梯度提升決策樹(shù)作為構(gòu)造塊，明確強(qiáng)調(diào)其表征學(xué)習(xí)能力，訓(xùn)練過(guò)程可以通過(guò)目標(biāo)傳播的變體進(jìn)行聯(lián)合優(yōu)化。該模型可以在有監(jiān)督和無(wú)監(jiān)督的環(huán)境下進(jìn)行訓(xùn)練。本研究首次證明，確實(shí)可以使用決策樹(shù)來(lái)獲得分層和分布式表征，盡管決策樹(shù)通常被認(rèn)為只能用于神經(jīng)網(wǎng)絡(luò)或可微分系統(tǒng)。理論論證和實(shí)驗(yàn)結(jié)果均表明了該方法的有效性。

3 提出的方法

這一部分機(jī)器之心并不詳細(xì)介紹，具體的方法讀者可參考原論文第三章。在一般的多層前饋結(jié)構(gòu)中，每一層都是可微函數(shù)，因此我們可以使用反向傳播傳遞梯度并高效地更新參數(shù)。但是當(dāng)每一個(gè)層級(jí)函數(shù)都是不可微或者非參數(shù)化的，那么我們就不能使用反向傳播。所以這一部分重點(diǎn)在于解決當(dāng)層級(jí)函數(shù) F_i 是梯度提升決策樹(shù)時(shí)，其參數(shù)的更新方法。

訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，初始化可以通過(guò)向每個(gè)參數(shù)分配隨機(jī)高斯噪聲來(lái)實(shí)現(xiàn)，然后該步驟移動(dòng)到下一階段，即參數(shù)更新。對(duì)于此處介紹的樹(shù)結(jié)構(gòu)模型來(lái)說(shuō)，從所有可能的樹(shù)配置分布中繪制隨機(jī)樹(shù)結(jié)構(gòu)不是一件容易的事情，因此本論文沒(méi)有隨機(jī)初始化樹(shù)結(jié)構(gòu)，而是生成一些高斯噪聲作為中間層的輸出，并訓(xùn)練一些非常小的樹(shù)來(lái)獲取，其中索引 0 表示該初始化階段獲取的樹(shù)結(jié)構(gòu)。之后訓(xùn)練步驟移動(dòng)到迭代更新正向映射和逆向映射。圖 1 和算法 1 總結(jié)了該步驟。

圖 1：訓(xùn)練 mGBDT 步驟的示意圖。

值得注意的是，[23] 利用 GPU 加速訓(xùn)練 GBDT，Korlakai & Ran [24] 展示了一種實(shí)施 GBDT drop-out 技術(shù)的高效方式，進(jìn)一步提升了性能。至于多維輸出問(wèn)題，使用 GBDT 的原始方法內(nèi)存效率較低。Si 等人 [25] 提出了解決該問(wèn)題的有效方式，可以在實(shí)踐中將內(nèi)存降低一個(gè)數(shù)量級(jí)。

4 實(shí)驗(yàn)

4.1 合成數(shù)據(jù)

為了進(jìn)行完整性檢查，研究者在合成數(shù)據(jù)集上訓(xùn)練兩個(gè)小的多層 GBDT。

如圖 2a 所示，研究者在 R^2 上得到了 1.5 萬(wàn)個(gè)點(diǎn)，分為兩個(gè)類別（70% 用于訓(xùn)練，30% 用于測(cè)試）。用于訓(xùn)練的結(jié)構(gòu)是（輸入 ? 5 ? 3 ? 輸出），其中輸入點(diǎn)在 R^2 中，輸出是 0/1 分類預(yù)測(cè)。

研究者還進(jìn)行了一項(xiàng)自動(dòng)編碼的無(wú)監(jiān)督學(xué)習(xí)任務(wù)。生成了 1 萬(wàn)個(gè) 3D 點(diǎn)，如圖 3a 所示。然后研究者用結(jié)構(gòu)為（3 - 5 - 3）的 mGBDT 構(gòu)建了一個(gè)自編碼器，MSE 為重建損失。

重建輸出如圖 3b 所示。輸入 3D 點(diǎn)的 5D 編碼不可能直接可視化，這里研究者使用一種通用策略來(lái)可視化 2D 中 5D 編碼的一些維度對(duì)，如圖 4 所示。

4.2 收入預(yù)測(cè)

收入預(yù)測(cè)數(shù)據(jù)集 [28] 包含 48, 842 個(gè)樣本（其中 32, 561 個(gè)是訓(xùn)練數(shù)據(jù)，16, 281 個(gè)是測(cè)試數(shù)據(jù)），這些樣本是表格數(shù)據(jù)，具備類別屬性和連續(xù)屬性。每個(gè)樣本包括一個(gè)人的社會(huì)背景，如種族、性別、工作種類等。這里的任務(wù)是預(yù)測(cè)這個(gè)人的年薪是否超過(guò) 50K。

圖 5：收入數(shù)據(jù)集的特征可視化。

實(shí)驗(yàn)結(jié)果見(jiàn)圖 6 和表 1。首先，基于同樣的模型結(jié)構(gòu)，多層 GBDT 森林（mGBDT）與使用反向傳播或目標(biāo)傳播（target-prop）的 DNN 方法相比取得了最高的準(zhǔn)確率。它的準(zhǔn)確率還比單個(gè) GBDT 或多個(gè) GBDT 的簡(jiǎn)單堆疊更高。其次，與期望相反，NN^TargetProp 的收斂效果不如 NN^BackProp（與 [5] 的結(jié)果一致），而使用 GBDT 層的同樣結(jié)構(gòu)可以達(dá)到更低的訓(xùn)練損失，同時(shí)避免過(guò)擬合。

圖 6：收入數(shù)據(jù)集學(xué)習(xí)曲線。

表 1：分類準(zhǔn)確率對(duì)比。對(duì)于蛋白質(zhì)數(shù)據(jù)集，使用 10 折交叉驗(yàn)證評(píng)估出的準(zhǔn)確率以平均值 ± 標(biāo)準(zhǔn)差的形式表示。

4.3 蛋白質(zhì)定位

蛋白質(zhì)數(shù)據(jù)集 [28] 是一個(gè) 10 類別分類任務(wù)，僅包含 1484 個(gè)訓(xùn)練數(shù)據(jù)，其中 8 個(gè)輸入屬性中的每一個(gè)都是蛋白質(zhì)序列的一個(gè)測(cè)量值，目標(biāo)是用 10 個(gè)可能的選擇預(yù)測(cè)蛋白質(zhì)定位位點(diǎn)。

圖 7：蛋白質(zhì)數(shù)據(jù)集的特征可視化

10 折交叉驗(yàn)證的訓(xùn)練和測(cè)試曲線用平均值繪制在圖 8 中。多層 GBDT（mGBDT）方法比神經(jīng)網(wǎng)絡(luò)方法收斂得快得多，如圖 8a 所示。

圖 8：蛋白質(zhì)數(shù)據(jù)集學(xué)習(xí)曲線。

表 2：不同模型結(jié)構(gòu)的測(cè)試準(zhǔn)確率。使用 10 折交叉驗(yàn)證評(píng)估出的準(zhǔn)確率以平均值 ± 標(biāo)準(zhǔn)差的形式表示。N/A 表示并未應(yīng)用。

論文：Multi-Layered Gradient Boosting Decision Trees 

論文鏈接：https://arxiv.org/pdf/1806.00007.pdf

摘要：多層表征被認(rèn)為是深度神經(jīng)網(wǎng)絡(luò)的關(guān)鍵要素，尤其是在計(jì)算機(jī)視覺(jué)等認(rèn)知任務(wù)中。盡管不可微模型如梯度提升決策樹(shù)（gradient boosting decision tree，GBDT）是建模離散或表格數(shù)據(jù)的主要方法，但是它們很難整合這種表征學(xué)習(xí)能力。在本文中，我們提出了多層 GBDT 森林（mGBDT），通過(guò)堆疊多個(gè)回歸 GBDT 層作為構(gòu)建塊，探索學(xué)習(xí)層級(jí)表征的能力。該模型可以使用層間目標(biāo)傳播的變體進(jìn)行聯(lián)合訓(xùn)練，無(wú)需推導(dǎo)反向傳播和可微性。實(shí)驗(yàn)和可視化均證明該模型在性能和表征學(xué)習(xí)能力方面的有效性。