日前，第13屆國際學(xué)習(xí)表征會議（International Conference on Learning Representations，簡稱ICLR）公布論文錄用結(jié)果，云天勵飛4篇論文被錄用。
關(guān)于ICLR
ICLR 是深度學(xué)習(xí)領(lǐng)域的頂級會議，關(guān)注有關(guān)深度學(xué)習(xí)各個方面的前沿研究，在人工智能、統(tǒng)計和數(shù)據(jù)科學(xué)領(lǐng)域以及機器視覺、語音識別、文本理解等重要應(yīng)用領(lǐng)域中發(fā)布了眾多極其有影響力的論文。會議具有廣泛且深遠的國際影響力，與 NeurIPS、ICML 并稱為機器學(xué)習(xí)領(lǐng)域三大頂會。
錄用論文一覽
1. 《Taming Transformer Without Using Learning Rate Warmup》
Transformer模型是現(xiàn)在大模型的最重要的基礎(chǔ)模型，但訓(xùn)練過程中，它常常面臨諸如梯度爆炸、模型崩潰等問題。這篇論文從矩陣微分的角度推導(dǎo)了self-attention的反向梯度公式，通過該反向傳播公式的推導(dǎo)，作者定位到了模型崩潰的一個核心問題：(Wq)'Wk矩陣在訓(xùn)練的過程中，它的譜能量集中到了幾個方向，最終導(dǎo)致所有的X塌陷到一個點上。通過理論的推導(dǎo)，作者得出了一種簡單的方案，通過控制（Wq)'Wk矩陣的奇異值的快速增長，來阻止能量的過度集中，作者將提出的方法稱之為AdamW2。
實驗證明，該方法無需依賴學(xué)習(xí)率預(yù)熱（Learning Rate Warmup），就可以有效緩解訓(xùn)練初期因?qū)W習(xí)率過大導(dǎo)致的不穩(wěn)定或發(fā)散問題。作者通過在ViT、GPT和Swin-Transformer模型上的大量實驗，驗證了AdamW2的有效性，證明其在無需學(xué)習(xí)率預(yù)熱的情況下，依然能夠?qū)崿F(xiàn)穩(wěn)定訓(xùn)練，并取得與使用學(xué)習(xí)率預(yù)熱相當(dāng)?shù)男阅?。這一成果為Transformer模型的訓(xùn)練提供了全新的視角和方法，具有重要的理論意義和實踐價值。
論文地址：
https://openreview.net/forum?id=GeUK3zGreN&referrer=%5BAuthor%20Console%5D(%2Fgroup%3Fid%3DICLR.cc%2F2025%2FConference%2FAuthors%23your-submissions)
2.《BiGR : Harnessing Binary Latent Codes for Image Generation and Improved Visual Representation Capabilities》
這篇論文介紹了一個新的圖像生成模型 BiGR，它能生成高質(zhì)量的圖像，同時還能提升圖像的視覺表示能力。BiGR 通過使用二進制代碼來表示圖像，并結(jié)合一種特殊的編碼器和解碼器來生成圖像。模型基于 Transformer 架構(gòu)，使用掩碼建模方法進行訓(xùn)練，通過預(yù)測被掩碼的二進制代碼來生成圖像。
作者在多個任務(wù)上對BiGR進行了驗證，包括類別生圖、文生圖。實驗表明，BiGR 在生成圖像的質(zhì)量和視覺表示能力上都優(yōu)于現(xiàn)有的模型。此外，BiGR 還展示了在多種視覺任務(wù)上的零樣本泛化能力，比如圖像修復(fù)、編輯和插值等，無需針對特定任務(wù)進行結(jié)構(gòu)調(diào)整或參數(shù)微調(diào)，是一個在圖像生成和視覺表示方面都很有潛力的模型。
論文地址：
https://openreview.net/forum?id=1Z6PSw7OL8&referrer=%5BAuthor%20Console%5D(%2Fgroup%3Fid%3DICLR.cc%2F2025%2FConference%2FAuthors%23your-submissions)
3. 《Exploring A Principled Framework for Deep Subspace Clustering》現(xiàn)有深度子空間聚類方法在處理復(fù)雜數(shù)據(jù)時常面臨特征崩潰的問題，即學(xué)習(xí)到的特征塌縮至低維空間，導(dǎo)致聚類效果不理想。為應(yīng)對這一挑戰(zhàn)，本文提出了一種名為PRO-DSC（Principled fRamewOrk for Deep Subspace Clustering）的深度子空間聚類框架。通過引入有效的正則化項，該方法成功緩解了特征崩潰現(xiàn)象。實驗結(jié)果顯示，PRO-DSC在合成數(shù)據(jù)及多個真實數(shù)據(jù)集上的表現(xiàn)均優(yōu)于現(xiàn)有方法。例如，在CIFAR-10和CIFAR-100數(shù)據(jù)集上，其聚類準(zhǔn)確率分別達到97.2%和71.6%，顯著超越其他方法。這一研究為深度子空間聚類提供了全新的高效解決方案。論文地址：https://openreview.net/forum?id=7psWohxvxp&referrer=%5BAuthor%20Console%5D(%2Fgroup%3Fid%3DICLR.cc%2F2025%2FConference%2FAuthors%23your-submissions)
4. 《Unposed Sparse Views Room Layout Reconstruction in the Age of Pretrain Model》該論文提出了一種創(chuàng)新的3D基礎(chǔ)模型——Plane-DUSt3R，能夠直接從多張照片中一步完成房間3D布局的重建，極大簡化了傳統(tǒng)流程。該方法無需預(yù)先獲取相機的位置和角度信息，也不要求照片之間存在重疊部分，即可實現(xiàn)房間布局的重建。這一特性在實際應(yīng)用中尤為實用，因為許多情況下，我們手頭的照片往往是隨意拍攝的，拍攝角度和位置并不固定。而傳統(tǒng)方法通常需要經(jīng)過復(fù)雜步驟，例如先估計相機位置與角度，再進行圖像匹配和三角測量，這不僅流程繁瑣，還容易出錯。DUSt3R的引入顯著簡化了這一過程。我們的方法Plane-DUSt3R在DUSt3R基礎(chǔ)上，提出了一種新穎的獨立的多視圖（稀疏視圖）房間布局估計方法。
實驗結(jié)果顯示，該方法在多個數(shù)據(jù)集上均表現(xiàn)出色，不僅在合成數(shù)據(jù)集上優(yōu)于現(xiàn)有方法，在真實世界的數(shù)據(jù)集上也展現(xiàn)了強大的泛化能力。例如，在Structure3D數(shù)據(jù)集上，Plane-DUSt3R在3D平面精度和召回率方面均實現(xiàn)了超過5%的提升，進一步驗證了其卓越性能。
論文地址：https://openreview.net/forum?id=DugT77rRhW&referrer=%5BAuthor%20Console%5D(%2Fgroup%3Fid%3DICLR.cc%2F2025%2FConference%2FAuthors%23your-submissions)
