《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 其他 > 新品快遞 > PyTorch Lightning 0.9發(fā)布

PyTorch Lightning 0.9發(fā)布

2020-09-02
來源:雷鋒網(wǎng)
關(guān)鍵詞: PyTorchLightning API

  最新的PyTorch Lightning發(fā)行版本包括了具有更好的數(shù)據(jù)解耦,更短的日志記錄語(yǔ)法和大量bug修復(fù)的最終API

  我們很高興今天發(fā)布了PyTorch Lightning 0.9.0,其中包含了許多超贊的新特性,并且我們這次修復(fù)的bug比之前任何的發(fā)行版本都多,但最重要的是介紹了我們主要的最終API更改!

  Lightning正在被世界各地的頂級(jí)研究人員和人工智能實(shí)驗(yàn)室所使用,我們正在努力確保為所有最新最佳的實(shí)踐提供流暢的體驗(yàn)和支持。

  在這個(gè)版本中,我們引入了兩個(gè)新的主要的(也是最后一個(gè))API更改:

5f4f16f7cff97.png

  Lightning 的意義就是讓你的代碼更具可讀性和結(jié)構(gòu)化。

  我們將模型架構(gòu)從工程中分離出來,并且繼續(xù)對(duì)數(shù)據(jù)進(jìn)行同樣的處理。為了在項(xiàng)目間共享和重用數(shù)據(jù)分割和轉(zhuǎn)換,我們創(chuàng)建了LightningDataModule。

  LightningDataModule 是一個(gè)可共享、可重用的類,它封裝了訓(xùn)練所需的所有步驟:

  下載/標(biāo)記/處理。

  清理并保存到磁盤以便重用。

  在內(nèi)存或即時(shí)加載到Dataset里。

  應(yīng)用變換(旋轉(zhuǎn),標(biāo)記等)。

  裝載到Dataloader。

  LightningDataModule 可以在任何地方共享和使用:

2.jpg

  在這段視頻中,PyTorch Lightning的深度學(xué)習(xí)研究工程師Nate Raw將為你一步步介紹:


  介紹視頻

  你可以在這里查看有關(guān)新的數(shù)據(jù)模塊(DataModule)的文檔。

  每步的結(jié)果

  我們向Lightning中添加了兩類新的結(jié)果對(duì)象:TrainResult和EvalResult。它們是用來保存訓(xùn)練/評(píng)估/測(cè)試每一步輸出的精致的字典對(duì)象。它們是用來控制在哪里和什么時(shí)候記錄日志,以及如何在加速器之間進(jìn)行同步:

  在 training_step 中使用 TrainResult 自動(dòng)記錄結(jié)果:

 5f4f17fb756cd.png

  我們添加到 TrainResult 的 train_loss 會(huì)自動(dòng)地在 tensorboard 上產(chǎn)生日志(你也可以使用我們支持的其他日志記錄器)

20200902_143439_004.png

  TrainResult 默認(rèn)在訓(xùn)練的每一步上記錄。

  使用EvalResult 在validation_step 或test_step 中自動(dòng)記錄

  EvalResult 默認(rèn)在每個(gè)迭代之后記錄。

20200902_143439_006.png

  跨設(shè)備同步

  當(dāng)在多個(gè)GPU/CPU/TPU內(nèi)核上進(jìn)行訓(xùn)練時(shí),你可以計(jì)算記錄的日志指標(biāo)的全局平均值,如下所示:

  result.log(‘train_loss', loss, sync_dist=True)

  更多日志選項(xiàng),請(qǐng)查看我們的文檔。

  0.9版本的其他亮點(diǎn)包括:

  支持PyTorch 1.6

  支持在多GPU上保存測(cè)試時(shí)的預(yù)測(cè)結(jié)果

  支持將模型導(dǎo)出為ONNX格式

  支持更多sklearn的指標(biāo),如SSIM, BLEU

  增加了DDP下的SyncBN

  支持通過gfile訪問遠(yuǎn)程目錄

  在這里閱讀完整的發(fā)布說明。

  我們還升級(jí)了我們的文檔,在幾秒鐘視頻內(nèi)就可以演示 Lightning 的核心功能!看看它們吧,讓我們知道你接下來還想看到什么!

  我們要感謝所有無(wú)私奉獻(xiàn)的貢獻(xiàn)者,感謝他們的辛勤工作,感謝社會(huì)各界的幫助。如果沒有你們,我們肯定走不到這一步。試一試,在我們的#slack上分享你的項(xiàng)目,并繼續(xù)關(guān)注我們的下一個(gè)1.0版本!

  雷鋒字幕組是一個(gè)由 AI 愛好者組成的翻譯團(tuán)隊(duì),匯聚五百多位志愿者的力量,分享最新的海外AI資訊,交流關(guān)于人工智能技術(shù)領(lǐng)域的行業(yè)變革與技術(shù)創(chuàng)新的見解。

  團(tuán)隊(duì)成員有大數(shù)據(jù)專家、算法工程師、圖像處理工程師、產(chǎn)品經(jīng)理、產(chǎn)品運(yùn)營(yíng)、IT咨詢?nèi)恕⒃谛熒?;志愿者們來自IBM、AVL、Adobe、阿里、百度等知名企業(yè),北大、清華、港大、中科院、南卡羅萊納大學(xué)、早稻田大學(xué)等海內(nèi)外高校研究所。

  

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請(qǐng)及時(shí)通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。