Facebook <a class="innerlink" href="http://theprogrammingfactory.com/tags/arget="_blank">AI" target="_blank">AI 推出 Ego4D
近日，F(xiàn)acebook AI 宣布推出 Ego4D，這是一個雄心勃勃的長期項目，為的就是解決以自我為中心的感知領(lǐng)域的研究挑戰(zhàn)。
研究者匯集了一個由 9 個國家的 13 所大學和實驗室組成的聯(lián)盟，他們在野外收集了 700 多名參與者的日常生活，超過 2,200 小時的第一人稱視頻。
Ego4D 是一個具有多樣性的大規(guī)模的以第一人稱視角為中心的數(shù)據(jù)集。它由來自全球 9 個不同國家 74 個地點的 855 名獨特參與者收集的 3025 小時視頻組成。該項目匯集了 88 名國際財團的研究人員，以大幅提高公開的以自我為中心的數(shù)據(jù)規(guī)模，使其在錄像時間方面比任何其他數(shù)據(jù)集都大 20 倍以上。
AI 也可以體驗第一視覺
Facebook 首席研究科學家克里斯汀·格勞曼 （Kristen Grauman） 表示，今天的計算機視覺系統(tǒng)不像人類那樣與第一人稱和第三人稱視角相關(guān)聯(lián)。
就像是，將計算機視覺系統(tǒng)綁在過山車上，即使它是根據(jù)從地面邊線顯示的數(shù)十萬張過山車的圖像或視頻進行訓練的，但是它也不知道它在看什么。
為了讓人工智能系統(tǒng)能夠像我們一樣的方式與世界互動，人工智能領(lǐng)域需要發(fā)展到一種全新的第一人稱感知范式，“格勞曼在一份聲明中說?！边@意味著人工智能在實時運動、交互和多感官觀察的背景下，通過人眼理解日常生活活動?！?/p>
Facebook AI 還開發(fā)了五個以第一人稱視覺體驗為中心的基準挑戰(zhàn)，這將推動未來 AI 助手向現(xiàn)實世界應(yīng)用的發(fā)展。
例如，”我把鑰匙放哪兒了？“”手機在哪里？“”有看到我的充電線嗎？“這種場景別提有多熟悉了，幾乎每天都會上場。
Ego4D 的第一個基準挑戰(zhàn)是情景記憶（Episodic memory）。
關(guān)鍵就是什么時候發(fā)生的？AI 可以通過檢索過去以自我為中心的視頻中的關(guān)鍵時刻來回答自由形式的問題并擴展個人記憶。
你可以問 AI 助手各種各樣的問題，例如：我把孩子最喜歡的泰迪熊放哪兒了？
下一步就是進行預(yù)測：接下來可能會做什么？
人工智能可以理解佩戴者的行為會如何影響這個人未來的狀態(tài)，比如這個人可能會移動到哪里，他們可能會觸摸什么物體，或者他們接下來可能會從事什么活動。預(yù)測行動不僅需要認識到已經(jīng)發(fā)生的事情，還需要展望未來，預(yù)測下一步行動。這樣AI系統(tǒng)就可以在當下提供有用的指導。
例如，就在你想要再次準備向鍋里加鹽時，你的人工智能助手會趕緊通知你”等等，您已經(jīng)加鹽了“
第三個挑戰(zhàn)基準就是手-物之間的互動（Hand and object manipulation）也是難點和關(guān)鍵的一步，因為AI需要理解在做什么，如何做？
學習手如何與物體互動對于AI指導我們的日常生活至關(guān)重要。AI必須檢測第一人稱的人-物交互，識別抓取，并檢測物體狀態(tài)變化。這種推動力也受到機器人學習的推動，機器人可以通過視頻中觀察到的人們的經(jīng)驗間接獲得經(jīng)驗。
因此，當你在烹飪一份食譜時，AI 助手可以指導你需要哪些配料，需要先做什么，了解你已經(jīng)做了什么，指導你完成每一個關(guān)鍵步驟。
人類可以用聲音來理解世界，未來的人工智能也要學會這種視聽記錄（Audio-visual diarization）。
如果你正在上一堂重要的課，但因收到的信息而分了心，你可以問AI：”教授把我們的試卷收上去之后，課堂討論的主要話題是什么？“
這個就是第四個挑戰(zhàn)基準 - 視聽分類
我正在與誰互動，如何互動？例如”如何在嘈雜的地方更好地聽到別人說話的聲音“
社會互動（Social interaction）是 Ego4D 的最后一個方向。
除了識別視覺和聲音提示外，理解社交互動是智能 AI 助手的核心。一個社交智能的 AI 會理解誰在和誰說話，誰在關(guān)注誰。
所以，下次參加晚宴時，即使再嘈雜，AI 助手可以幫助你專注于桌子對面和你說話的人在說什么。
以上這些基準挑戰(zhàn)都是以第一人稱視覺為中心的人工智能的基本構(gòu)建模塊，這將讓 AI 不僅可以在現(xiàn)實世界中理解和互動，還可以在元宇宙中進行理解和交互，構(gòu)成更有用的 AI 助手和其他未來創(chuàng)新的基礎(chǔ)。
解開真實數(shù)據(jù)集
基準和數(shù)據(jù)集在歷史上被證明是人工智能行業(yè)創(chuàng)新的關(guān)鍵催化劑。畢竟，今天的 CV 系統(tǒng)幾乎可以識別圖像中的任何對象，它是建立在數(shù)據(jù)集和基準（例如 MNIST、COCO 和 ImageNet）之上的，它們?yōu)檠芯咳藛T提供了一個用于研究真實世界圖像的試驗臺。
但是以自我為中心的感知是一個全新的領(lǐng)域。我們不能使用昨天的工具來構(gòu)建明天的創(chuàng)新。Ego4D 前所未有的規(guī)模和多樣性對于引入下一代智能 AI 系統(tǒng)至關(guān)重要。
為了構(gòu)建這個數(shù)據(jù)集，每所合作大學的團隊向研究者分發(fā)了頭戴式攝像頭和其他可穿戴傳感器，以便他們能夠捕捉第一人稱、無腳本視頻。日常生活。
參與者從日常場景中錄制大約8分鐘的視頻片段，例如雜貨店購物、烹飪和邊玩游戲邊交談以及與家人和朋友一起參與其他集體活動。
Ego4D 捕捉了佩戴攝像機的人在特定環(huán)境中選擇注視的內(nèi)容，用手或是面前的物體做了什么，以及他們?nèi)绾我缘谝蝗朔Q視覺與其他人進行互動。
與現(xiàn)有數(shù)據(jù)集相比，Ego4D 數(shù)據(jù)集提供了更大的場景、人物和活動的多樣性，這增加了針對不同背景、種族、職業(yè)和年齡的人訓練的模型的適用性。
Ego4D 及以后的下一步是什么？
Facebook AI 試圖通過 Ego4D 項目打造一條全新的道路，以構(gòu)建更智能、更具交互性和靈活性的計算機視覺系統(tǒng)。
隨著人工智能對人們正常生活方式有了更深入的理解，它可以開始以前所未有的方式對交互體驗進行情境化和個性化。
Grauman表示：”Ego4D 使人工智能有可能獲得根植于物理和社會世界的知識，這些知識是通過生活在其中的人的第一人稱視角收集的?！啊庇纱碎_始，人工智能不僅會更好地了解周圍的世界，有一天它可能還會實現(xiàn)個性化——它能知道你最喜歡的咖啡杯，或者為你的下一次家庭旅行指引路線?！?/p>
有了 Ego4D 的基準支持，配合上在全新數(shù)據(jù)集中的訓練，AI 助手有可能以非常獨特和有意義的方式提供很多的價值，例如，幫助回憶起最近與同事交談中的關(guān)鍵信息，或者指導制作新的晚餐食譜，新的宜家家居等。
Facebook 表示，從這一系列工作中獲得的價值將推動我們走向未來的現(xiàn)實。
瑪麗皇后大學的人工智能研究員Mike Cook認為，從積極的角度來說，至少就目前而言，這是一個非常棒的大型數(shù)據(jù)集。
但，這實際上并沒有解決人工智能中的一個緊迫挑戰(zhàn)或問題……除非你是一家想要銷售可穿戴相機的科技公司。它確實告訴你更多關(guān)于Facebook的未來計劃，但是……他們向它注入資金并不意味著它一定會變得重要。
