上面插圖顯示了一些使用 actor-critic 方法的學(xué)習(xí)方法。（左）具有共享獎(jiǎng)勵(lì)的獨(dú)立學(xué)習(xí)者，（中）具有共享信息和共享獎(jiǎng)勵(lì)的獨(dú)立學(xué)習(xí)者，（右）具有獨(dú)立獎(jiǎng)勵(lì)的聯(lián)合學(xué)習(xí)者。美國陸軍

　　美國陸軍研究人員開發(fā)了一個(gè)開創(chuàng)性的框架，為協(xié)作多智能體系統(tǒng)的開發(fā)提供了基線。

　　該框架在調(diào)查論文“利用集中訓(xùn)練的近期多智能體強(qiáng)化學(xué)習(xí)算法調(diào)查”中有詳細(xì)介紹，該論文在 SPIE 數(shù)字圖書館中有特色。研究人員表示，這項(xiàng)工作將支持強(qiáng)化學(xué)習(xí)方法的研究，以開發(fā)協(xié)作多智能體系統(tǒng)，例如可以與未來士兵并肩工作的機(jī)器人團(tuán)隊(duì)。

　　“我們認(rèn)為潛在的信息共享機(jī)制在多智能體系統(tǒng)的集中學(xué)習(xí)中起著關(guān)鍵作用，但研究界對這種現(xiàn)象的研究有限，”美國陸軍研究員兼計(jì)算機(jī)科學(xué)家皮尤什·K·夏爾馬博士說，他來自美國陸軍作戰(zhàn)能力發(fā)展司令部（ DEVCOM）陸軍研究實(shí)驗(yàn)室?！拔覀儗?qiáng)化學(xué)習(xí)算法及其信息共享范式的最先進(jìn)技術(shù)進(jìn)行了這項(xiàng)調(diào)查，以此為基礎(chǔ)詢問有關(guān)多智能體系統(tǒng)集中學(xué)習(xí)的基本問題，以提高它們的協(xié)同工作能力。”

　　Sharma 在該項(xiàng)目上的合作者包括 DEVCOM ARL 研究人員 Drs。Erin Zaroukian、Rolando Fernandez、Michael Dorothy、Derrik Asher 和 Anjon Basak，橡樹嶺聯(lián)合大學(xué)獎(jiǎng)學(xué)金計(jì)劃的博士后研究員。

　　這項(xiàng)對強(qiáng)化學(xué)習(xí)最先進(jìn)技術(shù)的調(diào)查為尋求通過增強(qiáng)的信息共享機(jī)制（例如獎(jiǎng)勵(lì)功能或觀察和狀態(tài)空間共享）開發(fā)自主多智能體系統(tǒng)的研究人員建立了基線。

　　由于復(fù)雜環(huán)境的動態(tài)特性，可能會受到維度災(zāi)難的影響，因此同時(shí)訓(xùn)練多個(gè)智能體更加困難；夏爾馬說，代理越多，協(xié)調(diào)就越復(fù)雜。本文開發(fā)了一個(gè)框架來表征經(jīng)常令人困惑且不易理解的關(guān)鍵信息共享參數(shù)。

　　研究人員預(yù)測，集中訓(xùn)練可能是更快開發(fā)自主系統(tǒng)的解決方案，這些系統(tǒng)可以在未來靈活地與士兵一起工作。

　　“一致、集中的訓(xùn)練可以使多智能體系統(tǒng)更可靠地協(xié)同工作，提高人工智能士兵的信任水平，”夏爾馬說?！熬唧w來說，我們專注于識別和表征最新集中式學(xué)習(xí)算法的基礎(chǔ)數(shù)學(xué)框架。”

　　美國陸軍研究人員開發(fā)了一個(gè)開創(chuàng)性的框架，為協(xié)作多代理系統(tǒng)的開發(fā)提供了基線。信用：Spc。艾德琳·威瑟斯彭

　　他說，這樣的數(shù)學(xué)模型可以提供一種途徑來探索替代的集中學(xué)習(xí)技術(shù)，以衡量它們對學(xué)習(xí)率和緊急協(xié)作行為的影響。

　　該調(diào)查在兩個(gè)方面超越了先前的研究文獻(xiàn)：

　　創(chuàng)建強(qiáng)化學(xué)習(xí)算法最新技術(shù)的綜合視圖

　　概述了一種描述集中學(xué)習(xí)期間共享信息的新方法

　　研究人員專注于五到六年內(nèi)發(fā)布的算法。由于這些算法是最新的，研究界還沒有對它們進(jìn)行廣泛的探索。在出版時(shí)，他們沒有找到全面的先前工作。

　　研究人員試圖對共享機(jī)制進(jìn)行定義和分類，以實(shí)際共享什么而不是如何共享為導(dǎo)向。他們樂觀地認(rèn)為，他們已經(jīng)發(fā)現(xiàn)了最近的強(qiáng)化學(xué)習(xí)技術(shù)中值得進(jìn)一步研究的差距，這些差距可能會增強(qiáng)代理培訓(xùn)過程。

　　研究人員表示，他們樂觀地認(rèn)為，這項(xiàng)調(diào)查將引發(fā)對機(jī)器學(xué)習(xí)問題空間的討論和進(jìn)一步探索，以訓(xùn)練自主多智能體系統(tǒng)。

　　“隨著商業(yè)行業(yè)對多代理系統(tǒng)協(xié)同工作的需求變得越來越普遍，例如亞馬遜倉庫機(jī)器人、英特爾在 2018 年冬季奧運(yùn)會上的無人機(jī)展。也出現(xiàn)了對這些多代理系統(tǒng)技術(shù)的新興需求，以協(xié)助陸軍在協(xié)同戰(zhàn)術(shù)行動中，”夏爾馬說?！斑@份調(diào)查文件產(chǎn)生的研究可以實(shí)現(xiàn)可靠的協(xié)作人工智能的目標(biāo)?！?/p>

　　展望未來，團(tuán)隊(duì)感覺更有能力研究基于多智能體強(qiáng)化學(xué)習(xí)的方法的特定方面，這些方法以集中方式訓(xùn)練智能體。

　　Sharma 說，集中式技術(shù)有一定的局限性，因此他們還將對現(xiàn)有的分散式學(xué)習(xí)技術(shù)進(jìn)行實(shí)證分析。他們計(jì)劃轉(zhuǎn)向多智能體強(qiáng)化學(xué)習(xí)訓(xùn)練的建模和模擬，以驗(yàn)證和擴(kuò)展智能體學(xué)習(xí)、行為和協(xié)調(diào)的理論。