什么是對(duì)抗性機(jī)器學(xué)習(xí) （AML）？AML 是對(duì)數(shù)據(jù)或代碼進(jìn)行有目的的操作，以導(dǎo)致機(jī)器學(xué)習(xí) （ML） 算法出現(xiàn)故障或出現(xiàn)錯(cuò)誤預(yù)測(cè)。AML 的一個(gè)流行例子來自 Google 的一個(gè)團(tuán)隊(duì)，他們?cè)?GoogLeNet 上進(jìn)行了一項(xiàng)實(shí)驗(yàn)，GoogLeNet 是一種卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，在 2014 年贏得了 ImageNet 大規(guī)模視覺識(shí)別挑戰(zhàn)。該程序可以更高度地預(yù)測(cè)圖像是否是長臂猿。這種類型的操作相對(duì)容易執(zhí)行，只需在原始算法中插入幾位代碼即可。

　　資料來源： 解釋和利用對(duì)抗性示例，Goodfellow 等人，ICLR 2015。

　　在論文“大規(guī)模對(duì)抗性機(jī)器學(xué)習(xí)”中，Alexey Kurakin、Ian Goodfellow 和 Sam Bengio 強(qiáng)調(diào)機(jī)器學(xué)習(xí)模型通常容易受到對(duì)抗性操縱，最重要的是，許多機(jī)器學(xué)習(xí)算法非常容易受到基于模型的小修改或輸入的攻擊。AML 的核心是利用 ML 基礎(chǔ)設(shè)施的高度脆弱性來改變預(yù)測(cè)。AML 技術(shù)的列表越來越多，但其中大多數(shù)攻擊都有可能未被發(fā)現(xiàn)。一些研究人員正在關(guān)注更有效的方法來對(duì) ML 程序進(jìn)行 AML 攻擊或微調(diào)他們的技術(shù)。其他人則專注于提高其 ML 算法的魯棒性。例如，當(dāng)算法必須針對(duì)“真實(shí)世界”數(shù)據(jù)執(zhí)行時(shí)，算法的性能指標(biāo)會(huì)降低。研究人員有目的地使用一些 AML 技術(shù)來提高其 ML 算法的魯棒性，以便模型可以處理它在現(xiàn)實(shí)世界中可能遇到的自然擾動(dòng)。一些研究致力于識(shí)別和防御 AML 攻擊。例如，DARPA 有一個(gè)名為“保證 AI 魯棒性反欺騙”的研究機(jī)構(gòu)（GARD ） 是一個(gè)框架，組織可以使用它來識(shí)別系統(tǒng)漏洞、表征將增強(qiáng)系統(tǒng)健壯性的屬性，并鼓勵(lì)創(chuàng)建有效的防御。與 ML 一樣，AML 世界并不新鮮，但由于技術(shù)進(jìn)步，AML 社區(qū)每天都有重大發(fā)現(xiàn)。這使美國國防部 （DoD） 處于有利地位，可以利用 AML 社區(qū)已經(jīng)進(jìn)行的研究并創(chuàng)建 AI 紅隊(duì)。仍有一些挑戰(zhàn)必須首先解決。

　　美國國防部正在積極努力縮小國防與工業(yè)之間人工智能 （AI） 和機(jī)器學(xué)習(xí)方面的技術(shù)差距，因?yàn)樯虡I(yè)行業(yè)處于領(lǐng)先地位。美國人工智能國家安全委員會(huì)在其最近發(fā)布的報(bào)告中提出了三個(gè)重要觀點(diǎn)。 首先，要讓軍方在人工智能和機(jī)器學(xué)習(xí)方面保持競(jìng)爭(zhēng)優(yōu)勢(shì)，美國國防部技術(shù)采購流程和文化思維需要發(fā)生重大轉(zhuǎn)變。其次，美國國防部必須到 2025 年“準(zhǔn)備好人工智能”，但缺乏這樣做所需的數(shù)字勞動(dòng)力和技術(shù)人才。第三，反洗錢是一種真正的威脅，但決策者并未將其列為優(yōu)先事項(xiàng)。這三個(gè)發(fā)現(xiàn)是美國國防部應(yīng)考慮創(chuàng)建 AI 紅隊(duì)的關(guān)鍵。

　　解決美國國防部 AI 和 ML 算法存在的漏洞將是 AI 紅隊(duì)的主要任務(wù)，但隨著團(tuán)隊(duì)的成熟，它可能還會(huì)提供其他功能。首先，該團(tuán)隊(duì)將負(fù)責(zé)評(píng)估、演示和推薦可提高美國國防部算法穩(wěn)健性的行動(dòng)。有了專門的 AI 紅隊(duì)，美國國防部將有一個(gè)中央團(tuán)隊(duì)來解決和評(píng)估 AI 和 ML 漏洞。在短期內(nèi)，這個(gè)團(tuán)隊(duì)很可能會(huì)嚴(yán)重依賴研究社區(qū)和行業(yè)合作伙伴，但美國國防部必須從某個(gè)地方開始。通過建立 AI 紅隊(duì)，它為 AML 合作伙伴關(guān)系提供了一個(gè)國防部聯(lián)絡(luò)點(diǎn)。這將包括全國的研究實(shí)驗(yàn)室、外國合作伙伴、其他聯(lián)邦機(jī)構(gòu)和學(xué)術(shù)機(jī)構(gòu)。隨著研究和學(xué)術(shù)界在人工智能、機(jī)器學(xué)習(xí)和對(duì)抗性機(jī)器學(xué)習(xí)領(lǐng)域不斷取得驚人的飛躍，美國國防部將在談判桌前占有一席之地，分享想法、新 TTP 和項(xiàng)目合作伙伴。此外，美國國防部將能夠縮小其隊(duì)伍中的培訓(xùn)和專業(yè)知識(shí)差距。雖然該團(tuán)隊(duì)最初可能因缺乏技術(shù)專長而陷入困境，但他們的運(yùn)營專長仍然有助于了解 AML 攻擊可能造成的運(yùn)營影響。

　　在短期內(nèi)，國防部可能不得不依靠外包 ML 和 AI 人才，但在專門處理 AML 問題集的任務(wù)后，由運(yùn)營專家和經(jīng)驗(yàn)豐富的技術(shù)專業(yè)人員組成的聯(lián)合團(tuán)隊(duì)將迅速開發(fā)必要的 AI 和 ML 技能集。不難看出未來，美國國防部人工智能紅隊(duì)的選擇將變得類似于申請(qǐng)空軍武器學(xué)?；虺跫?jí)密碼學(xué)職業(yè)。最后，重要的是該組織是由美國國防部領(lǐng)導(dǎo)、國防部賦予任務(wù)、國防部派出人員，以及國防部具有創(chuàng)建和執(zhí)行權(quán)力，因?yàn)閼?zhàn)爭(zhēng)的某些部分不應(yīng)外包或承包。通過建立人工智能紅隊(duì)，它為美國國防部提供了一支通過戰(zhàn)爭(zhēng)視角專注于人工智能、機(jī)器學(xué)習(xí)和反洗錢的部門。創(chuàng)造的工具和技術(shù)，培養(yǎng)的人才，解決的問題，所創(chuàng)造的成果將受到國防領(lǐng)域的推動(dòng)。在 AI 和 ML 方面，美國國防部讓行業(yè)處于領(lǐng)先地位。當(dāng)談到反洗錢時(shí)，美國國防部必須得到作為國家安全的授權(quán)。

　　Rena DeHenre 是美國空軍的一名情報(bào)官員。她最近在 MIT-Lincoln Labs 完成了研究獎(jiǎng)學(xué)金，她專注于 AML 及其在網(wǎng)絡(luò)領(lǐng)域的影響。她現(xiàn)在是高級(jí)航空航天學(xué)院的一名學(xué)生。