近日，OpenAI 宣布了一項(xiàng)重大決策，將其安全與安全委員會(huì)升級(jí)為獨(dú)立的董事會(huì)監(jiān)督委員會(huì)。

這一舉措旨在加強(qiáng)對(duì)公司 AI 模型開(kāi)發(fā)和部署過(guò)程的安全監(jiān)管，同時(shí)也反映了業(yè)界對(duì) AI 安全問(wèn)題日益增長(zhǎng)的關(guān)注。

根據(jù) OpenAI 的博客文章，這個(gè)新成立的獨(dú)立董事會(huì)監(jiān)督委員會(huì)將由齊科·科爾特（Zico Kolter）擔(dān)任主席?？茽柼厥敲绹?guó)卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)科學(xué)學(xué)院機(jī)器學(xué)習(xí)部門(mén)的主任，在 AI 領(lǐng)域具有深厚的學(xué)術(shù)背景。

委員會(huì)的其他成員包括： OpenAI 董事會(huì)成員&Quora 聯(lián)合創(chuàng)始人亞當(dāng)·德安杰洛（Adam D'Angelo）、前美國(guó)國(guó)家安全局局長(zhǎng)保羅·納卡索尼（Paul Nakasone），以及曾任索尼公司執(zhí)行副總裁的妮可·塞利格曼（Nicole Seligman）。

這個(gè)獨(dú)立委員會(huì)的主要職責(zé)是監(jiān)督“指導(dǎo) OpenAI 模型部署和開(kāi)發(fā)的安全和安全流程”。

具體來(lái)說(shuō)，委員會(huì)將被授權(quán)審查公司重大模型發(fā)布的安全評(píng)估，并有權(quán)延遲模型發(fā)布，直到安全問(wèn)題得到解決。

這一權(quán)力的賦予意味著，委員會(huì)在公司的決策過(guò)程中將扮演更為關(guān)鍵的角色。

最近，在該委員會(huì)完成為期 90 天的安全和安全相關(guān)流程及保障措施審查后，OpenAI 決定成立這個(gè)獨(dú)立委員會(huì)。

這次審查不僅評(píng)估了公司現(xiàn)有的安全措施，還為未來(lái)的發(fā)展方向提供了建議。

值得注意的是，該公司選擇將這些發(fā)現(xiàn)以公開(kāi)博客文章的形式發(fā)布，體現(xiàn)了其在提高透明度方面的努力。

委員會(huì)提出的五個(gè)關(guān)鍵建議包括：建立獨(dú)立的安全治理制度、加強(qiáng)安全措施、提高工作透明度、與外部組織合作、以及統(tǒng)一公司的安全框架。

這些建議不僅反映了當(dāng)前 AI 行業(yè)面臨的挑戰(zhàn)，也從中能夠看出 OpenAI 的發(fā)展方向。

就在上周，OpenAI 發(fā)布了名為 o1 的新 AI 模型預(yù)覽版，該模型專(zhuān)注于推理和解決復(fù)雜問(wèn)題。

委員會(huì)審查了 OpenAI 用于評(píng)估 o1 模型是否適合發(fā)布的安全和安全標(biāo)準(zhǔn)，以及安全評(píng)估結(jié)果，展示了新成立的獨(dú)立委員會(huì)在公司重大決策中的實(shí)際參與。

值得一提的是，在實(shí)際應(yīng)用中，新 o1 模型會(huì)阻止用戶挖掘其思維鏈的詳細(xì)描述和實(shí)踐方法。同時(shí)，OpenAI 還會(huì)對(duì)試圖這樣做的用戶發(fā)送封號(hào)警告。

如果用戶在與 o1 對(duì)話中使用“reasoning trace”（推理追蹤）等術(shù)語(yǔ)，甚至僅僅詢問(wèn)模型的“reasoning”（推理），就可能收到警告郵件。

這些郵件警告用戶停止違反使用條款和使用政策的行為，否則可能失去使用 GPT-4o with Reasoning（o1 模型的內(nèi)部名稱）的訪問(wèn)權(quán)限。

這種嚴(yán)格的管控引起了一些安全研究人員的不滿。負(fù)責(zé) Mozilla 的 GenAI 漏洞賞金計(jì)劃的馬可·菲格羅亞（Marco Figueroa）對(duì)媒體表示，這種做法阻礙了他對(duì)模型進(jìn)行積極的紅隊(duì)安全研究的能力。

至于這樣做的原因，OpenAI 在其博客文章中解釋稱，這些原始的、未經(jīng)審查的思維過(guò)程，對(duì)于監(jiān)控和理解模型的思維非常有用。比如，未來(lái)也許用其來(lái)了解思維鏈中是否存在操縱用戶的情況。

然而，OpenAI 決定不向用戶展示這些原始思維鏈，原因包括需要保留原始數(shù)據(jù)供自己使用、用戶體驗(yàn)考慮以及競(jìng)爭(zhēng)優(yōu)勢(shì)。

這一決定引起了獨(dú)立 AI 研究員西蒙·威利森（Simon Willison）的不滿。他認(rèn)為，這種做法是為了防止其他模型能夠針對(duì) OpenAI 投資的推理工作進(jìn)行訓(xùn)練，但這對(duì)社區(qū)透明度是一種損失。

OpenAI 的這些舉措引發(fā)了對(duì) AI 行業(yè)發(fā)展方向的深度思考。

一方面，設(shè)立獨(dú)立安全委員會(huì)表明了該公司對(duì) AI 安全的重視；另一方面，嚴(yán)格控制新模型的內(nèi)部工作原理，又引發(fā)了對(duì)技術(shù)透明度的擔(dān)憂。

這種矛盾反映了 AI 行業(yè)面臨的復(fù)雜挑戰(zhàn)：如何在保護(hù)商業(yè)利益和推動(dòng)技術(shù)創(chuàng)新的同時(shí)，確保足夠的透明度和安全性。

OpenAI 的做法可能會(huì)影響其他 AI 公司的策略，也可能推動(dòng)行業(yè)對(duì) AI 模型的透明度和可解釋性展開(kāi)更廣泛的討論。

自 2022 年底推出 ChatGPT 以來(lái)，OpenAI 經(jīng)歷了爆發(fā)式增長(zhǎng)。然而，伴隨著快速發(fā)展的還有一系列爭(zhēng)議和高層員工的離職。一些現(xiàn)任和前任員工對(duì)公司過(guò)快增長(zhǎng)，表示出可能影響安全運(yùn)營(yíng)方面的擔(dān)憂。

今年 7 月，多位民主黨參議員致信 OpenAI 的 CEO 山姆·奧特曼（Sam Altman），就“OpenAI 如何應(yīng)對(duì)新出現(xiàn)的安全問(wèn)題”提出質(zhì)詢。

此前的 6 月，OpenAI 的現(xiàn)任和前任員工發(fā)表公開(kāi)信，描述了他們對(duì)缺乏監(jiān)督以及缺乏針對(duì)想要發(fā)聲的舉報(bào)人保護(hù)的擔(dān)憂。

OpenAI 的這一舉措可能會(huì)對(duì)整個(gè) AI 行業(yè)產(chǎn)生深遠(yuǎn)影響，它為其他公司如何平衡創(chuàng)新與安全提供了可能的模板。

這種做法在某種程度上，類(lèi)似于 Meta 公司的監(jiān)督委員會(huì)。Meta 負(fù)責(zé)審查 Meta 內(nèi)容的政策決定，并能夠?qū)υ摴颈仨氉袷氐氖马?xiàng)做出裁決。

然而，值得注意的是，OpenAI 安全委員會(huì)的成員同時(shí)也是公司更廣泛的董事會(huì)成員，這使得委員會(huì)的獨(dú)立性和結(jié)構(gòu)還有待進(jìn)一步澄清。

相比之下，Meta 的監(jiān)督委員會(huì)成員都不是該公司董事會(huì)的成員，這在獨(dú)立性方面可能更勝一籌。

OpenAI 對(duì)媒體表示，將尋求“更多方式來(lái)分享和解釋我們的安全工作”，并尋找更多機(jī)會(huì)進(jìn)行獨(dú)立系統(tǒng)測(cè)試，從而提高透明度和可信度，以應(yīng)對(duì)公眾和監(jiān)管機(jī)構(gòu)對(duì) AI 安全的關(guān)切。