沒(méi)有好問(wèn)題，就沒(méi)有好答案。

　　百度版的ChatGPT會(huì)如何呈現(xiàn)？

　　百度技術(shù)積累如何，比起谷歌微軟的搜索會(huì)有什么優(yōu)勢(shì)？

　　百度的大模型參數(shù)比ChatGPT多近50%，質(zhì)量會(huì)更好嗎？

　　————

　　之前文章提過(guò)，北京時(shí)間2月7日，谷歌發(fā)布了Bard，直接與ChatGPT競(jìng)爭(zhēng)，而微軟緊接著發(fā)布了新Bing，這個(gè)ChatGPT技術(shù)支持的搜索引擎驚艷四座。兩家公司分別上漲了4%多一點(diǎn)。

　　同樣在2月7日，百度對(duì)外證實(shí)正在打造中國(guó)版的類(lèi)ChatGPT項(xiàng)目，隨即，百度股票漲了15%。百度的微信官宣，項(xiàng)目名為文心一言（英文名ERNIE Bot）。其中，“ERNIE”是“Enhanced Representation through Knowledge Integration”的縮寫(xiě)，即“通過(guò)知識(shí)集成實(shí)現(xiàn)增強(qiáng)型表達(dá)”。

　　資本市場(chǎng)給予了類(lèi)ChatGPT項(xiàng)目很高的期待。2月1日，便有消息傳出，百度將于3月在國(guó)內(nèi)推出類(lèi)似ChatGPT的智能聊天程序，截至當(dāng)日收盤(pán)，百度港股股價(jià)報(bào)收于144.3港元，漲幅達(dá)到8.66%。

　　美國(guó)投行麥格理稱(chēng)，百度可見(jiàn)的上行驚喜將會(huì)是公司有機(jī)會(huì)在中國(guó)推出類(lèi)似ChatGPT的人工智能(AI)聊天機(jī)器人，該公司將百度2023年、2024年兩年經(jīng)調(diào)整每股盈測(cè)分別上調(diào)13%、4%，并預(yù)計(jì)2023年經(jīng)調(diào)整經(jīng)營(yíng)利潤(rùn)率將提高2.4個(gè)百分點(diǎn)至18.3%。資管巨頭貝萊德則增加持倉(cāng)，將其在百度的持股比例增至6.6％，成為該公司最大股東之一。但隨后2月8日百度股價(jià)有所回落，2月9日百度股價(jià)低開(kāi)低走。

　　為什么百度股票漲得這么多？

　　百度方面表示，“百度是國(guó)內(nèi)少有的擁有大模型技術(shù)的企業(yè)，其從2019年開(kāi)始進(jìn)行大模型探索，打造文心大模型家族，包含PLATO、ERNIE 3.0等多個(gè)NLP大模型，其中PLATO也主打?qū)υ?huà)交互。從技術(shù)上看，文心過(guò)往在NLP模型上的實(shí)踐，將成為百度打造‘文心一言’的基礎(chǔ)。”

　　據(jù)百度方面介紹，開(kāi)發(fā)中國(guó)的ChatGPT，百度并不是從零開(kāi)始，百度在人工智能領(lǐng)域已經(jīng)深耕數(shù)十年了。

　　目前的文心系列大模型參數(shù)規(guī)模達(dá)到2600億，比GPT-3的1750億參數(shù)多48.5%。具備跨模態(tài)、跨語(yǔ)言的深度語(yǔ)義理解與生成能力，表現(xiàn)超越谷歌的T5和OpenAI的GPT-3，是全球最大的中文單體模型。

　　百度同時(shí)具備人工智能需要的算力、算法和數(shù)據(jù)，并且在底層的芯片、深度學(xué)習(xí)框架、大模型以及最上層的搜索等應(yīng)用四層技術(shù)棧均有布局。擁有產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)文心大模型ERNIE ，具備跨模態(tài)、跨語(yǔ)言的深度語(yǔ)義理解與生成能力。

　　許多人表示，看好百度以及相關(guān)廠(chǎng)商在國(guó)內(nèi)的布局能力，原因是他們有中文語(yǔ)言?xún)?yōu)勢(shì)，有國(guó)內(nèi)領(lǐng)域相關(guān)數(shù)據(jù)積累。當(dāng)然，國(guó)內(nèi)廠(chǎng)商目前在基礎(chǔ)模型及預(yù)訓(xùn)練模型方面與國(guó)外有差距。但相信會(huì)在不久的將來(lái)會(huì)減少差距。在特定的場(chǎng)景，各有優(yōu)勢(shì)。

　　百度的野心

　　就在ChatGPT上線(xiàn)后不久，2022年12月末的百度全員會(huì)（內(nèi)部稱(chēng)為“簡(jiǎn)單之約”）上，百度創(chuàng)始人、董事長(zhǎng)兼CEO李彥宏就被員工問(wèn)到如何評(píng)價(jià)引發(fā)巨大關(guān)注的 ChatGPT，以及百度有什么部署。

　　李彥宏當(dāng)時(shí)說(shuō)道：“最近有許多人問(wèn)類(lèi)似的問(wèn)題，不只是同業(yè)、同領(lǐng)域的朋友，還有許多不同領(lǐng)域，跨界的人都在關(guān)注，很高興我們天天琢磨的技術(shù)方向，能夠讓這么多人關(guān)注，確實(shí)是挺不容易的。”

　　“我們做了這么多年的AI之后，發(fā)現(xiàn)過(guò)去AI試圖理解人、模仿人，現(xiàn)在AI可以生成內(nèi)容?！崩顝┖晖嘎叮鋵?shí)在這個(gè)領(lǐng)域，百度在過(guò)去很多年都有技術(shù)的積累。

　　百度表示，目前文心一言（英文名ERNIE Bot）在做上線(xiàn)前的沖刺準(zhǔn)備工作，預(yù)計(jì)三月份完成內(nèi)測(cè)，面向公眾開(kāi)放。

　　從商業(yè)價(jià)值上看，OpenAI已經(jīng)初步證明了ChatGPT的商業(yè)化可行性。OpenAI預(yù)測(cè)，2023年將實(shí)現(xiàn)收入2億美元，2024年將超過(guò)10億美元。Sam Altman 最近對(duì)投資者表示，OpenAI很快就能產(chǎn)生高達(dá)10億美元的年收入，部分是通過(guò)向消費(fèi)者和企業(yè)收取產(chǎn)品費(fèi)用實(shí)現(xiàn)的。

　　而微軟的發(fā)布會(huì)上，新搜索Bing和新瀏覽器Edge都放大了OpenAI技術(shù)的價(jià)值，說(shuō)明了其對(duì)搜索引擎的賦能是改變搜索引擎市場(chǎng)格局的關(guān)鍵。

　　百度的野心首先是在搜索上，有接近百度相關(guān)人士向記者透露，百度搜索早就接入了文心相關(guān)技術(shù)。

　　去年9月，李彥宏公開(kāi)表示，人工智能發(fā)展在“技術(shù)層面和商業(yè)應(yīng)用層面，都有方向性改變”。

　　在近期流出的一份百度內(nèi)部講話(huà)中，李彥宏再次強(qiáng)調(diào)“技術(shù)已經(jīng)到了臨界點(diǎn)，類(lèi)似ChatGPT這樣的技術(shù)如何運(yùn)用在搜索場(chǎng)景上，未來(lái)一年，在這方面我們非常有機(jī)會(huì)”。

　　2月8日，經(jīng)媒體披露，百度CEO李彥宏2023年一季度OKR關(guān)鍵任務(wù)為“引領(lǐng)搜索體驗(yàn)的代際變革”。

　　顯然，百度搜索或?qū)⑷€(xiàn)接入文心一言，搜索產(chǎn)品將迎來(lái)顛覆性變化。一些相關(guān)功能已陸續(xù)在百度搜索內(nèi)上線(xiàn)或內(nèi)測(cè)，包括多答案回復(fù)、智能生成等。

　　另外，小度將融合文心一言的全面能力打造針對(duì)智能設(shè)備場(chǎng)景的人工智能模型，“小度靈機(jī)”應(yīng)用到小度全系產(chǎn)品。

　　從百度相關(guān)商標(biāo)注冊(cè)的范圍看，百度未來(lái)會(huì)把AI技術(shù)鋪開(kāi)到更廣泛的應(yīng)用范圍。百度已申請(qǐng)注冊(cè)多件“ERNIE”、“ERNIEAI”、“ERNIENLP”、“ERNIE-VILG”商標(biāo)，國(guó)際分類(lèi)包括網(wǎng)站服務(wù)、科學(xué)儀器，商標(biāo)最早申請(qǐng)時(shí)間是2019年6月，最新申請(qǐng)于今年1月3日，多件商標(biāo)已注冊(cè)成功。

　　其他大廠(chǎng)摩拳擦掌

　　除百度之外，國(guó)內(nèi)各個(gè)大廠(chǎng)也在試圖抓住ChatGPT帶來(lái)的熱度。

　　列舉如下：

　　阿里

　　此前，有媒體報(bào)道，阿里達(dá)摩院正在研發(fā)類(lèi)chatgpt的對(duì)話(huà)機(jī)器人，從曝光截圖來(lái)看，阿里巴巴可能將ai大模型技術(shù)與釘釘生產(chǎn)力工具深度結(jié)合。阿里確認(rèn)，其ChatGPT產(chǎn)品也已經(jīng)在研發(fā)中，目前處于內(nèi)測(cè)階段。據(jù)透露，新產(chǎn)品可實(shí)現(xiàn)的功能包括知識(shí)問(wèn)答、AI繪畫(huà)、代碼生成、小說(shuō)續(xù)寫(xiě)、文案撰寫(xiě)、寫(xiě)詩(shī)作詞等。也就是說(shuō)，不僅ChatGPT具備的能力它都能實(shí)現(xiàn)，而且多了“AI繪畫(huà)”這項(xiàng)功能。

　　據(jù)了解，2023年1月，阿里巴巴達(dá)摩院曾發(fā)布2023年十大科技趨勢(shì)，其中多模態(tài)預(yù)訓(xùn)練大模型、生成式ai在列。在這些可能照進(jìn)現(xiàn)實(shí)的科技趨勢(shì)中，達(dá)摩院認(rèn)為，基于多模態(tài)的預(yù)訓(xùn)練大模型將實(shí)現(xiàn)圖文音統(tǒng)一知識(shí)表示，成為人工智能（ai）基礎(chǔ)設(shè)施。生產(chǎn)式ai進(jìn)入應(yīng)用爆發(fā)期，將極大推動(dòng)數(shù)字內(nèi)容生產(chǎn)與創(chuàng)造。

　　360

　　2月7日，三六零在互動(dòng)平臺(tái)表示，公司的人工智能研究院從2020年開(kāi)始一直在包括類(lèi)ChatGPT技術(shù)在內(nèi)的AIGC技術(shù)上有持續(xù)性的投入，但截至目前僅作為內(nèi)部業(yè)務(wù)自用的生產(chǎn)力工具使用，且投資規(guī)模及技術(shù)水平與當(dāng)前的ChatGPT 3相比還有較大差距，各項(xiàng)技術(shù)指標(biāo)只能做到略強(qiáng)于ChatGPT 2。

　　由于訓(xùn)練數(shù)據(jù)源及應(yīng)用方向的原因，在中文環(huán)境下的實(shí)際效果強(qiáng)于ChatGPT 2。360在數(shù)據(jù)資源端有豐富的多模態(tài)大數(shù)據(jù)積累和相關(guān)語(yǔ)料，尤其是中文語(yǔ)料，相較于國(guó)外同行落后的是預(yù)訓(xùn)練大模型和有效的多模態(tài)數(shù)據(jù)清洗與融合技術(shù)。公司有充足的資金儲(chǔ)備可用于購(gòu)買(mǎi)大規(guī)模算力，在繼續(xù)深入自行研發(fā)的同時(shí)，不排除尋找強(qiáng)有力的合作伙伴，以開(kāi)放的心態(tài)搭建多方共享平臺(tái)、補(bǔ)足短板，快速縮小差距。公司也計(jì)劃盡快推出類(lèi)ChatGPT技術(shù)的demo版產(chǎn)品。AIGC技術(shù)除了在搜索引擎的應(yīng)用之外，還可以輔助數(shù)字安全能力的提升。

　　網(wǎng)易

　　2月8日，據(jù)報(bào)道，網(wǎng)易有道未來(lái)或?qū)⑼瞥鯟hatGPT同源技術(shù)產(chǎn)品，應(yīng)用場(chǎng)景圍繞在線(xiàn)教育。網(wǎng)易有道一度漲超18%。

　　據(jù)相關(guān)負(fù)責(zé)人透露，網(wǎng)易有道的AI團(tuán)隊(duì)此前便投入到ChatGPT同源技術(shù)產(chǎn)品的研發(fā)。去年底嘗試AIGC在教育場(chǎng)景中的落地應(yīng)用，包括但不限于AI口語(yǔ)老師、中文作文打分和評(píng)價(jià)等。網(wǎng)易有道還表示，其在學(xué)習(xí)和翻譯場(chǎng)景下積累了豐富的多模態(tài)數(shù)據(jù)和相關(guān)語(yǔ)料，一直通過(guò)有道智云平臺(tái)向外輸出。

　　近年來(lái)，團(tuán)隊(duì)在神經(jīng)網(wǎng)絡(luò)翻譯、計(jì)算機(jī)視覺(jué)、智能語(yǔ)音AI技術(shù)、高性能計(jì)算等關(guān)鍵技術(shù)方面均取得重要突破。

　　“產(chǎn)品的最終形態(tài)團(tuán)隊(duì)還在討論中，需要匹配用戶(hù)需求來(lái)決定，智能硬件、在線(xiàn)課程都可能是考慮落地的場(chǎng)景?！本W(wǎng)易有道稱(chēng)。

　　騰訊

　　騰訊稱(chēng)，目前在相關(guān)方向上已有布局，專(zhuān)項(xiàng)研究也在有序推進(jìn)。騰訊持續(xù)投入AI等前沿技術(shù)的研發(fā)，基于此前在AI大模型、機(jī)器學(xué)習(xí)算法以及NLP等領(lǐng)域的技術(shù)儲(chǔ)備，將進(jìn)一步開(kāi)展前沿研究及應(yīng)用探索。據(jù)悉，2月3日，騰訊科技（深圳）有限公司申請(qǐng)的“人機(jī)對(duì)話(huà)方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”專(zhuān)利獲授權(quán)。

　　ChatGPT將是騰訊發(fā)展的一個(gè)巨大機(jī)遇，聊天式界面天然與微信相洽，許多人都在期待騰訊的時(shí)間表。

　　京東

　　2月9日，京東集團(tuán)副總裁、IEEE Fellow何曉冬表示，京東一直在ChatAI 和AIGC賽道上推進(jìn)，但更聚焦2B行業(yè)，近期將有進(jìn)一步突破，包括在這一賽道上推出下一代產(chǎn)品。何曉冬透露，京東云旗下言犀人工智能平臺(tái)，將依托自身10余年智能對(duì)話(huà)經(jīng)驗(yàn)的積累，加上在京東零售、物流、金融、健康等各業(yè)務(wù)的多年實(shí)踐，日均千萬(wàn)次智能交互，未來(lái)借助ChatGPT等相關(guān)技術(shù)成果，將加速我國(guó)在人工智能的應(yīng)用落地。而結(jié)合京東大規(guī)模、豐富的應(yīng)用場(chǎng)景和多年的技術(shù)積累，聚焦文本、聲音和數(shù)字人生成4個(gè)方面開(kāi)展工作。

　　京東云旗下言犀人工智能應(yīng)用平臺(tái)宣布推出產(chǎn)業(yè)版ChatGPT：ChatJD，并公布了ChatJD的落地應(yīng)用路線(xiàn)圖“125”計(jì)劃。包含一個(gè)平臺(tái)、兩個(gè)領(lǐng)域、五個(gè)應(yīng)用。

　　1個(gè)平臺(tái)是指ChatJD智能人機(jī)對(duì)話(huà)平臺(tái)，即自然語(yǔ)言處理中理解和生成任務(wù)的對(duì)話(huà)平臺(tái)，預(yù)計(jì)參數(shù)量達(dá)千億級(jí)；2個(gè)領(lǐng)域分別為零售、金融；5個(gè)應(yīng)用包含內(nèi)容生成、人機(jī)對(duì)話(huà)、用戶(hù)意圖理解、信息抽取、情感分類(lèi)，涵蓋零售和金融行業(yè)復(fù)用程度最高的應(yīng)用場(chǎng)景。

　　作業(yè)幫

　　作業(yè)幫也向媒體透露，關(guān)于ChatGPT在教育領(lǐng)域的應(yīng)用，該公司已經(jīng)在做一些小樣測(cè)試，主要還是在原來(lái)作業(yè)幫的產(chǎn)品上，等產(chǎn)品成熟度較高后，會(huì)在聰明學(xué)系統(tǒng)里進(jìn)行應(yīng)用。

　　作業(yè)幫表示，多年來(lái)其在預(yù)訓(xùn)練語(yǔ)言模型中有持續(xù)投入，在教育相關(guān)場(chǎng)景下的多個(gè)垂類(lèi)應(yīng)用都有落地，包括題意理解、知識(shí)點(diǎn)分類(lèi)、作文批改、智能質(zhì)檢等。

　　“比如，行業(yè)之前做考試批閱的普遍做法是圍繞圖像比對(duì)來(lái)進(jìn)行，現(xiàn)在我們已經(jīng)能對(duì)一些數(shù)學(xué)題本身進(jìn)行測(cè)算和深度理解、處理，這其實(shí)是相似的技術(shù)?！弊鳂I(yè)幫執(zhí)行總裁蘇靜表示。

　　科大訊飛

　　科大訊飛表示，已于2022年12月進(jìn)一步啟動(dòng)生成式預(yù)訓(xùn)練大模型任務(wù)攻關(guān)。2023年5月6日，將進(jìn)行產(chǎn)品級(jí)發(fā)布，AI學(xué)習(xí)機(jī)將成為該項(xiàng)技術(shù)率先落地的產(chǎn)品。其技術(shù)突破將在中英文作文輔導(dǎo)、中英文口語(yǔ)學(xué)習(xí)等方面帶來(lái)顯著提升。

　　消息放出后，科大訊飛股價(jià)一度上漲30%，2月10日午盤(pán)，科大訊飛上漲4.66%。

　　字節(jié)跳動(dòng)

　　唯一不跟風(fēng)的是字節(jié)跳動(dòng)，2月9日有傳聞稱(chēng)，字節(jié)跳動(dòng)的人工智能實(shí)驗(yàn)室(AI Lab)有開(kāi)展類(lèi)似ChatGPT和AIGC的相關(guān)研發(fā)，未來(lái)或?yàn)槠煜碌腜ICO公司提供技術(shù)支持。但 PICO相關(guān)負(fù)責(zé)人直接對(duì)傳聞進(jìn)行了否認(rèn)，表示，PICO目前沒(méi)有采用類(lèi)似ChatGPT技術(shù)的產(chǎn)品規(guī)劃。不過(guò)，對(duì)于AI Lab是否正在研發(fā)ChatGPT，字節(jié)跳動(dòng)沒(méi)有做出回應(yīng)。

　　在中國(guó)的AI模型中，你最看好哪一家？

　　百度 ERNIE發(fā)展歷程

　　文心( ERNIE) 依托百度的深度學(xué)習(xí)平臺(tái)飛槳打造，將機(jī)器理解語(yǔ)言的水平提升到新的高度，全面刷新了各項(xiàng)NLP任務(wù)的世界最好效果，取得了諸多權(quán)威語(yǔ)義評(píng)測(cè)比賽的世界冠軍。 除語(yǔ)言理解外，提出的基于多流機(jī)制生成完整語(yǔ)義片段語(yǔ)言生成技術(shù)ERNIE-GEN、知識(shí)增強(qiáng)跨模態(tài)語(yǔ)義理解技術(shù)ERNIE-ViL等，均達(dá)到世界領(lǐng)先水平。自2019年誕生至今，在語(yǔ)言理解、文本生成、跨模態(tài)語(yǔ)義理解等領(lǐng)域取得多項(xiàng)技術(shù)突破，在公開(kāi)權(quán)威語(yǔ)義評(píng)測(cè)中斬獲了十余項(xiàng)世界冠軍。

　　文心平臺(tái)基于領(lǐng)先的語(yǔ)義理解核心技術(shù)，內(nèi)置百度自研業(yè)界效果領(lǐng)先的預(yù)訓(xùn)練模型集ERNIE和全面領(lǐng)先的算法集，將文本數(shù)據(jù)處理、基于深度學(xué)習(xí)的模型訓(xùn)練、模型評(píng)估和上線(xiàn)部署等NLP開(kāi)發(fā)流程進(jìn)行易用性封裝，為NLP開(kāi)發(fā)者提供一整套效果領(lǐng)先、簡(jiǎn)單易用、高效靈活的NLP模型開(kāi)發(fā)服務(wù)，文心平臺(tái)已廣泛應(yīng)用于金融、通信、教育、電商等行業(yè)。

　　下面簡(jiǎn)單回顧下其發(fā)展歷程。

　　2019年3月，ERNIE 1.0 問(wèn)世

　　2019年3月，百度開(kāi)發(fā)了文心ERNIE語(yǔ)言模型，推出1.0版。

　　百度文心大模型是基于國(guó)產(chǎn)深度學(xué)習(xí)框架發(fā)展的，打造了自主創(chuàng)新的AI底座，大幅降低了AI開(kāi)發(fā)和應(yīng)用的門(mén)檻，滿(mǎn)足真實(shí)場(chǎng)景中的應(yīng)用需求，真正發(fā)揮大模型驅(qū)動(dòng)AI規(guī)?；瘧?yīng)用的產(chǎn)業(yè)價(jià)值。文心大模型的一大特色是“知識(shí)增強(qiáng)”，即引入知識(shí)圖譜，將數(shù)據(jù)與知識(shí)融合，提升了學(xué)習(xí)效率及可解釋性。

　　2019年12月，文心就在國(guó)際權(quán)威的通用語(yǔ)言理解評(píng)估基準(zhǔn) GLUE 上，首次突破90分，超過(guò)人類(lèi)水平3個(gè)百分點(diǎn)，刷新榜單得分并獲得全球第一。

　　2020年，ERNIE榮獲WAIC最高獎(jiǎng)

　　2020年3月，在全球最大規(guī)模之一的語(yǔ)義評(píng)測(cè) SemEval 2020上取得了5項(xiàng)世界冠軍。2020年7月，文心登頂視覺(jué)常識(shí)推理權(quán)威榜單 VCR。

　　2020年7月，文心在多模態(tài)語(yǔ)義理解領(lǐng)域取得突破，提出了業(yè)界首個(gè)基于場(chǎng)景圖知識(shí)增強(qiáng)的多模態(tài)預(yù)訓(xùn)練模型ERNIE-ViL，在多項(xiàng)典型多模態(tài)任務(wù)上刷新世界最好效果。2020年7月9日，文心ERNIE榮獲世界人工智能大會(huì)WAIC最高獎(jiǎng)項(xiàng)SAIL獎(jiǎng) (Super AI Leader，卓越人工智能引領(lǐng)者)。

　　從這時(shí)開(kāi)始，百度搜索就開(kāi)始應(yīng)用“文心大模型”技術(shù)，深度賦能搜索的相關(guān)性、深度問(wèn)答和內(nèi)容理解等。百度全系列產(chǎn)品都在逐步使用文心大模型。

　　2021年5月，開(kāi)源四個(gè)ERNIE預(yù)訓(xùn)練模型

　　2021年5月20日，依靠飛槳外圍框架，百度文心 ERNIE 最新開(kāi)源四大預(yù)訓(xùn)練模型：多粒度語(yǔ)言常識(shí)加強(qiáng)模型 ERNIE-Gram、長(zhǎng)文本了解模型 ERNIE-Doc、交融場(chǎng)景圖常識(shí)的跨模態(tài)了解模型 ERNIE-ViL、語(yǔ)言與視覺(jué)一體的模型 ERNIE-UNIMO。

　　針對(duì)以后預(yù)訓(xùn)練模型現(xiàn)存的難點(diǎn)痛點(diǎn)，此次文心 ERNIE 開(kāi)源的四大預(yù)訓(xùn)練模型不僅在文本語(yǔ)義了解、長(zhǎng)文本建模和跨模態(tài)了解三大畛域獲得沖破，還領(lǐng)有寬泛的利用場(chǎng)景和前景，進(jìn)一步助力產(chǎn)業(yè)智能化降級(jí)。

　　基于ERNIE，對(duì)百度搜索也進(jìn)行了升級(jí)，又要求將大模型作為整個(gè)系統(tǒng)的核心引擎，應(yīng)用于檢索和生成，并將搜索引擎升級(jí)為檢索生成雙模系統(tǒng)。

　　2021年12月，發(fā)布2600億參數(shù)的ERNIE 3.0

　　2021年12月 鵬城-百度·文心(ERNIE 3.0 Titan)正式發(fā)布，該模型參數(shù)規(guī)模達(dá)到2600億，比 GPT-3 的參數(shù)量多 48.5% 。這是目前全球最大中文單體模型，在機(jī)器閱讀理解、文本分類(lèi)、語(yǔ)義相似度計(jì)算等60多項(xiàng)任務(wù)取得最好效果，并在30余項(xiàng)小樣本和零樣本任務(wù)上刷新基準(zhǔn)。

　　不過(guò)，大模型不僅僅是比模型參數(shù)，跟語(yǔ)料和訓(xùn)練方法，人工監(jiān)督的參與都有關(guān)系。所以，谷歌出的16000億參數(shù)的模型，依然不如GPT-3。百度的這個(gè)模型，可能也有較多差距。但大概率比中國(guó)的某家機(jī)構(gòu)推出的萬(wàn)億參數(shù)的模型好。

　　ERNIE 3.0首次在百億級(jí)和千億級(jí)預(yù)訓(xùn)練模型中引入大規(guī)模知識(shí)圖譜，提出了海量無(wú)監(jiān)督文本與大規(guī)模知識(shí)圖譜的平行預(yù)訓(xùn)練方法。通過(guò)將大規(guī)模知識(shí)圖譜的實(shí)體關(guān)系與大規(guī)模文本數(shù)據(jù)同時(shí)輸入到預(yù)訓(xùn)練模型中進(jìn)行聯(lián)合掩碼訓(xùn)練，促進(jìn)了結(jié)構(gòu)化知識(shí)和無(wú)結(jié)構(gòu)文本之間的信息共享，大幅提升了模型對(duì)于知識(shí)的記憶和推理能力。在此基礎(chǔ)上，ERNIE 3.0 提出了將通用語(yǔ)義表示與任務(wù)語(yǔ)義表示相結(jié)合的模型框架，該框架融合自編碼和自回歸等不同的任務(wù)語(yǔ)義表示網(wǎng)絡(luò)，既可同時(shí)處理語(yǔ)言理解和語(yǔ)言生成任務(wù)，還能做無(wú)標(biāo)注數(shù)據(jù)的零樣本學(xué)習(xí)（Zero-shot Learning）和有標(biāo)注數(shù)據(jù)的微調(diào)訓(xùn)練（Fine-tuning）。

　　在此基礎(chǔ)上，鵬城-百度·文心中提出了可控學(xué)習(xí)和可信學(xué)習(xí)算法。

　　在可控學(xué)習(xí)方面，模型具備了不同類(lèi)型的零樣本生成能力。使用者可以將指定的體裁、情感、長(zhǎng)度、主題、關(guān)鍵詞等屬性自由組合，無(wú)需標(biāo)注任何樣本，便可生成新的類(lèi)型的文本。在可信學(xué)習(xí)方面，鵬城-百度·文心通過(guò)自監(jiān)督的對(duì)抗訓(xùn)練，讓模型學(xué)習(xí)區(qū)分?jǐn)?shù)據(jù)是真實(shí)的還是模型偽造的，使得模型對(duì)生成結(jié)果真實(shí)性具備判斷能力，從而讓模型可以從多個(gè)候選中選擇最可靠的生成結(jié)果，顯著提升了生成結(jié)果的可信度。

　　鵬城-百度·文心首創(chuàng)了大模型在線(xiàn)蒸餾技術(shù)，顯著降低了大模型應(yīng)用成本。其在訓(xùn)練過(guò)程中周期性地將知識(shí)信號(hào)傳遞給若干個(gè)學(xué)生模型同時(shí)訓(xùn)練，保證了學(xué)生模型的效果和尺寸豐富性，方便不同性能需求的應(yīng)用場(chǎng)景使用。其參數(shù)壓縮率可達(dá)99.98%。壓縮版模型僅保留0.02%參數(shù)規(guī)模就能與原有模型效果相當(dāng)。

　　ERNIE 3.0刷新情感分析、觀(guān)點(diǎn)抽取、閱讀理解、文本摘要、對(duì)話(huà)生成、數(shù)學(xué)運(yùn)算等54個(gè)中文NLP任務(wù)基準(zhǔn)，其英文模型在國(guó)際權(quán)威的復(fù)雜語(yǔ)言理解任務(wù)評(píng)測(cè)SuperGLUE上, 以超越人類(lèi)水平0.8個(gè)百分點(diǎn)的成績(jī)登頂全球榜首。在知識(shí)推理任務(wù)上，鵬城-百度·文心相對(duì)OpenAI GPT-3 準(zhǔn)確率絕對(duì)提升8%。

　　2022年6月，ERNIE 賦能虛擬人

　　2022年6月，百度文心大模型讓虛擬人度曉曉變身為高考作文寫(xiě)手和 AI 畫(huà)家，她在全國(guó)高考作文寫(xiě)作得高分；其作畫(huà)參加西安美術(shù)學(xué)院畢業(yè)展；還聯(lián)合龔俊數(shù)字人推出國(guó)內(nèi)首個(gè)虛擬偶像 AIGC 創(chuàng)作歌曲。 這要?dú)w功于融合任務(wù)相關(guān)知識(shí)的千億大模型 ERNIE 3.0 Zeus 和跨模態(tài)圖文生成模型 ERNIE-ViLG。

　　6 月 7 日高考語(yǔ)文考試之后，度曉曉化身數(shù)字人考生挑戰(zhàn)全國(guó)新高考 Ⅰ 卷作文題《本手、妙手、俗手》，40 秒的時(shí)間內(nèi)完成了 40 篇高考作文，平均 1 秒生成 1 篇，寫(xiě)作速度遠(yuǎn)超了人類(lèi)。那么度曉曉生成的作文能滿(mǎn)足高考寫(xiě)作的審題、邏輯和創(chuàng)意等要求嗎？

　　這一擔(dān)心也被證明是多余的，曾任北京高考語(yǔ)文閱卷組組長(zhǎng)的申怡為她隨機(jī)生成的一篇作文打出了 48 分的成績(jī)（滿(mǎn)分 60 分），從歷年統(tǒng)計(jì)數(shù)據(jù)來(lái)看，這個(gè)分?jǐn)?shù)超過(guò)了 75% 的人類(lèi)考生。稱(chēng)呼她一聲寫(xiě)作高手絕不為過(guò)。

　　6 月初，度曉曉創(chuàng)作的「無(wú)界」系列數(shù)字藏品上線(xiàn)百度 APP 開(kāi)啟限時(shí)搶購(gòu)，該系列共有 4 幅畫(huà)作。作為國(guó)內(nèi)首個(gè)數(shù)字人創(chuàng)作的藝術(shù)數(shù)字藏品，這些畫(huà)作在 24 小時(shí)內(nèi)就賣(mài)出了 17 萬(wàn)元。更令人想不到的是，每幅畫(huà)作的創(chuàng)作時(shí)間僅需幾十秒，這種畫(huà)畫(huà)速度大概會(huì)令通常仔細(xì)斟酌、耗時(shí)很長(zhǎng)的專(zhuān)業(yè)畫(huà)家羨慕吧。

　　隨后，度曉曉帶著她的畫(huà)作現(xiàn)身西安美術(shù)學(xué)院 2022 年「時(shí)空留痕無(wú)界西美」本科畢業(yè)展，在自己的專(zhuān)屬展區(qū)展出了此前制成數(shù)字藏品的四幅作品以及兩幅有關(guān)西安大雁塔的本地特色作品。這些畫(huà)作的水平又如何呢？西安美院教授評(píng)價(jià)稱(chēng)「已經(jīng)達(dá)到了本科美術(shù)生的基本要求」。

　　2020年7月，發(fā)布ERNIE-ViL

　　2020年7月，百度提出了知識(shí)增強(qiáng)視覺(jué)-語(yǔ)言預(yù)訓(xùn)練模型 ERNIE-ViL，首次將場(chǎng)景圖（Scene Graph）知識(shí)融入多模態(tài)預(yù)訓(xùn)練。

　　ERNIE-ViL在 5 項(xiàng)多模態(tài)任務(wù)上刷新世界最好效果，并在多模態(tài)領(lǐng)域權(quán)威榜單 VCR 上超越微軟、谷歌、Facebook 等機(jī)構(gòu)，登頂榜首。

　　2022年8月，發(fā)布“文心一格”

　　2022年8月19日 ，百度推出人工智能作畫(huà)輔助工具“文心一格”。用戶(hù)僅需輸入文字創(chuàng)想，即可完成別具一格的畫(huà)作，受到用戶(hù)廣泛好評(píng)。值得一提的是，文心一格深諳中國(guó)文化精髓，所創(chuàng)畫(huà)作盡現(xiàn)中國(guó)風(fēng)骨。本次峰會(huì)上，吳甜發(fā)布了文心一格的三大全新功能：支持以圖生圖、支持可控的增刪改等圖片二次編輯和一鍵生成視頻，進(jìn)一步激發(fā)創(chuàng)造力，降低內(nèi)容生產(chǎn)成本。

　　2022年11月，發(fā)布“文心百中”

　　2022年11月30日，產(chǎn)業(yè)級(jí)搜索系統(tǒng)“文心百中”發(fā)布，該產(chǎn)品由百度搜索與文心大模型聯(lián)合研制，命名寓意搜索結(jié)果精準(zhǔn)，百發(fā)百中。

　　產(chǎn)業(yè)級(jí)搜索系統(tǒng)文心百中

　　文心百中具有三大特性：極簡(jiǎn)、強(qiáng)大、高效。文心百中采用純神經(jīng)搜索架構(gòu)加數(shù)據(jù)驅(qū)動(dòng)搜索效果優(yōu)化策略設(shè)計(jì)而成，應(yīng)用起來(lái)極其簡(jiǎn)便，僅需三步即可在線(xiàn)完成搜索引擎的構(gòu)建；文心百中擁有強(qiáng)大的語(yǔ)義理解能力，相比傳統(tǒng)模型實(shí)現(xiàn)了質(zhì)的提升，已在多個(gè)場(chǎng)景展現(xiàn)驚艷的搜索效果；文心百中具備搜索系統(tǒng)從0到1的高效建設(shè)能力，相比傳統(tǒng)搜索系統(tǒng)可減少人力成本90%以上；同時(shí)，基于小樣本學(xué)習(xí)能力極強(qiáng)的文心大模型，文心百中僅需少量的數(shù)據(jù)，即可實(shí)現(xiàn)不同行業(yè)的搜索效果優(yōu)化，十分高效。

　　百度的行業(yè)大模型

　　為了更好幫助企業(yè)與開(kāi)發(fā)者，實(shí)現(xiàn)從開(kāi)發(fā)大模型到應(yīng)用大模型的全流程實(shí)踐，百度勾勒出了飛槳+文心，即深度學(xué)習(xí)平臺(tái)+大模型的產(chǎn)業(yè)路徑。二者結(jié)合，開(kāi)發(fā)者可以獲得從算力、框架、模型庫(kù)，再到大模型調(diào)用、大模型行業(yè)化的所有能力，獲得了完善、穩(wěn)固的產(chǎn)業(yè)智能化基座。

　　大模型因“大”而效果好，同時(shí)在產(chǎn)業(yè)應(yīng)用中也會(huì)因?yàn)椤疤蟆倍y以落地部署。為了解決這個(gè)問(wèn)題，百度全新發(fā)布了ERNIE 3.0 Tiny模型。其通過(guò)將千億模型作為教師模型，經(jīng)過(guò)知識(shí)蒸餾等方式，可以形成一系列輕量化模型。最終實(shí)現(xiàn)在效果損失非常有限的情況下，模型體量變小，但較比傳統(tǒng)模型卻有數(shù)十倍、上百倍的性能提升，以此滿(mǎn)足產(chǎn)業(yè)場(chǎng)景的真實(shí)應(yīng)用需求。

　　百度首席技術(shù)官、深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心主任王海峰提出，討論大模型的新升級(jí)、新發(fā)展思路，必須建立在對(duì)大模型產(chǎn)業(yè)化的客觀(guān)理解上。在目前階段，大模型正處在高速發(fā)展期。幾乎每個(gè)月，甚至每星期都可以看到產(chǎn)業(yè)界、學(xué)術(shù)界公布大模型創(chuàng)新。并且在今天，已經(jīng)很少看到大模型創(chuàng)新過(guò)分執(zhí)著參數(shù)對(duì)比，更多是進(jìn)行不同技術(shù)路線(xiàn)、不同應(yīng)用領(lǐng)域的多樣化創(chuàng)新。

　　大模型的復(fù)雜技術(shù)與研發(fā)挑戰(zhàn)，應(yīng)該是停留在產(chǎn)業(yè)上游的。具有算法、算力和數(shù)據(jù)綜合優(yōu)勢(shì)的企業(yè)，應(yīng)該將模型生產(chǎn)進(jìn)行封裝，在產(chǎn)業(yè)鏈上游就解決大數(shù)據(jù)、大算力、大模型的能力挑戰(zhàn)。這樣，應(yīng)用場(chǎng)景與企業(yè)用戶(hù)、開(kāi)發(fā)者，將得到簡(jiǎn)單、易用、工業(yè)化的大模型能力。只有這樣，大模型才能真正落下去、推廣開(kāi)。

　　百度正在用飛槳+文心大模型，在技術(shù)與產(chǎn)業(yè)之間架起橋梁，簡(jiǎn)化AI模型的應(yīng)用。

　　百度聯(lián)合深圳燃?xì)?、吉利、泰康保險(xiǎn)、TCL、上海辭書(shū)出版社重磅新發(fā)5個(gè)行業(yè)大模型：深燃-百度·文心、吉利-百度·文心、泰康-百度·文心、TCL-百度·文心和辭海-百度·文心。

　　2022年5月，文心大模型面向具體的行業(yè)需求，發(fā)布了行業(yè)大模型這一全新發(fā)展路徑。其通過(guò)文心大模型的基礎(chǔ)模型能力，搭配對(duì)海量行業(yè)數(shù)據(jù)的挖掘，以及由合作機(jī)構(gòu)、行業(yè)客戶(hù)提供的行業(yè)特色數(shù)據(jù)和知識(shí)，加上行業(yè)特色的專(zhuān)家經(jīng)驗(yàn)多方結(jié)合，進(jìn)行相應(yīng)的行業(yè)訓(xùn)練任務(wù)設(shè)計(jì)，最終形成了文心行業(yè)大模型。

　　在于行業(yè)結(jié)合的過(guò)程中，文心大模型知識(shí)增強(qiáng)與產(chǎn)業(yè)級(jí)兩大特色得以充分發(fā)揮，形成了行業(yè)知識(shí)增強(qiáng)的關(guān)鍵路徑。這一路徑不僅解決了大模型的應(yīng)用挑戰(zhàn)，還凝結(jié)成了一系列面向重點(diǎn)行業(yè)的大模型產(chǎn)業(yè)落地方法。實(shí)現(xiàn)了大模型在行業(yè)場(chǎng)景中“不但能用還便捷好用”的價(jià)值。文心行業(yè)大模型目前有了11個(gè)行業(yè)大模型，將行業(yè)大模型延伸到了制造業(yè)、城市管理、汽車(chē)等關(guān)鍵領(lǐng)域。可以說(shuō)，行業(yè)大模型已經(jīng)從先鋒、探索性質(zhì)，發(fā)展到了覆蓋行業(yè)眾多、體系完備的新階段。從應(yīng)用效果與行業(yè)覆蓋上來(lái)說(shuō)，都已經(jīng)實(shí)現(xiàn)了蔚為大觀(guān)。

　　如今，行業(yè)大模型已經(jīng)在多個(gè)領(lǐng)域取得可信的成果。比如文心大模型與電影頻道結(jié)合，可以實(shí)現(xiàn)每天修復(fù)28.5萬(wàn)幀老舊影片。即使是精修，文心大模型的修復(fù)速度也較人工效率提升了3到4倍。在能源、金融等一系列領(lǐng)域，行業(yè)大模型已經(jīng)形成了產(chǎn)業(yè)智能化的發(fā)展路標(biāo)。

　　舉個(gè)例子，智慧城市建設(shè)是數(shù)字中國(guó)的重點(diǎn)發(fā)展方向。哈爾濱市政府?dāng)y手百度，聯(lián)合發(fā)布面向城市領(lǐng)域的行業(yè)大模型——冰城-百度·文心，該系統(tǒng)可以將城市中跨業(yè)務(wù)、跨結(jié)構(gòu)、跨部門(mén)的數(shù)據(jù)知識(shí)和多種任務(wù)算法進(jìn)行融合，基于百度文心NLP大模型ERNIE 3.0，打造統(tǒng)一預(yù)訓(xùn)練模型，提供強(qiáng)大的語(yǔ)言理解、語(yǔ)義分析等能力，支撐城市中各領(lǐng)域的AI規(guī)?；Ч嵘Ｎ男男袠I(yè)大模型，至此可以從城市治理、產(chǎn)業(yè)發(fā)展、公共服務(wù)等多個(gè)領(lǐng)域支持哈爾濱的數(shù)字化發(fā)展。從產(chǎn)業(yè)路徑上看，這一聯(lián)合發(fā)布、聯(lián)合打造，將大模型與智慧城市需求有效結(jié)合在了一起。

　　在一系列新加入的模型之外，百度也在推動(dòng)大模型開(kāi)發(fā)工具建設(shè)、產(chǎn)品化升級(jí)與社區(qū)建設(shè)。在工具與平臺(tái)的技術(shù)升級(jí)上，百度提供面向場(chǎng)景化，以及行業(yè)大模型的配套能力。比如在模型精調(diào)方面提供的技術(shù)工具更加豐富，大模型的API當(dāng)中將包含更豐富的精調(diào)能力。同時(shí)，在大模型訓(xùn)練中也會(huì)添加一系列可信學(xué)習(xí)工具，滿(mǎn)足開(kāi)發(fā)者對(duì)大模型的安全、可控需求。

　　在文心大模型的產(chǎn)品和社區(qū)方面，百度保留了旸谷社區(qū)作為創(chuàng)意社區(qū)。同時(shí)增加了兩款以大模型為核心驅(qū)動(dòng)的產(chǎn)品。這些產(chǎn)品既可以直接賦能給有相關(guān)需求的產(chǎn)業(yè)用戶(hù)和泛科技用戶(hù)，豐富大模型的應(yīng)用價(jià)值。同時(shí)也為行業(yè)起到了示范作用，展示了大模型產(chǎn)品化的技術(shù)路徑。

　　總結(jié)

　　從這次資本市場(chǎng)的反饋看，對(duì)許多大廠(chǎng)都是利好。研發(fā)多年的AI技術(shù)有了爆發(fā)的機(jī)會(huì)。

　　百度看起來(lái)是其中最大的受益者，不過(guò)，當(dāng)搜索引擎能更準(zhǔn)確地給出答案了，用戶(hù)看的更少，對(duì)搜索付費(fèi)廣告的曝光和點(diǎn)擊可能都會(huì)減少。

　　未來(lái)，百度的新版搜索引擎出現(xiàn)后，搜索的收入是否降低，是很多人關(guān)心的事情。

　　從之前知乎暴漲40%來(lái)看，能持續(xù)積累關(guān)鍵知識(shí)的網(wǎng)站是未來(lái)各家模型爭(zhēng)奪的焦點(diǎn)，也許，知乎是可以躺贏的。