近日,Meta公司發(fā)布了其最新研發(fā)成果——開源大模型Llama 3,相較于前代產(chǎn)品Llama 2,Llama 3在預訓練數(shù)據(jù)上擴大了7倍(達到15T tokens),在數(shù)據(jù)質量與訓練方式上也進行了深度優(yōu)化。此次發(fā)布的開源大模型,包含Llama 3 8B和Llama 3 70B兩種規(guī)格,參數(shù)量級分別為80億與700億,Meta表示Llama 3是目前同體量下性能最好的開源模型,這為開源大型語言模型(LLM)領域發(fā)展再次書寫了輝煌篇章。
為了方便廣大AI技術愛好者與從業(yè)者快速上手學習與使用大語言模型技術,天翼云基于開源的Meta-Llama-3-8B-Instruct模型以及text-generation-webui框架,制作了一鍵部署、開箱即用的云主機鏡像。同時,天翼云CPU/GPU云主機近期即將上線Llama 3大模型學習機,期望能夠成為幫助用戶打開大模型領域之門的第一把鑰匙,讓更多用戶從此了解大模型、學習使用大模型,并利用大模型創(chuàng)造更多可能。
依托天翼云彈性云主機的優(yōu)勢與資源性能,用戶在具體部署操作時僅需登錄天翼云主機控制臺,創(chuàng)建云主機,使用指定的規(guī)格與Llama 3鏡像,隨后從瀏覽器登錄到學習機頁面,便能基于天翼云主機快速搭建Llama 3的推理或微調環(huán)境,無需復雜配置即可快速體驗和應用大語言模型。
此外,天翼云Llama 3大模型學習機在一鍵部署的基礎上還提供模型加載、模型推理、推理參數(shù)修改、模型微調等各類功能,包括支持加載主流基于transformers框架的模型,用戶只需將模型下載并放置到指定目錄下, 無需其他操作,且鏡像內已預裝Llama 3模型;
支持使用大語言模型進行多輪對話與文本生成,且支持多人同時使用;支持修改大語言模型在推理時控制結果走向的temperature, top_k, top_p等參數(shù);支持基于基礎大模型和私有數(shù)據(jù),微調訓練自己的LoRA小模型,并使用小模型進行推理。針對這些功能,天翼云還配有詳細的文檔與教學視頻,助力用戶打破知識壁壘,降低學習門檻。
據(jù)了解,天翼云彈性云主機是天翼云推出的“明星”產(chǎn)品,具備快捷易用、配置豐富、專有網(wǎng)絡、安全穩(wěn)定、多種鏡像、高效管理和高性價比等產(chǎn)品優(yōu)勢,能夠為用戶提供優(yōu)質服務體驗。云主機支持動態(tài)調整計算資源,提供多種實例規(guī)格和存儲類型,滿足用戶多元化業(yè)務需求;擁有靈活自定義的網(wǎng)絡空間,以及多重安全防護,全面保障數(shù)據(jù)可靠性,助力業(yè)務批量快速部署。用戶可以通過多種管理方式和多維度監(jiān)控實現(xiàn)高效管理,并可根據(jù)需要靈活選擇計費模式,享受專業(yè)運營團隊的7*24小時服務。此外,天翼云還提供多樣異構芯片和計算模型,為用戶提供更優(yōu)算力選擇。
當前,人工智能技術與各領域深度融合,成為助推千行百業(yè)創(chuàng)新發(fā)展的重要引擎。天翼云作為全球領先的云服務商、國內領先的大模型算力服務商,通過科技創(chuàng)新持續(xù)為用戶提供可快速搭建大型模型推理或微調環(huán)境的解決方案,以及高性能的AI算力集群,將有助于推動AIGC產(chǎn)業(yè)實現(xiàn)高質量發(fā)展,加速千行百業(yè)數(shù)字化、智能化升級。