9 月 13 日消息，昆侖萬(wàn)維發(fā)布了兩款全新的獎(jiǎng)勵(lì)模型 Skywork-Reward-Gemma-2-27B 和 Skywork-Reward-Llama-3.1-8B。在獎(jiǎng)勵(lì)模型評(píng)估基準(zhǔn) RewardBench 上，這兩款模型分別位列排行榜上的第一和第三位。

獎(jiǎng)勵(lì)模型（Reward Model）是強(qiáng)化學(xué)習(xí)（Reinforcement Learning）中的核心概念和關(guān)鍵組成，它用于評(píng)估智能體在不同狀態(tài)下的表現(xiàn)，并為智能體提供獎(jiǎng)勵(lì)信號(hào)以指導(dǎo)其學(xué)習(xí)過(guò)程，讓智能體能夠?qū)W習(xí)到在特定環(huán)境下如何做出最優(yōu)選擇。

獎(jiǎng)勵(lì)模型在大語(yǔ)言模型（Large Language Model，LLM）的訓(xùn)練中尤為重要，可以幫助模型更好地理解和生成符合人類偏好的內(nèi)容。

與現(xiàn)有獎(jiǎng)勵(lì)模型不同，Skywork-Reward 的偏序數(shù)據(jù)僅來(lái)自網(wǎng)絡(luò)公開(kāi)數(shù)據(jù)，采用特定的篩選策略，以獲得針對(duì)特定能力和知識(shí)領(lǐng)域的高質(zhì)量的偏好數(shù)據(jù)集。

Skywork-Reward 偏序訓(xùn)練數(shù)據(jù)集包含約 80,000 個(gè)樣本，通過(guò)在這些樣本上微調(diào) Gemma-2-27B-it 和 Llama-3.1-8B-Instruct 基座模型，獲得最終的 Skywork-Reward 獎(jiǎng)勵(lì)模型。