來認識一下 Meta 的 Shepherd AI，它是糾正 LLM 的指導 AI

現在是時候從微軟人工智能突破的報導中退後一步，看看其最近的合作夥伴 Meta 一直在研究的模型之一。

Facebook 公司也一直在資助自己的人工智能研究，其成果是一個能夠糾正大型語言模型 (LLM) 並指導它們提供正確響應的人工智能模型。

該項目背後的團隊暗示將模型稱為“Shepherd AI”，該模型的構建是為了解決法學碩士在被要求完成某些任務時可能犯的錯誤。

在這項工作中，我們引入了 Shepherd，這是一種專門調整用於批評模型響應並提出改進建議的語言模型，超越了未經調整的模型識別各種錯誤並提供糾正建議的能力。我們方法的核心是高質量的反饋數據集，我們根據社區反饋和人工註釋來整理該數據集。

元人工智能研究，FAIR

您可能知道，幾週前，Meta 與 Microsoft 合作發布了其法學碩士 Llama 2。Llama 2 是一個驚人的 70B 參數開源模型，微軟和 Meta 計劃將其商業化給用戶和組織來構建他們的內部 AI 工具。

但人工智能還不是完美的。而且它的許多解決方案似乎並不總是正確的。據 Meta AI Research 稱，Shepherd 的目的是通過糾正這些問題並提出解決方案來解決這些問題。

Shepherd AI 是一位非正式的、自然的 AI 老師

例如，我們都知道必應聊天往往必須遵循一些模式：該工具可以具有創造性，但也可以限制其創造力。談到專業的事情，Bing AI 也能拿出認真的態度。

然而，Meta 的 Shepherd AI 似乎是其他法學碩士的非正式人工智能老師。該模型在 7B 參數下要小得多，在糾正和建議解決方案時具有自然且非正式的語氣。

這一切之所以成為可能，要歸功於各種培訓來源，包括：

• 社區反饋：Shepherd AI 接受了在線論壇（特別是 Reddit 論壇）精選內容的培訓，這使其能夠自然輸入。
• 人工註釋輸入：Shepherd AI 還接受了一組選定的公共數據庫的培訓，這使其能夠進行有組織的、事實性的糾正。

例如，儘管 Shepherd AI 的基礎設施相對較小，但它完全有能力提供比 ChatGPT 更好的事實糾正。FAIR 和 Meta AI Research 發現，該 AI 工具比大多數競爭替代品提供了更好的結果，平均勝率 win -rate 為 53-87%。此外，Shepherd AI 還可以對任何類型的 LLM 生成的內容做出準確的判斷。

目前，Shepherd 是一種新穎的人工智能模型，但隨著更多的研究投入，該模型很可能在未來作為開源項目發布。

你對此感到興奮嗎？你會用它來修正你自己的人工智能模型嗎？你怎麼看待這件事？