LLM を修正するガイド AI、Meta の Shepherd AI を紹介します

Microsoft の AI の躍進を取り上げることから一歩下がって、最近のパートナーである Meta が取り組んでいるモデルの 1 つを見てみましょう。

Facebook 社は独自に AI の研究にも資金を提供しており、その結果、大規模言語モデル (LLM) を修正し、正しい応答を提供できるように導くことができる AI モデルが誕生しました。

プロジェクトの背後にあるチームは、このモデルを「Shepherd AI」と示唆的に呼んでいます。このモデルは、LLM が特定のタスクの実行を求められたときに犯す可能性のある間違いに対処するために構築されています。

この作業では、モデルの応答を批判し、改良を提案するために特別に調整された言語モデルである Shepherd を紹介します。これは、さまざまなエラーを特定し、それらを修正するための提案を提供するという、調整されていないモデルの機能を超えています。私たちのアプローチの中核となるのは、コミュニティのフィードバックと人間による注釈から厳選した高品質のフィードバック データセットです。

メタAI研究、FAIR

ご存知かもしれませんが、Meta は数週間前に Microsoft と提携して LLM である Llama 2 をリリースしました。Llama 2 は、70B パラメータという驚異的なオープンソース モデルで、Microsoft と Meta は、社内 AI ツールを構築するためにユーザーや組織向けに商品化する予定です。

しかし、AIはまだ完璧ではありません。そして、その解決策の多くは必ずしも正しいとは限りません。Meta AI Researchによると、シェパードはこれらの問題を修正し、解決策を提案することでこれらの問題に対処するためにここにいます。

Shepherd AI は非公式で自然な AI 教師です

たとえば、Bing Chat がいくつかのパターンに従わなければならない傾向があることは誰もが知っています。ツールは創造的である可能性もありますが、創造性を制限する可能性もあります。専門的な問題となると、Bing AI は真剣な態度を取ることもあります。

ただし、Meta の Shepherd AI は、他の LLM に対する非公式の AI 教師として機能しているようです。このモデルはパラメータが 7B とかなり小さいですが、解決策を修正したり提案したりする際には、自然で非公式な口調を持っています。

これはすべて、次のようなさまざまなトレーニング ソースのおかげで可能になりました。

• コミュニティからのフィードバック: Shepherd AI は、オンライン フォーラム (特に Reddit フォーラム) から厳選されたコンテンツに基づいてトレーニングされており、自然な入力が可能です。
• 人間による注釈付き入力: Shepherd AI は、選択された一連の公開データベースでもトレーニングされており、組織的かつ事実に基づいた修正が可能です。

たとえば、Shepherd AI は、インフラストラクチャが比較的小規模であるにもかかわらず、ChatGPT よりも優れた事実訂正を提供する能力を完全に備えています。FAIR と Meta AI Research によると、この AI ツールは競合他社のほとんどよりも優れた結果をもたらし、平均勝率は53 ～ 87% であることがわかりました。さらに、Shepherd AI は、LLM によって生成されたあらゆる種類のコンテンツに対しても正確な判断を下すことができます。

今のところ、Shepherd は新しい AI モデルですが、さらに研究が進めば、このモデルは将来、オープンソース プロジェクトとしてリリースされる可能性が高くなります。

興奮していますか？あなた自身の AI モデルを修正するためにそれを使用しますか? あなたはそれについてどう思いますか？