Microsoft の新しいコーディング LLM は GPT 4 の後に登場します

Microsoft は AI 開発に本当に大きな一歩を踏み出しています。先月、AI は Microsoft Build カンファレンスの最前線にあり、レドモンドに本拠を置く技術会社は、Copilot が Windows 11 に導入されるとさえ発表しました。ネイティブの組み込みアプリとして、必要なものすべてが揃っています。

AI は Microsoft Teamsの Recap Ai ツールにも導入されています。また、Microsoft Fabric を含め、Microsoft の他の多くのツールでも AI が使用されることになります。

しかし、マイクロソフトもAI研究に資金を提供しているようだ。つい最近、ハイテク巨人はOrca 13B がオープンソースになると発表しました。そして、LongMem は AI 研究におけるもう 1 つの優れた点です。それは無制限のコンテキスト長に対する答えです。

そして今、AI 研究における新たな大きな進歩が、もちろん Microsoft によってもたらされる時が来ています。phi-1 と呼ばれる新しい 1.3B パラメータ モデル コーディング LLM は、わずか 4 日間のトレーニングで GPT 3.5 を上回るパフォーマンスを示したと報告されています。

phi-1 とは何ですか?また、どのようにして GPT を上回る性能を備えているのでしょうか?

Phi-1 は、コード用の新しい 1.3B パラメーター言語モデルです

さらに、既存のモデルと比較してはるかに少ないトークンでトレーニングされているにもかかわらず、phi-1 には依然として多くの可能性があります。

HumanEval の改善は、言語モデルとしての phi-1 の最大の成果です。調整後、phi-1 は微調整データセットに含まれていないタスクを実行することができました。これは、モデルが微調整プロセスを適応させて改善したことを意味します。

そして最も注目すべき点は、そもそも知識が明示的に存在していなかったにもかかわらず、phi-1 は事前トレーニング中に取得した知識を再編成し、統合したことです。

短い言葉で言えば、phi-1 はトレーニング中に学習するだけでなく、それ自体で知識を拡張します。あらゆるレベルで GPT 3.5 を上回るパフォーマンスを達成しており、小型モデルが GPT 4 のような大型モデルに対抗するのも時間の問題です。

この新しい AI モデルについてどう思いますか? AI 研究はどこに向かっていると思いますか? 以下のコメント欄にぜひご意見をお聞かせください。