LongMem は、無制限のコンテキスト長に対する Microsoft の答えです

Microsoft は、AI 教育および AI ツール全般の最前線に立ってきました。Copilot は、 Windows 更新プログラムの一部として、間もなく Windows 11 に導入されます。AI は Microsoft Teams に導入されており、人々の作業を容易にするインテリジェントな要約が提供されています。

Bing は、最もエキサイティングな AI ツールの 1 つでもあり、その機能により、仕事とインターネットの操作方法の両方を最適化できます。

しかし今週初め、Microsoft はOrca 13B がまもなくオープンソースになることも発表しました。Orca 13B は、ChatGPT などの他の AI モデルと同じ品質と速度で実行する小型 AI モデルです。

現在、AI と AI 研究の戦いにおいて、Microsoft は仮想フレームワークおよび AI 言語モデルである LongMemを考案しています。

この Reddit スレッド によると、LongMem を使用すると、GPU と CPU メモリの使用量を減らして無制限のコンテキスト長を実現できます。これらはすべてより高速に実行されます。

Microsoft Research は、GPU メモリ使用量の削減と推論速度の高速化とともに、無制限のコンテキスト長を可能にする新しいフレームワーク LongMem を提案しています。
コードはLocalLLaMA の u/llamaShill によってオープンソース化されます。

LongMem は、コンテキストの長さを無制限にするための Microsoft の答えですか?

コンテキストの長さが無制限であることが何を意味するかを理解するには、まずコンテキストの長さが何を意味するのかを理解する必要があります。

たとえば、ChatGPT のトークンの数は限られており、これはコンテキストの長さも制限されていることを意味します。ChatGPT がその制限を超えるとすぐに、それまでに ChatGPT と行っていたすべての継続的な対話はすべて意味を失います。より良く言えば、リセットされます。

そのため、ChatGPT と Windows の話題で会話を開始し、その会話が制限されたコンテキストの長さを超えて続く場合、AI ツールはコンテキストを失い、主題から逸脱し始めるか、会話全体から逸脱し始めます。リセットされます。

コンテキストの長さが無制限であるため、そのようなことは確実に起こらず、AI モデルは Windows について話すときに情報を学習して適応させながら、その主題について答え続けます。

つまり、AI モデルは入力に応じて会話をパーソナライズするため、コンテキストの長さは無制限である必要があります。

LongMem はどのように機能しますか?

Microsoft は、フレームワーク LongMem に関する新しい研究でまさにそれを約束します。LongMem を使用すると、大規模な言語モデルが長期間のコンテキストを記憶し、CPU パワーを低減しながら長期メモリを利用できるようになります。

このフレームワークは、メモリ エンコーダとしての凍結された大規模言語モデル、メモリ リトリーバおよびリーダーとしての残差サイド ネットワーク、および過去のコンテキストからのキーと値のペアを格納するキャッシュされたメモリ バンクで構成されます。

Microsoft が行った研究では、LongMem が長文言語モデリング、長文文脈理解、およびメモリ拡張型の文脈内学習タスクにおいてベースラインを上回るパフォーマンスを示すことが実験で示されています。さらに、長期記憶により、より良い学習のためにより多くのデモンストレーション例を利用することができます。

そして良いニュースは、LongMem がオープンソースになるということです。したがって、それを研究し、独自の AI モデルにフレームワークを実装する方法を学ぶことができます。ここで GitHub プロファイルを確認できます。

このフレームワークに関する研究論文全体を読みたい場合は、ここにアクセスしてチェックしてください。

この新しい技術の進歩についてどう思いますか? AI モデルの仕組みに革命をもたらすでしょうか? ぜひご意見やご感想を下記までお聞かせください。