LongMem 是微軟對無限上下文長度的回答
總體而言，微軟一直處於人工智能教育和人工智能工具的前沿。作為 Windows 更新的一部分，Copilot 很快就會進入 Windows 11 。人工智能正在進入 Microsoft Teams，通過智能回顧幫助人們更輕鬆地工作。
Bing 也是最令人興奮的 AI 工具之一，它的功能允許您優化您的工作和瀏覽 Internet 的方式。
不過本週早些時候，微軟也公佈了Orca 13B 即將開源的消息。Orca 13B 是一種小型 AI 模型，其性能和速度與其他 AI 模型（例如 ChatGPT）相同。
現在，在 AI 和 AI 研究的戰鬥中，微軟提出了LongMem，一個假設的框架和 AI 語言模型。
根據這個 Reddit 線程，LongMem 允許在減少 GPU 和 CPU 內存使用的情況下無限上下文長度。所有這些都以更快的速度完成。
Microsoft Research 提出了新框架 LongMem，允許無限上下文長度以及減少 GPU 內存使用和更快的推理速度。
代碼將由u/llamaShill 在 LocalLLaMA 中開源
LongMem 是 Microsoft 對無限上下文長度的回答嗎？
那麼，要理解無限上下文長度意味著什麼，我們首先需要了解上下文長度是什麼意思？
例如，ChatGPT 的令牌數量有限，這意味著它的上下文長度也有限。一旦 ChatGPT 超過該限制，那麼您之前與它進行的所有持續交互都將失去所有意義。或者更好地說，它將重置。
因此，如果您開始與 ChatGPT 就 Windows 主題進行對話，並且該對話持續的時間超過了有限的上下文長度，那麼 AI 工具將失去上下文，並且將開始偏離主題，或者整個對話將重置。
無限的上下文長度將確保不會發生這種情況，並且 AI 模型將繼續就此主題回答您，同時還會在您與它談論 Windows 時學習和調整信息。
這意味著 AI 模型還將根據您的輸入對對話進行個性化設置，因此上下文需要無限長。
LongMem 是如何工作的？
Microsoft 通過對框架 LongMem 的新研究做出了承諾。LongMem 將使大型語言模型能夠記住長期上下文並以降低的 CPU 能力利用長期記憶。
該框架由作為記憶編碼器的凍結大型語言模型、作為記憶檢索器和閱讀器的殘差側網絡以及存儲來自過去上下文的鍵值對的緩存記憶庫組成。
在 Microsoft 所做的研究中，實驗表明 LongMem 在長文本語言建模、長上下文理解和記憶增強上下文學習任務方面優於基線。另外，長期記憶允許它利用更多的示例來更好地學習。
好消息是 LongMem 將開源。因此，您將能夠研究它並了解如何在您自己的 AI 模型中實施該框架。您可以在此處查看其 GitHub 配置文件。
如果您有興趣閱讀有關該框架的整篇研究論文，請前往此處查看。
您如何看待這項新技術突破？它會徹底改變 AI 模型的工作方式嗎？請務必在下方告訴我們您的想法和意見。
發佈留言