LongMem은 무제한 컨텍스트 길이에 대한 Microsoft의 답변입니다.

Microsoft는 일반적으로 AI 교육 및 AI 도구의 최전선에 있었습니다. Copilot은 Windows 업데이트의 일부로 곧 Windows 11에 제공됩니다 . AI는 사람들이 더 쉽게 작업할 수 있도록 도와주는 지능적인 요약을 통해 Microsoft Teams에 도입되고 있습니다 .

Bing은 또한 가장 흥미로운 AI 도구 중 하나 이며 그 기능을 통해 작업과 인터넷 탐색 방식을 모두 최적화할 수 있습니다.

그러나 이번 주 초에 Microsoft는 Orca 13B가 곧 오픈 소스가 될 것이라고 발표했습니다 . Orca 13B는 ChatGPT와 같은 다른 AI 모델과 동일한 품질과 속도로 수행되는 소형 AI 모델입니다.

이제 AI와 AI 연구의 전쟁에서 Microsoft는 가상의 프레임워크이자 AI 언어 모델인 LongMem을 제시하고 있습니다 .

이 Reddit 스레드에 따르면 LongMem은 감소된 GPU 및 CPU 메모리 사용량에서 무제한 컨텍스트 길이를 허용합니다. 이 모든 것이 더 빠른 속도로 이루어집니다.

Microsoft Research는 GPU 메모리 사용량 감소 및 더 빠른 추론 속도와 함께 무제한 컨텍스트 길이를 허용하는 새로운 프레임워크인 LongMem을 제안합니다.
코드는 LocalLLaMA의 u/llamaShill에서 오픈 소스로 제공됩니다.

LongMem은 무제한 컨텍스트 길이에 대한 Microsoft의 답변입니까?

컨텍스트 길이가 무제한이라는 것이 무엇을 의미하는지 이해하려면 먼저 컨텍스트 길이가 무엇을 의미하는지 이해해야 합니다.

예를 들어 ChatGPT에는 제한된 수의 토큰이 있으므로 컨텍스트 길이도 제한됩니다. ChatGPT가 해당 제한을 통과하는 즉시 해당 시점까지 ChatGPT와 가졌던 모든 지속적인 상호 작용이 모든 의미를 잃게 됩니다. 또는 더 잘 말하면 재설정됩니다.

따라서 Windows 주제에 대해 ChatGPT로 대화를 시작하고 해당 대화가 제한된 컨텍스트 길이보다 오래 지속되는 경우 AI 도구는 컨텍스트를 잃고 주제에서 벗어나기 시작하거나 전체 대화가 시작됩니다. 재설정됩니다.

무제한 컨텍스트 길이는 이러한 일이 발생하지 않도록 하며, AI 모델은 계속해서 해당 주제에 대한 답변을 제공하는 동시에 Windows에 대해 이야기할 때 정보를 학습하고 적용합니다.

즉, AI 모델은 입력에 따라 대화를 개인화하므로 컨텍스트의 길이가 무제한이어야 합니다.

LongMem은 어떻게 작동합니까?

Microsoft는 프레임워크인 LongMem에 대한 새로운 연구를 통해 이를 약속합니다. LongMem은 대규모 언어 모델이 장기 컨텍스트를 기억하고 감소된 CPU 성능에서 장기 메모리를 활용할 수 있도록 합니다.

프레임워크는 메모리 인코더로서의 고정된 대규모 언어 모델, 메모리 검색기 및 판독기로서의 잔류 측 네트워크, 과거 컨텍스트의 키-값 쌍을 저장하는 캐시된 메모리 뱅크로 구성됩니다.

Microsoft에서 수행한 연구에서 실험에 따르면 LongMem은 긴 텍스트 언어 모델링, 긴 컨텍스트 이해 및 메모리가 강화된 상황 내 학습 작업에서 기준선을 능가합니다. 또한 장기 기억을 통해 더 나은 학습을 위해 더 많은 데모 예제를 활용할 수 있습니다.

그리고 좋은 소식은 LongMem이 오픈 소스가 될 것이라는 것입니다. 따라서 이를 연구하고 자신의 AI 모델에서 프레임워크를 구현하는 방법을 배울 수 있습니다. 여기에서 GitHub 프로필을 확인할 수 있습니다 .

프레임워크에 대한 전체 연구 논문을 읽고 싶다면 여기로 이동하여 확인하십시오 .

이 새로운 기술 혁신에 대해 어떻게 생각하십니까? AI 모델이 작동하는 방식에 혁명을 일으킬까요? 아래에 귀하의 생각과 의견을 알려주십시오.