LongMem ist Microsofts Antwort für unbegrenzte Kontextlänge

Microsoft steht an der Spitze der KI-Ausbildung und der KI-Tools im Allgemeinen. Copilot wird sehr bald im Rahmen von Windows-Updates für Windows 11 verfügbar sein. KI hält Einzug in Microsoft Teams, mit einer intelligenten Zusammenfassung, die den Menschen die Arbeit erleichtert .

Bing ist auch eines der aufregendsten KI-Tools überhaupt und seine Funktionen ermöglichen es Ihnen, sowohl Ihre Arbeit als auch die Art und Weise, wie Sie im Internet navigieren, zu optimieren.

Aber Anfang dieser Woche gab Microsoft auch bekannt, dass Orca 13B bald Open Source sein wird . Orca 13B ist ein kleines KI-Modell, das die gleiche Qualität und Geschwindigkeit wie die anderen KI-Modelle wie ChatGPT bietet.

Jetzt, im Kampf zwischen KIs und KI-Forschung, entwickelt Microsoft LongMem, ein hypothetisches Framework und KI-Sprachmodell .

Laut diesem Reddit-Thread ermöglicht LongMem eine unbegrenzte Kontextlänge bei reduzierter GPU- und CPU-Speichernutzung. All dies geschieht mit einer höheren Geschwindigkeit.

Microsoft Research schlägt mit LongMem ein neues Framework vor, das eine unbegrenzte Kontextlänge bei reduzierter GPU-Speichernutzung und schnellerer Inferenzgeschwindigkeit ermöglicht. Der Code wird
von u/llamaShill in LocalLLaMA als Open-Source-Code bereitgestellt

Ist LongMem die Microsoft-Antwort für unbegrenzte Kontextlänge?

Um zu verstehen, was es bedeutet, eine unbegrenzte Kontextlänge zu haben, müssen wir zunächst verstehen, was Kontextlänge bedeutet.

ChatGPT verfügt beispielsweise über eine begrenzte Anzahl von Token, was bedeutet, dass auch seine Kontextlänge begrenzt ist. Sobald ChatGPT diese Grenze überschreitet, verlieren alle kontinuierlichen Interaktionen, die Sie bis zu diesem Zeitpunkt damit hatten, jegliche Bedeutung. Oder besser gesagt, es wird zurückgesetzt.

Wenn Sie also mit ChatGPT eine Konversation zum Thema Windows beginnen und diese Konversation länger als die begrenzte Kontextlänge dauert, verliert das KI-Tool den Kontext und beginnt entweder, vom Thema oder der gesamten Konversation abzuweichen wird zurückgesetzt.

Eine unbegrenzte Kontextlänge stellt sicher, dass das nicht passiert, und das KI-Modell wird Ihnen weiterhin zu diesem Thema antworten, während es gleichzeitig Informationen lernt und anpasst, während Sie mit ihm über Windows sprechen.

Das bedeutet, dass das KI-Modell die Konversation auch entsprechend Ihrer Eingaben personalisiert, weshalb der Kontext eine unbegrenzte Länge haben muss.

Wie funktioniert LongMem?

Genau das verspricht Microsoft mit seiner neuen Forschung zum Framework LongMem. LongMem würde es großen Sprachmodellen ermöglichen, sich Langzeitkontexte zu merken und den Langzeitspeicher bei reduzierter CPU-Leistung zu nutzen.

Das Framework besteht aus einem eingefrorenen großen Sprachmodell als Speicherkodierer, einem verbleibenden Seitennetzwerk als Speicherabrufer und -leser und einer zwischengespeicherten Speicherbank, die Schlüssel-Wert-Paare aus vergangenen Kontexten speichert.

In der von Microsoft durchgeführten Untersuchung zeigen Experimente, dass LongMem die Basiswerte bei der Modellierung von Langtextsprachen, beim Verstehen von Langtexten und bei speichererweiterten In-Context-Lernaufgaben übertrifft. Darüber hinaus ermöglicht das Langzeitgedächtnis die Nutzung von mehr Demonstrationsbeispielen für ein besseres Lernen.

Und die gute Nachricht ist, dass LongMem Open Source sein wird. So können Sie es studieren und lernen, wie Sie das Framework in Ihrem eigenen KI-Modell implementieren. Sie können das GitHub-Profil hier überprüfen .

Und wenn Sie daran interessiert sind, den gesamten Forschungsbericht zum Framework zu lesen, schauen Sie sich ihn hier an .

Was denken Sie über diesen neuen technologischen Durchbruch? Wird es die Funktionsweise von KI-Modellen revolutionieren? Teilen Sie uns unten unbedingt Ihre Gedanken und Meinungen mit.