LongMem is het antwoord van Microsoft voor onbeperkte contextlengte

Microsoft loopt voorop op het gebied van AI-onderwijs en AI-tools in het algemeen. Copilot komt zeer binnenkort naar Windows 11 , als onderdeel van Windows-updates. AI vindt zijn weg naar Microsoft Teams, met een intelligente samenvatting die mensen helpt gemakkelijker te werken .

Bing is ook een van de meest opwindende AI-tools die er zijn , en dankzij de functies kunt u zowel uw werk als de manier waarop u op internet navigeert optimaliseren.

Maar eerder deze week onthulde Microsoft ook dat Orca 13B binnenkort open source wordt . Orca 13B is een klein AI-model dat met dezelfde kwaliteit en snelheid presteert als de andere AI-modellen, zoals ChatGPT.

Nu, in de strijd tussen AI’s en AI-onderzoek, komt Microsoft met LongMem, een hypothetisch raamwerk en AI-taalmodel .

Volgens deze Reddit-thread zorgt LongMem voor onbeperkte contextlengte bij een gereduceerde GPU en CPU-geheugengebruik. Dit alles gebeurt met een hogere snelheid.

Microsoft Research stelt een nieuw framework voor, LongMem, dat onbeperkte contextlengte mogelijk maakt, samen met minder GPU-geheugengebruik en hogere inferentiesnelheid. De code wordt open source gemaakt
door u/llamaShill in LocalLLaMA

Is LongMem het Microsoft-antwoord voor onbeperkte contextlengte?

Welnu, om te begrijpen wat het betekent om een ​​onbeperkte contextlengte te hebben, moeten we eerst begrijpen wat contextlengte betekent?

ChatGPT heeft bijvoorbeeld een beperkt aantal tokens, wat betekent dat de lengte van de context ook beperkt is. Zodra ChatGPT die limiet overschrijdt, verliest alle continue interactie die je er tot dan toe mee had, alle betekenis. Of beter gezegd, het zal resetten.

Dus als je een gesprek begint met ChatGPT over het onderwerp Windows, en dat gesprek duurt langer dan de beperkte contextlengte, dan verliest de AI-tool de context en begint het af te wijken van het onderwerp, of het hele gesprek zal resetten.

Een onbeperkte lengte van de context zorgt ervoor dat dit niet gebeurt, en het AI-model zal u over het onderwerp blijven antwoorden, terwijl het ook informatie leert en aanpast terwijl u ermee praat over Windows.

Dat betekent dat het AI-model het gesprek ook zal personaliseren op basis van jouw input, vandaar dat de context een onbeperkte lengte moet hebben.

Hoe werkt LongMem?

Microsoft belooft precies dat met hun nieuwe onderzoek naar het framework, LongMem. LongMem zou grote taalmodellen in staat stellen om langetermijncontexten te onthouden en langetermijngeheugen te gebruiken met minder CPU-kracht.

Het raamwerk bestaat uit een bevroren groot taalmodel als geheugen-encoder, een residueel zijnetwerk als geheugenophaalder en -lezer, en een gecachete geheugenbank die sleutel-waardeparen uit eerdere contexten opslaat.

In het onderzoek van Microsoft tonen experimenten aan dat LongMem beter presteert dan baselines op het gebied van lange-teksttaalmodellering, lange-contextbegrip en geheugenversterkte leertaken in de context. Bovendien stelt het langetermijngeheugen het in staat om meer demonstratievoorbeelden te gebruiken voor beter leren.

En het goede nieuws is dat LongMem open-source zal zijn. U kunt het dus bestuderen en leren hoe u het raamwerk in uw eigen AI-model kunt implementeren. Je kunt het GitHub-profiel hier bekijken .

En als je geïnteresseerd bent om het hele onderzoeksartikel over het raamwerk te lezen, ga dan hierheen en bekijk het .

Wat vind je van deze nieuwe technologische doorbraak? Zal het een revolutie teweegbrengen in de manier waarop AI-modellen werken? Laat ons hieronder uw mening en mening weten.