LongMem est la réponse de Microsoft pour une longueur de contexte illimitée

Microsoft a été à la pointe de l’éducation à l’IA et des outils d’IA en général. Copilot arrive très bientôt sur Windows 11 , dans le cadre des mises à jour Windows. L’IA fait son chemin dans Microsoft Teams, avec un récapitulatif intelligent aidant les gens à travailler plus facilement .

Bing est également l’un des outils d’IA les plus passionnants du marché et ses fonctionnalités vous permettent d’optimiser à la fois votre travail et la façon dont vous naviguez sur Internet.

Mais en début de semaine, Microsoft a également dévoilé qu’Orca 13B deviendrait bientôt open source . Orca 13B est un petit modèle d’IA qui fonctionne avec la même qualité et la même vitesse que les autres modèles d’IA, tels que ChatGPT.

Maintenant, dans la bataille des IA et de la recherche sur l’IA, Microsoft propose LongMem, un cadre hypothétique et un modèle de langage d’IA .

Selon ce fil Reddit , LongMem permet une longueur de contexte illimitée avec un GPU réduit et une utilisation de la mémoire CPU. Tout cela est fait à une vitesse plus rapide.

Microsoft Research propose un nouveau cadre, LongMem, permettant une longueur de contexte illimitée ainsi qu’une utilisation réduite de la mémoire GPU et une vitesse d’inférence plus rapide. Le code sera open-source
par u/llamaShill dans LocalLLaMA

LongMem est-il la réponse de Microsoft pour une longueur de contexte illimitée ?

Eh bien, pour comprendre ce que signifie avoir une longueur de contexte illimitée, nous devons d’abord comprendre ce que signifie la longueur de contexte ?

Par exemple, ChatGPT a un nombre limité de jetons, ce qui signifie que sa longueur de contexte est également limitée. Dès que ChatGPT dépasse cette limite, toutes les interactions continues que vous avez eues avec lui jusqu’à ce point perdront toute signification. Ou mieux dit, il se réinitialisera.

Donc, si vous démarrez une conversation avec ChatGPT sur le sujet de Windows, et que cette conversation dure plus que la durée limitée du contexte, alors l’outil d’intelligence artificielle perdra le contexte et commencera soit à s’écarter du sujet, soit à toute la conversation réinitialisera.

Une longueur de contexte illimitée garantira que cela ne se produira pas, et le modèle d’IA continuera à vous répondre sur le sujet, tout en apprenant et en adaptant les informations lorsque vous lui parlerez de Windows.

Cela signifie que le modèle d’IA personnalisera également la conversation en fonction de votre entrée, d’où la nécessité pour le contexte d’avoir une longueur illimitée.

Comment fonctionne LongMem ?

Microsoft promet justement cela avec ses nouvelles recherches sur le framework, LongMem. LongMem permettrait aux grands modèles de langage de mémoriser des contextes à long terme et d’utiliser la mémoire à long terme avec une puissance CPU réduite.

Le cadre se compose d’un grand modèle de langage gelé en tant qu’encodeur de mémoire, d’un réseau secondaire résiduel en tant que récupérateur et lecteur de mémoire, et d’une banque de mémoire en cache qui stocke les paires clé-valeur des contextes passés.

Dans les recherches effectuées par Microsoft, les expériences montrent que LongMem surpasse les bases de référence en matière de modélisation de langage de texte long, de compréhension de contexte long et de tâches d’apprentissage en contexte à mémoire augmentée. De plus, la mémoire à long terme lui permet d’utiliser plus d’exemples de démonstration pour un meilleur apprentissage.

Et la bonne nouvelle est que LongMem sera open-source. Vous pourrez ainsi l’étudier et apprendre à implémenter le framework dans votre propre modèle d’IA. Vous pouvez consulter son profil GitHub ici .

Et si vous souhaitez lire l’intégralité du document de recherche sur le cadre, rendez-vous ici et consultez-le .

Que pensez-vous de cette nouvelle avancée technologique ? Va-t-il révolutionner le fonctionnement des modèles d’IA ? Assurez-vous de nous faire part de vos réflexions et opinions ci-dessous.