LongMem es la respuesta de Microsoft para una longitud de contexto ilimitada

Microsoft ha estado a la vanguardia de la educación en IA y de las herramientas de IA en general. Copilot llegará a Windows 11 muy pronto , como parte de las actualizaciones de Windows. La IA se está abriendo camino en Microsoft Teams, con un resumen inteligente que ayuda a las personas a trabajar más fácilmente .

Bing es también una de las herramientas de IA más emocionantes que existen , y sus funciones le permiten optimizar tanto su trabajo como la forma en que navega por Internet.

Pero a principios de esta semana, Microsoft también reveló que Orca 13B pronto se convertirá en código abierto . Orca 13B es un pequeño modelo de IA que funciona con la misma calidad y velocidad que los otros modelos de IA, como ChatGPT.

Ahora, en la batalla de las IA y la investigación de IA, Microsoft presenta LongMem, un marco hipotético y un modelo de lenguaje de IA .

De acuerdo con este hilo de Reddit , LongMem permite una longitud de contexto ilimitada con un uso reducido de GPU y memoria de CPU. Todo esto se hace a una velocidad más rápida.

Microsoft Research propone un nuevo marco, LongMem, que permite una longitud de contexto ilimitada junto con un uso de memoria GPU reducido y una velocidad de inferencia más rápida. El código será abierto
por u/llamaShill en LocalLLaMA

¿Es LongMem la respuesta de Microsoft para una longitud de contexto ilimitada?

Bueno, para comprender lo que significa tener una longitud de contexto ilimitada, primero debemos comprender qué significa la longitud de contexto.

Por ejemplo, ChatGPT tiene una cantidad limitada de tokens, lo que significa que la longitud de su contexto también es limitada. Tan pronto como ChatGPT supere ese límite, toda la interacción continua que tuvo con él hasta ese momento perderá toda importancia. O mejor dicho, se reiniciará.

Entonces, si está iniciando una conversación con ChatGPT sobre el tema de Windows, y esa conversación dura más que la duración limitada del contexto, entonces la herramienta de IA perderá el contexto y comenzará a desviarse del tema o de toda la conversación. se reiniciará.

Una longitud de contexto ilimitada se asegurará de que eso no suceda, y el modelo de IA continuará respondiendo sobre el tema, mientras aprende y adapta la información a medida que le habla sobre Windows.

Eso significa que el modelo de IA también personalizará la conversación de acuerdo con su entrada, de ahí la necesidad de que el contexto tenga una duración ilimitada.

¿Cómo funciona LongMem?

Microsoft promete exactamente eso con su nueva investigación sobre el marco, LongMem. LongMem permitiría que los modelos de lenguaje grandes memoricen contextos a largo plazo y utilicen la memoria a largo plazo con una potencia de CPU reducida.

El marco consta de un modelo de lenguaje grande congelado como codificador de memoria, una red lateral residual como recuperador y lector de memoria, y un banco de memoria en caché que almacena pares clave-valor de contextos pasados.

En la investigación realizada por Microsoft, los experimentos muestran que LongMem supera las líneas de base en el modelado de lenguaje de texto largo, la comprensión de contexto largo y las tareas de aprendizaje en contexto con memoria aumentada. Además, la memoria a largo plazo le permite utilizar más ejemplos de demostración para un mejor aprendizaje.

Y la buena noticia es que LongMem será de código abierto. Entonces podrá estudiarlo y aprender a implementar el marco en su propio modelo de IA. Puedes consultar su perfil en GitHub aquí .

Y si está interesado en leer el trabajo de investigación completo sobre el marco, diríjase aquí y compruébelo .

¿Qué opinas de este nuevo avance tecnológico? ¿Revolucionará la forma en que funcionan los modelos de IA? Asegúrese de hacernos saber sus pensamientos y opiniones a continuación.