LongMem é ​​a resposta da Microsoft para comprimento de contexto ilimitado

A Microsoft está na vanguarda da educação em IA e nas ferramentas de IA em geral. O Copilot está chegando ao Windows 11 muito em breve , como parte das atualizações do Windows. A IA está chegando ao Microsoft Teams, com uma recapitulação inteligente que ajuda as pessoas a trabalhar com mais facilidade .

O Bing também é uma das ferramentas de IA mais empolgantes do mercado , e seus recursos permitem que você otimize seu trabalho e a maneira como navega na Internet.

Mas no início desta semana, a Microsoft também revelou que o Orca 13B logo se tornará de código aberto . O Orca 13B é um pequeno modelo de IA que funciona com a mesma qualidade e velocidade de outros modelos de IA, como o ChatGPT.

Agora, na batalha de IAs e pesquisa de IA, a Microsoft está apresentando o LongMem, uma estrutura hipotética e um modelo de linguagem de IA .

De acordo com este tópico do Reddit , o LongMem permite comprimento de contexto ilimitado em uma GPU reduzida e uso de memória da CPU. Tudo isso é feito em uma velocidade mais rápida.

A Microsoft Research propõe uma nova estrutura, LongMem, que permite comprimento de contexto ilimitado, além de uso reduzido de memória da GPU e velocidade de inferência mais rápida. O código será aberto
por u/llamaShill em LocalLLaMA

LongMem é ​​a resposta da Microsoft para comprimento de contexto ilimitado?

Bem, para entender o que significa ter um comprimento de contexto ilimitado, primeiro precisamos entender o que significa comprimento de contexto?

Por exemplo, o ChatGPT tem um número limitado de tokens, o que significa que seu comprimento de contexto também é limitado. Assim que o ChatGPT ultrapassar esse limite, toda a interação contínua que você teve com ele até aquele ponto perderá todo o significado. Ou melhor, ele será redefinido.

Portanto, se você estiver iniciando uma conversa com o ChatGPT sobre o assunto do Windows e essa conversa durar mais do que o comprimento limitado do contexto, a ferramenta AI perderá o contexto e começará a se desviar do assunto ou de toda a conversa irá reiniciar.

Um comprimento de contexto ilimitado garantirá que isso não aconteça, e o modelo de IA continuará respondendo a você sobre o assunto, enquanto também aprende e adapta as informações à medida que você fala sobre o Windows.

Isso significa que o modelo de IA também personalizará a conversa de acordo com sua entrada, daí a necessidade de o contexto ter uma duração ilimitada.

Como funciona o LongMem?

A Microsoft promete exatamente isso com sua nova pesquisa sobre a estrutura, LongMem. O LongMem permitiria que grandes modelos de linguagem memorizassem contextos de longo prazo e utilizassem memória de longo prazo com a potência reduzida da CPU.

A estrutura consiste em um grande modelo de linguagem congelado como codificador de memória, uma rede lateral residual como recuperador e leitor de memória e um banco de memória em cache que armazena pares chave-valor de contextos anteriores.

Na pesquisa feita pela Microsoft, os experimentos mostram que o LongMem supera as linhas de base em modelagem de linguagem de texto longo, compreensão de contexto longo e tarefas de aprendizado em contexto com aumento de memória. Além disso, a memória de longo prazo permite que ele utilize mais exemplos de demonstração para um melhor aprendizado.

E a boa notícia é que o LongMem será de código aberto. Assim, você poderá estudá-lo e aprender como implementar o framework em seu próprio modelo de IA. Você pode verificar seu perfil no GitHub aqui .

E se você estiver interessado em ler todo o trabalho de pesquisa sobre a estrutura, acesse aqui e confira .

O que você acha desse novo avanço tecnológico? Isso revolucionará a maneira como os modelos de IA funcionam? Certifique-se de nos informar seus pensamentos e opiniões abaixo.