LongMem è la risposta di Microsoft per la lunghezza illimitata del contesto

Microsoft è stata in prima linea nell’educazione all’IA e negli strumenti di intelligenza artificiale in generale. Copilot arriverà molto presto su Windows 11 , come parte degli aggiornamenti di Windows. L’intelligenza artificiale si sta facendo strada in Microsoft Teams, con un riepilogo intelligente che aiuta le persone a lavorare più facilmente .

Bing è anche uno degli strumenti di intelligenza artificiale più entusiasmanti in circolazione e le sue funzionalità ti consentono di ottimizzare sia il tuo lavoro che il modo in cui navighi in Internet.

Ma all’inizio di questa settimana, Microsoft ha anche svelato che Orca 13B diventerà presto open source . Orca 13B è un piccolo modello AI che funziona alla stessa qualità e velocità degli altri modelli AI, come ChatGPT.

Ora, nella battaglia delle IA e della ricerca sull’IA, Microsoft sta proponendo LongMem, un ipotetico framework e modello di linguaggio AI .

Secondo questo thread Reddit , LongMem consente una lunghezza illimitata del contesto con una GPU ridotta e un utilizzo della memoria della CPU. Tutti questi vengono eseguiti a una velocità maggiore.

Microsoft Research propone un nuovo framework, LongMem, che consente una lunghezza illimitata del contesto insieme a un ridotto utilizzo della memoria della GPU e una maggiore velocità di inferenza. Il codice sarà reso open source
da u/llamaShill in LocalLLaMA

LongMem è la risposta di Microsoft per una lunghezza illimitata del contesto?

Bene, per capire cosa significa avere una lunghezza del contesto illimitata, dobbiamo prima capire cosa significa lunghezza del contesto?

Ad esempio, ChatGPT ha un numero limitato di token, il che significa che anche la sua lunghezza del contesto è limitata. Non appena ChatGPT supera tale limite, tutte le continue interazioni che hai avuto con esso fino a quel momento perderanno ogni significato. O meglio, si ripristinerà.

Quindi, se stai avviando una conversazione con ChatGPT sull’argomento di Windows e quella conversazione dura più della lunghezza limitata del contesto, lo strumento AI perderà il contesto e inizierà a deviare dall’argomento o dall’intera conversazione si ripristinerà.

Una lunghezza illimitata del contesto farà in modo che ciò non accada e il modello AI continuerà a risponderti sull’argomento, imparando e adattando anche le informazioni mentre gli parli di Windows.

Ciò significa che il modello AI personalizzerà anche la conversazione in base al tuo input, da qui la necessità che il contesto abbia una lunghezza illimitata.

Come funziona LongMem?

Microsoft promette proprio questo con la loro nuova ricerca sul framework, LongMem. LongMem consentirebbe ai modelli linguistici di grandi dimensioni di memorizzare contesti a lungo termine e utilizzare la memoria a lungo termine con una potenza della CPU ridotta.

Il framework è costituito da un modello di linguaggio di grandi dimensioni congelato come codificatore di memoria, una rete laterale residua come recuperatore e lettore di memoria e un banco di memoria memorizzato nella cache che memorizza coppie chiave-valore da contesti passati.

Nella ricerca condotta da Microsoft, gli esperimenti mostrano che LongMem supera le linee di base sulla modellazione del linguaggio del testo lungo, sulla comprensione del contesto lungo e sulle attività di apprendimento nel contesto con aumento della memoria. Inoltre, la memoria a lungo termine gli consente di utilizzare più esempi dimostrativi per un migliore apprendimento.

E la buona notizia è che LongMem sarà open-source. Quindi sarai in grado di studiarlo e imparare come implementare il framework nel tuo modello di intelligenza artificiale. Puoi controllare il suo profilo GitHub qui .

E se sei interessato a leggere l’intero documento di ricerca sul framework, vai qui e dai un’occhiata .

Cosa ne pensi di questa nuova svolta tecnologica? Rivoluzionerà il modo in cui funzionano i modelli di intelligenza artificiale? Assicurati di farci sapere i tuoi pensieri e opinioni qui sotto.