LongMem to odpowiedź Microsoftu na nieograniczoną długość kontekstu

Firma Microsoft przoduje w edukacji w zakresie sztucznej inteligencji i ogólnie w narzędziach sztucznej inteligencji. Copilot wkrótce pojawi się w systemie Windows 11 w ramach aktualizacji systemu Windows. Sztuczna inteligencja wkracza do Microsoft Teams z inteligentnym podsumowaniem ułatwiającym ludziom pracę .

Bing to także jedno z najbardziej ekscytujących narzędzi sztucznej inteligencji , a jego funkcje pozwalają zoptymalizować zarówno pracę, jak i sposób poruszania się po Internecie.

Ale na początku tego tygodnia Microsoft ujawnił również, że Orca 13B wkrótce stanie się open source . Orca 13B to mały model AI, który działa z taką samą jakością i szybkością jak inne modele AI, takie jak ChatGPT.

Teraz, w bitwie nad sztuczną inteligencją i badaniami nad sztuczną inteligencją, Microsoft opracowuje LongMem, hipotetyczną strukturę i model języka AI .

Zgodnie z tym wątkiem Reddit , LongMem pozwala na nieograniczoną długość kontekstu przy zmniejszonym zużyciu GPU i pamięci procesora. Wszystko to odbywa się z większą prędkością.

Microsoft Research proponuje nową platformę, LongMem, pozwalającą na nieograniczoną długość kontekstu wraz ze zmniejszonym wykorzystaniem pamięci GPU i większą szybkością wnioskowania. Kod zostanie udostępniony na zasadach open source
przez u/llamaShill w LocalLLaMA

Czy LongMem jest odpowiedzią firmy Microsoft na nieograniczoną długość kontekstu?

Cóż, aby zrozumieć, co to znaczy mieć nieograniczoną długość kontekstu, musimy najpierw zrozumieć, co oznacza długość kontekstu?

Na przykład ChatGPT ma ograniczoną liczbę tokenów, co oznacza, że ​​długość kontekstu jest również ograniczona. Gdy tylko ChatGPT przekroczy ten limit, cała ciągła interakcja, jaką miałeś z nim do tego momentu, straci wszelkie znaczenie. Lub lepiej powiedzieć, zresetuje się.

Jeśli więc rozpoczynasz rozmowę z ChatGPT na temat systemu Windows, a ta rozmowa trwa dłużej niż ograniczona długość kontekstu, narzędzie AI straci kontekst i albo zacznie odbiegać od tematu, albo cała rozmowa zresetuje się.

Nieograniczona długość kontekstu sprawi, że tak się nie stanie, a model sztucznej inteligencji będzie nadal odpowiadał na ten temat, jednocześnie ucząc się i dostosowując informacje, gdy rozmawiasz z nim o systemie Windows.

Oznacza to, że model AI spersonalizuje rozmowę zgodnie z Twoimi danymi wejściowymi, stąd potrzeba, aby kontekst miał nieograniczoną długość.

Jak działa LongMem?

Microsoft obiecuje właśnie to dzięki swoim nowym badaniom nad frameworkiem LongMem. LongMem umożliwiłby dużym modelom językowym zapamiętywanie długoterminowych kontekstów i wykorzystywanie pamięci długoterminowej przy zmniejszonej mocy procesora.

Struktura składa się z zamrożonego dużego modelu językowego jako kodera pamięci, szczątkowej sieci pobocznej jako modułu pobierania i odczytu pamięci oraz banku pamięci w pamięci podręcznej, który przechowuje pary klucz-wartość z przeszłych kontekstów.

W badaniach przeprowadzonych przez firmę Microsoft eksperymenty pokazują, że LongMem przewyższa wyniki bazowe w modelowaniu języka długiego tekstu, zrozumieniu długiego kontekstu i zadaniach uczenia się kontekstowego ze zwiększoną pamięcią. Ponadto pamięć długotrwała pozwala na wykorzystanie większej liczby przykładów demonstracyjnych w celu lepszego uczenia się.

Dobrą wiadomością jest to, że LongMem będzie open-source. Dzięki temu będziesz mógł go przestudiować i dowiedzieć się, jak zaimplementować framework we własnym modelu AI. Możesz sprawdzić jego profil na GitHubie tutaj .

A jeśli chcesz przeczytać cały artykuł badawczy na temat frameworka, przejdź tutaj i sprawdź to .

Co sądzisz o tym nowym przełomie technologicznym? Czy zrewolucjonizuje sposób działania modeli AI? Nie zapomnij podzielić się z nami swoimi przemyśleniami i opiniami poniżej.