Microsoft Edge może uruchomić lokalnie model Phi3 Mini AI w systemach Windows 11 i Windows 10

Wygląda na to, że Microsoft testuje nową funkcję, która mogłaby pozwolić przeglądarce Edge na lokalne uruchamianie małego języka o nazwie „Phi3 Mini”. Oznacza to, że będziesz mógł używać Microsoft Edge do zabawy z jednym z małych modeli językowych Microsoftu bezpośrednio na komputerze z systemem Windows 11 (i Windows 10). Wynika to z nowych eksperymentalnych flag zauważonych w Edge Canary.

Jak zauważył nasz czytelnik Leo na X i potwierdził Windows Latest, istnieje nowa flaga o nazwie „Prompt API for Phi3 min”. Microsoft opisuje ją jako sposób na włączenie „eksploracyjnego Prompt API, który pozwala na interakcję z „wbudowanym dużym modelem języka” (Phi3 Mini w Edge).

„Włącza eksploracyjne API Prompt, umożliwiając wysyłanie instrukcji języka naturalnego do wbudowanego dużego modelu językowego (Phi3 Mini w Edge). Eksploracyjne API są przeznaczone do lokalnego prototypowania, aby pomóc odkryć potencjalne przypadki użycia i mogą nigdy nie zostać uruchomione. Te eksploracje będą informować wbudowaną mapę drogową AI”, Microsoft potwierdził eksperyment za pośrednictwem menu flag Edge.

Czy Edge naprawdę będzie lokalnie hostować model sztucznej inteligencji?

Co skłania nas do myślenia, że ​​model ten mógłby być hostowany lokalnie?

Użycie terminu „eksploracyjny” sugeruje, że koncepcja małego modelu językowego firmy Edge jest wciąż rozwijana i prawdopodobnie znajduje się na bardzo wczesnym etapie rozwoju.

Microsoft najwyraźniej nie hostuje w pełni rozwiniętego modelu dużego języka lokalnie w Edge, co nie jest praktycznie możliwe. Możliwe, że firma próbuje wykorzystać części małego modelu języka do zasilania nowych funkcji w przeglądarce.

„NIE nadaje się do przypadków użycia, w których wymagana jest dokładność faktów (np. odpowiadanie na pytania wymagające wiedzy)” – zauważyła firma Microsoft w opisie flagi eksperymentalnej.

Microsoft sprawdza, jak to działa bezpośrednio przez przeglądarkę Edge. API jest przeznaczone do naprawdę prostych zadań, takich jak podsumowywanie lub parafrazowanie tekstu. Firma ostrzega również, że API nie musi być dokładne w przypadku pytań opartych na wiedzy.

Ale w jaki sposób Microsoft mógłby zintegrować lokalną AI z Edge? Na przykład możesz zaznaczyć kilkaset słów tekstu, kliknąć prawym przyciskiem myszy, a następnie użyć wbudowanego procesu Edge AI, aby „podsumować lub przeformułować tekst” lokalnie.

Można to już zrobić za pośrednictwem Copilota, ale gdy dane są przetwarzane lokalnie, odpowiedzi są zazwyczaj szybsze i bardziej prywatne.

Ponadto Microsoft wspomina o „lokalnym prototypowaniu”, co jest kolejnym wyraźnym znakiem, że firma eksperymentuje z lokalnym hostowaniem API. Termin „wbudowany duży model językowy” potwierdza również, że model ten jest zintegrowany z samą przeglądarką Edge.

Dlaczego Microsoft miałby używać terminu „wbudowany”, gdyby nie było tak?

Istnieją również sposoby na uruchomienie Google Gemini Nano (niewielkiego modelu językowego) bezpośrednio w przeglądarce Google Chrome. Będziesz zaskoczony, jak niesamowicie szybko to działa, jeśli obejrzysz powyższy film udostępniony przez Mortena Justa na X.

Szczególnie interesujące jest to, że te lokalnie hostowane modele działają całkowicie w trybie offline, więc nie musisz martwić się o udostępnianie danych ani o powolne połączenie internetowe.

Oczywiście lokalne uruchamianie modeli AI w przeglądarce Edge to pomysł wymagający mnóstwa pracy i należy mieć nadzieję, że integracja nie zajmie wielu zasobów systemowych.

Oprócz lokalnej sztucznej inteligencji Edge chce również zmniejszyć bałagan i zintegrować funkcję oszczędzania energii systemu Windows 11, aby zmniejszyć zużycie prądu.