Łatwe uruchamianie modeli AI lokalnie w systemie Windows 11 dzięki nowym funkcjom firmy Microsoft
Komputery Copilot+ stanowią przełomowy postęp jako pierwsze komputery zdolne do wykonywania Small Language Models (SLM) bezpośrednio na urządzeniu. Ta innowacyjna technologia oferuje znaczące korzyści, dostarczając szybsze wyniki dla różnych zadań, takich jak generowanie obrazów i tekstu, w porównaniu z aplikacją Copilot opartą na chmurze. Niedawno Microsoft zaprezentował AI Dev Gallery, która upraszcza integrację możliwości AI na urządzeniu z dowolną aplikacją.
Galeria AI Dev Gallery została zaprojektowana specjalnie dla deweloperów zainteresowanych testowaniem różnych modeli w celu ulepszenia swoich aplikacji o funkcje AI. To narzędzie zapewnia dostęp do ponad 25 próbek do pobrania, które można łatwo uruchomić na swoim urządzeniu. Ponadto użytkownicy mogą eksportować projekty lub kod źródłowy bezpośrednio do swoich aplikacji w celu natychmiastowej funkcjonalności. Jest zgodna zarówno z systemem Windows 10, jak i 11, obsługując architektury x64 i ARM64.
W ciekawym eksperymencie Windows Latest zduplikował AI Dev Gallery ze swojego repozytorium GitHub. Obecnie dostęp do niego wymaga zbudowania projektu za pomocą Visual Studio przed wykonaniem. Ponadto wymagane jest co najmniej 20 GB pamięci masowej i procesor wielordzeniowy. Chociaż zaleca się procesor graficzny z 8 GB pamięci VRAM, jest on niezbędny tylko w przypadku bardziej wymagających modeli.
Rozpoczęliśmy nasze testy na komputerze z systemem Windows 11 wyposażonym w 4-rdzeniowy procesor i 4 GB pamięci RAM. Aplikacja ma dwa tryby działania: Sample i Models. Wykorzystaliśmy tryb Sample, aby zbadać różne dostępne modele, które są podzielone na kategorie, w tym Text, Image, Code, Audio and Video i Smart Controls.
Ocena modeli
Dostępne modele do generowania obrazów i wideo są stosunkowo duże, o rozmiarach zbliżających się do 5 GB. Naszym początkowym wyborem był mniejszy model skoncentrowany na skalowaniu, który miał mniej niż 100 MB. Zrobiliśmy zrzut ekranu i próbowaliśmy go skalować, używając naszego procesora do przetwarzania. Co ciekawe, dostępna jest opcja przełączania między procesorem a procesorem graficznym do przetwarzania żądań.
Proces skalowania został ukończony w mniej niż 30 sekund na tej skromnej maszynie wirtualnej, co spowodowało tymczasowe wykorzystanie pamięci RAM sięgające 1 GB. Następnie aplikacja wyświetliła przeskalowany obraz o rozdzielczości 9272*4900. Jednak jakość elementów obrazu, w szczególności tekstu, została znacznie obniżona i stała się nieczytelna.
Niestety, nie ma możliwości podglądu wygenerowanego obrazu w większym formacie lub w trybie pełnoekranowym. Nie ma też opcji bezpośredniego pobrania obrazu na dysk.
Przystąpiliśmy do testowania innego modelu, znanego jako Detect Human Pose , który został zaprojektowany do określania położenia osób na obrazie. Model ten pomyślnie rozpoznał prostą postać idącą, ale zaczął również wyświetlać znaczniki pozycji na zrzutach ekranu naszego pulpitu z kilkoma otwartymi aplikacjami.
Podczas gdy dokładne sposoby integrowania tych modeli z aplikacjami pozostają niejasne, pewne funkcje mogą rzeczywiście działać lokalnie. Niemniej jednak komputery PC będą wymagały znacznej przestrzeni dyskowej dla tych modeli, wraz z solidnymi procesorami i co najmniej 16 GB pamięci RAM.
Co o tym sądzisz? Czy warto pobrać solidny model 5 GB, aby przekształcić monit tekstowy w obraz, czy też bardziej efektywne byłoby odczekanie 30 sekund za pomocą aplikacji internetowej? Oczywiste jest, że wiele z tych funkcji jest przeznaczonych do konkretnych przypadków użycia i środowisk operacyjnych, co niekoniecznie musi odpowiadać szerszej grupie użytkowników systemu Windows 11.
Dodaj komentarz