Jak uruchomić LLM lokalnie na Androidzie

Co wiedzieć

• Zainstaluj aplikację taką jak MLC Chat na swoim urządzeniu z Androidem, aby eksperymentować i rozmawiać lokalnie z LLM.
• Pobierz jeden z dostępnych modeli i dotknij ikony „Czat”, aby rozpocząć rozmowę z wybranym LLM.
• Aplikacja MLC Chat umożliwia pobranie programów Gemma 2b, RedPajama, Llama3, Phi-2, Mistral i Llama2.

Istnieją różne programy LLM, które można uruchomić lokalnie na komputerze. Jeśli jednak chodzi o smartfony, możliwości są nieco ograniczone. Musisz uruchomić model małego języka lub mieć urządzenie premium z wystarczającą mocą obliczeniową, aby poradzić sobie z LLM. Tak czy inaczej, możliwe jest rozmawianie z modelami językowymi lokalnie i offline.

Jak uruchomić LLM lokalnie na Androidzie

Duże modele językowe są, cóż, duże i wymagają dużej mocy obliczeniowej. Ale nawet jeśli Twoje urządzenie z Androidem ma wystarczające zasoby, aby uruchomić SLM (małe modele językowe) i LLM, nadal potrzebujesz aplikacji, która pozwoli Ci eksperymentować z nimi za pomocą przyjaznego dla użytkownika interfejsu.

Tutaj przydaje się aplikacja taka jak MLC Chat. Wykonaj poniższe czynności, aby uruchomić LLM lokalnie na swoim urządzeniu z Androidem za pomocą aplikacji MLC Chat.

Krok 1: Zainstaluj aplikację MLC Chat

• Aplikacja MLC Chat | Link do pobrania

1. Najpierw kliknij powyższy link i pobierz plik APK dla aplikacji MLC Chat. Po wyświetleniu monitu dotknij Pobierz mimo to .
   

   

   

2. Zainstaluj aplikację MLCChat. Po zakończeniu otwórz to .
   

   

   

Krok 2: Pobierz LLM

W aplikacji MLCChat będziesz mieć listę dostępnych modeli, które możesz pobrać. Kliknij łącze pobierania obok modelu, który Ci się podoba, i poczekaj na pobranie.

Krok 3: Uruchom zainstalowany LLM

Po pobraniu dotknij ikony czatu obok, aby rozpocząć czat. Poczekaj na inicjalizację modelu. Gdy będziesz gotowy, śmiało rozpocznij rozmowę z sztuczną inteligencją.

Pamiętaj, że na liście dostępnych modeli w aplikacji MLCChat będą takie, jak Llama3, które będą wymagały dużej mocy obliczeniowej. Ale zawsze możesz zainstalować modele i przetestować, czy działają wystarczająco płynnie. Jeśli nie, wypróbuj mniejszy model językowy.

W naszych testach (na telefonie Nothing Phone 1) nie udało się załadować Gemma-2b, podczas gdy Lama3 zabiła interfejs systemowy. Te, które działały dobrze, to Lama-2 i Phi-2. Główną różnicą między LLM a innymi mniejszymi modelami językowymi jest zakres informacji, na których są one szkolone (parametry). Wybierz więc swoje modele zgodnie ze swoimi potrzebami i możliwościami swojego urządzenia z Androidem.

Mamy nadzieję, że udało Ci się zainstalować i uruchomić LLM lokalnie na swoim urządzeniu z Androidem. Do następnego razu!