Jak uruchomić lokalnie AI Microsoft Phi-3 w systemie Windows

2024/04/29

Co wiedzieć

Phi-3 firmy Microsoft to mały, ale potężny model sztucznej inteligencji, który można uruchomić lokalnie w systemie Windows.
Zainstaluj Ollamę , a następnie uruchom polecenie ollama run phi3w aplikacji terminalowej (np. CMD). Po pobraniu phi-3 będziesz mógł rozmawiać z sztuczną inteligencją w samym terminalu.
Możesz także użyć oprogramowania takiego jak LM Studio jako interfejsu graficznego, aby lokalnie rozmawiać z Phi-3. Pobierz osobno plik Phi-3 guff i zapisz go w katalogu LM Studio. Następnie załaduj model w LM Studio i rozpocznij lokalną rozmowę z Phi-3 w systemie Windows.

Wreszcie dostępna jest rodzina modeli językowych Phi-3 firmy Microsoft. Ze względu na swój rozmiar zdecydowanie wyróżniają się na tle konkurencji i już pod wieloma względami sprawdzają się znacznie lepiej niż inne niedawno wydane modele, takie jak Llama 3 i Mixtral. Dzięki swoim niewielkim rozmiarom Phi-3 można łatwo uruchomić lokalnie na komputerze z systemem Windows. Oto jak możesz to zrobić za pomocą Ollama i LM Studio.

Jak uruchomić Phi-3 firmy Microsoft w systemie Windows przy użyciu Ollama

Ollama to platforma oprogramowania, która umożliwia uruchamianie i eksperymentowanie z LLM. Oto jak go używać do lokalnego uruchamiania Phi-3 firmy Microsoft w systemie Windows.

Krok 1: Pobierz i zainstaluj Ollamę

Najpierw pobierzmy i zainstalujmy Ollamę. Oto jak:

Ollama dla Windows | Link do pobrania

Skorzystaj z powyższego łącza i kliknij opcję Pobierz dla systemu Windows (podgląd) .
Po pobraniu uruchom plik instalacyjny.
Kliknij Zainstaluj i zainstaluj Ollamę.

Krok 2: Uruchom polecenie Phi-3 i pobierz LLM

Następnie pobierzmy model Phi-3 za pomocą Ollama.

Otwórz Ollama.com i kliknij Modele .
Przewiń w dół i kliknij phi3 . Jeśli nie widzisz go na początku, możesz go również wyszukać.
Tutaj skopiuj polecenie, aby pobrać phi3.
Następnie otwórz Wiersz Poleceń (lub dowolną wybraną aplikację terminalową) z menu Start.
Tutaj wklej skopiowane polecenie.
Naciśnij Enter i poczekaj, aż Phi-3 pobierze się na Twój komputer.
Gdy zobaczysz komunikat „Wyślij wiadomość”, możesz rozpocząć lokalną rozmowę z modelem.

Krok 3: Rozpocznij rozmowę z Phi-3 LLM firmy Microsoft

Możesz rozpocząć rozmowę w samej aplikacji terminalowej. Po prostu wpisz monit i naciśnij Enter. Oto kilka obszarów, w których testowaliśmy ten model.

Testowanie odporności na cenzurę

Testowanie zrozumienia złożonych tematów

Test na halucynacje

Testowanie kreatywności

Jak uruchomić Phi-3 firmy Microsoft w systemie Windows przy użyciu LM Studio

Jeśli nie lubisz rozmawiać z Phi-3 firmy Microsoft w systemie Windows za pomocą aplikacji terminalowej i wolisz mieć do tego dedykowany interfejs, nie ma nic lepszego niż LM Studio. Oto jak skonfigurować Phi-3 w LM Studio i rozpocząć lokalną rozmowę z modelem.

Krok 1: Zainstaluj LM Studio

Studio LM | Link do pobrania

Skorzystaj z powyższego łącza i kliknij LM Studio dla Windows, aby je pobrać.
Po pobraniu uruchom instalator i pozwól LM Studio zainstalować.

Krok 2: Pobierz plik Phi-3 gguf

Nie będziesz mógł wyszukiwać i pobierać Phi-3 z poziomu samego LM Studio. Będziesz musiał osobno zdobyć plik guff Phi-3. Oto jak:

Plik Phi-3-Mini Guff | Link do pobrania

Skorzystaj z linku podanego powyżej i kliknij Pliki .
Tutaj znajdziesz dwie wersje modelu Phi-3. Wybierz jeden. Dla naszych celów wybieramy mniejszą wersję.
Kliknij Pobierz .
Następnie zapisz go w dogodnym miejscu.

Krok 3: Załaduj model Phi-3

Następnie załadujemy pobrany model Phi-3. Aby to zrobić, wykonaj następujące kroki:

Otwórz LM Studio i kliknij Moje modele po lewej stronie.
Zwróć uwagę na „Folder modeli lokalnych”. Tutaj musimy przenieść pobrany plik guff Phi-3. Kliknij Pokaż w Eksploratorze plików, aby otworzyć katalog.
Tutaj utwórz nowy folder o nazwie Microsoft .
W folderze Microsoft utwórz kolejny folder o nazwie Phi-3 .
Wklej pobrany plik Phi-3 guff do folderu Phi-3.
Po przeniesieniu pliku guff Phi-3 pojawi się on również w LM Studio.

Może być konieczne ponowne uruchomienie LM Studio, aby rozpoznało Phi-3 w swoim katalogu.
Aby załadować model Phi-3, kliknij opcję AI Chat po lewej stronie.
Kliknij Wybierz model do załadowania .
I wybierz model Phi-3.
Poczekaj, aż się załaduje. Gdy już to zrobisz, możesz rozpocząć rozmowę z Phi-3. Zalecamy jednak przeniesienie modelu na procesor graficzny, aby procesor nie znalazł się pod nadmiernym obciążeniem. Aby to zrobić, w obszarze „Podpowiedź systemowa” po prawej stronie kliknij Konfiguracja zaawansowana > Ustawienia sprzętowe .
W sekcji „Przyspieszenie GPU” kliknij opcję Maks . .
Kliknij opcję Załaduj ponownie model, aby zastosować konfigurację .
Po załadowaniu modelu możesz rozpocząć rozmowę z Phi-3.

Krok 4: Rozpocznij rozmowę z Phi-3 LLM firmy Microsoft

I to wszystko. Śmiało, wprowadź monit. Niezależnie od tego, czy masz połączenie z Internetem, czy nie, będziesz mógł teraz rozmawiać lokalnie z modelem Phi-3 firmy Microsoft na swoim komputerze z systemem Windows.

Często zadawane pytania

Rozważmy kilka często zadawanych pytań dotyczących lokalnego uruchamiania oprogramowania Microsoft Phi-3 na komputerze z systemem Windows.

Jak naprawić błąd, który Ollama utknął podczas pobierania Phi-3?

Jeśli napotkasz problemy podczas pobierania Phi-3 przez Ollamę w wierszu poleceń, po prostu wpisz polecenie ollama run phi3ponownie. Pobieranie zostanie wznowione od miejsca, w którym zostało wcześniej uderzone.

Mamy nadzieję, że ten przewodnik pomógł Ci uruchomić model Phi-3 firmy Microsoft lokalnie na komputerze z systemem Windows za pośrednictwem Ollama i LM Studio. Do następnego razu!