So führen Sie Microsoft Phi-3 AI lokal unter Windows aus

2024/04/29

Was Sie wissen sollten

Phi-3 von Microsoft ist ein kleines, aber leistungsstarkes KI-Modell, das Sie lokal unter Windows ausführen können.
Installieren Sie Ollama und führen Sie den Befehl dann ollama run phi3in einer Terminal-App (z. B. CMD) aus. Sobald phi-3 heruntergeladen ist, können Sie direkt im Terminal mit der KI chatten.
Sie können auch eine Software wie LM Studio für eine grafische Benutzeroberfläche verwenden, um lokal mit Phi-3 zu chatten. Laden Sie die Phi-3-Guff-Datei separat herunter und speichern Sie sie im Verzeichnis von LM Studio. Laden Sie dann das Modell in LM Studio und beginnen Sie, lokal mit Phi-3 unter Windows zu chatten.

Die Phi-3-Familie von Sprachmodellen von Microsoft ist endlich da. Für ihre Größe sind sie definitiv eine Klasse für sich und erweisen sich in vielerlei Hinsicht bereits als viel besser als andere kürzlich veröffentlichte Modelle wie Llama 3 und Mixtral. Dank seiner geringen Größe kann Phi-3 problemlos lokal auf Ihrem Windows-PC ausgeführt werden. So können Sie dies mit Ollama und LM Studio tun.

So führen Sie Microsoft Phi-3 unter Windows mit Ollama aus

Ollama ist ein Software-Framework, mit dem Sie LLMs ausführen und damit experimentieren können. Hier erfahren Sie, wie Sie damit Microsoft Phi-3 lokal unter Windows ausführen können.

Schritt 1: Laden Sie Ollama herunter und installieren Sie es

Lassen Sie uns zunächst Ollama herunterladen und installieren. So geht’s:

Ollama für Windows | Download-Link

Benutzen Sie den oben genannten Link und klicken Sie auf „ Download für Windows (Vorschau)“ .
Führen Sie die Setup-Datei nach dem Download aus.
Klicken Sie auf Installieren und installieren Sie Ollama.

Schritt 2: Führen Sie den Phi-3-Befehl aus und laden Sie das LLM herunter

Als Nächstes laden wir das Phi-3-Modell mit Ollama herunter.

Öffnen Sie Ollama.com und klicken Sie auf Models .
Scrollen Sie nach unten und klicken Sie auf phi3 . Wenn Sie es zunächst nicht sehen, können Sie auch danach suchen.
Kopieren Sie hier den Befehl zum Herunterladen von phi3.
Öffnen Sie als Nächstes die Eingabeaufforderung (oder eine beliebige Terminal-App Ihrer Wahl) über das Startmenü.
Fügen Sie hier den kopierten Befehl ein.
Drücken Sie die Eingabetaste und warten Sie, bis Phi-3 auf Ihren Computer heruntergeladen ist.
Sobald die Meldung „Nachricht senden“ angezeigt wird, können Sie mit dem lokalen Chat mit dem Modell beginnen.

Schritt 3: Beginnen Sie mit dem Chatten mit Microsofts Phi-3 LLM

Sie können direkt in der Terminal-App mit dem Chatten beginnen. Geben Sie einfach eine Eingabeaufforderung ein und drücken Sie die Eingabetaste. Hier sind einige Bereiche, in denen wir das Modell getestet haben.

Testen der Zensurresistenz

Verständnis komplexer Themen testen

Test auf Halluzinationen

Prüfung auf Kreativität

So führen Sie Microsoft Phi-3 unter Windows mit LM Studio aus

Wenn Sie nicht gerne mit Microsofts Phi-3 unter Windows über Ihre Terminal-App chatten und lieber eine dedizierte Schnittstelle dafür hätten, gibt es nichts Besseres als LM Studio. Hier erfahren Sie, wie Sie Phi-3 in LM Studio einrichten und lokal mit dem Modell chatten.

Schritt 1: LM Studio installieren

LM Studio | Download-Link

Verwenden Sie den obigen Link und klicken Sie auf LM Studio für Windows, um es herunterzuladen.
Führen Sie nach dem Download das Installationsprogramm aus und lassen Sie LM Studio installieren.

Schritt 2: Phi-3 gguf-Datei herunterladen

Sie können Phi-3 nicht direkt in LM Studio suchen und herunterladen. Sie müssen die Phi-3-Guff-Datei separat herunterladen. So geht’s:

Phi-3-Mini Guff-Datei | Download-Link

Verwenden Sie den oben angegebenen Link und klicken Sie auf Dateien .
Hier finden Sie zwei Versionen des Phi-3-Modells. Wählen Sie eine aus. Für unsere Zwecke wählen wir die kleinere Version.
Klicken Sie auf Herunterladen .
Speichern Sie es dann an einem geeigneten Ort.

Schritt 3: Laden Sie das Phi-3-Modell

Als nächstes laden wir das heruntergeladene Phi-3-Modell. Befolgen Sie dazu die folgenden Schritte:

Öffnen Sie LM Studio und klicken Sie links auf „Meine Modelle“ .
Beachten Sie den Ordner „Lokale Modelle“. Hierhin müssen wir die heruntergeladene Phi-3-Guff-Datei verschieben. Klicken Sie auf „ Im Datei-Explorer anzeigen“, um das Verzeichnis zu öffnen.
Erstellen Sie hier einen neuen Ordner mit dem Namen Microsoft .
Erstellen Sie im Microsoft-Ordner einen weiteren Ordner mit dem Namen Phi-3 .
Fügen Sie die heruntergeladene Phi-3-Guff-Datei in den Phi-3-Ordner ein.
Sobald Sie die Phi-3-Guff-Datei verschoben haben, wird sie auch in LM Studio angezeigt.

Möglicherweise müssen Sie LM Studio neu starten, damit es Phi-3 in seinem Verzeichnis erkennt.
Um das Phi-3-Modell zu laden, klicken Sie links auf die Option „AI-Chat“ .
Klicken Sie auf „ Zum Laden ein Modell auswählen“ .
Und wählen Sie das Phi-3-Modell aus.
Warten Sie, bis es geladen ist. Sobald dies erledigt ist, können Sie mit Phi-3 chatten. Wir empfehlen jedoch, das Modell auf die GPU auszulagern, damit Ihre CPU nicht unnötig belastet wird. Klicken Sie dazu unter „Systemaufforderung“ rechts auf „ Erweiterte Konfiguration > Hardwareeinstellungen“ .
Klicken Sie unter „GPU-Beschleunigung“ auf Max .
Klicken Sie auf „Modell neu laden“, um die Konfiguration anzuwenden .
Sobald das Modell geladen ist, können Sie mit Phi-3 chatten.

Schritt 4: Beginnen Sie mit dem Chatten mit Microsofts Phi-3 LLM

Und das war’s auch schon. Geben Sie eine Eingabeaufforderung ein. Unabhängig davon, ob Sie über eine Internetverbindung verfügen oder nicht, können Sie jetzt lokal auf Ihrem Windows-PC mit dem Phi-3-Modell von Microsoft chatten.

FAQ

Sehen wir uns einige häufig gestellte Fragen zum lokalen Ausführen von Microsoft Phi-3 auf Ihrem Windows-PC an.

Wie behebt man, dass Ollama beim Herunterladen von Phi-3 hängen bleibt?

Wenn beim Herunterladen von Phi-3 über Ollama in der Eingabeaufforderung Probleme auftreten, geben Sie den Befehl einfach ollama run phi3erneut ein. Der Download wird an der Stelle fortgesetzt, an der er zuvor unterbrochen wurde.

Wir hoffen, dass Ihnen diese Anleitung geholfen hat, Microsofts Phi-3-Modell lokal auf Ihrem Windows-PC über Ollama und LM Studio auszuführen. Bis zum nächsten Mal!