Microsoft Phi-3 AI lokal unter Windows ausführen: Eine Schritt-für-Schritt-Anleitung

Wichtige Hinweise

  • Führen Sie Microsoft Phi-3 lokal unter Windows aus, um seine leistungsstarken KI-Funktionen zu nutzen.
  • Nutzen Sie Ollama für ein nahtloses Terminalerlebnis.
  • Wählen Sie LM Studio für eine intuitive grafische Benutzeroberfläche.

Eine umfassende Anleitung zum lokalen Ausführen von Microsoft Phi-3 unter Windows

In diesem Handbuch erfahren Sie ausführlich, wie Sie das Phi-3-KI-Modell von Microsoft unter Windows mit Ollama und LM Studio installieren und ausführen können. Außerdem werden umsetzbare Schritte für beide Ansätze bereitgestellt.

Was Sie wissen sollten

  • Phi-3 von Microsoft ist ein kompaktes und dennoch leistungsfähiges KI-Modell, das effizient lokal unter Windows ausgeführt werden kann.
  • Installieren Sie Ollama und führen Sie den Befehl dann ollama run phi3 in Ihrem Terminal aus (z. B.CMD).Nach Abschluss des Downloads können Sie direkt im Terminal mit der KI interagieren.
  • Alternativ können Sie LM Studio als grafische Benutzeroberfläche verwenden, um lokal mit Phi-3 zu chatten. Laden Sie die Phi-3-Guff-Datei separat herunter, platzieren Sie sie im Verzeichnis von LM Studio und laden Sie das Modell dort, um Chats zu starten.

Die Phi-3-Modelle von Microsoft stellen einen großen Fortschritt in der KI dar und übertreffen viele neuere Modelle wie Llama 3 und Mixtral in mehreren Funktionen. Aufgrund seiner kompakten Größe kann Phi-3 nahtlos auf Ihrem Windows-Computer ausgeführt werden. Nachfolgend finden Sie detaillierte Anweisungen zur Verwendung von Ollama und LM Studio für diesen Zweck.

Ausführen von Microsoft Phi-3 unter Windows mit Ollama

Ollama ist ein umfassendes Framework zum Ausführen und Experimentieren mit großen Sprachmodellen (LLMs).Sehen wir uns an, wie Sie es einrichten, um Microsoft Phi-3 lokal auf Ihrem Windows-Computer auszuführen.

Schritt 1: Ollama installieren

Beginnen Sie mit dem Herunterladen und Installieren von Ollama:

  1. Klicken Sie auf den obigen Link und wählen Sie „Download für Windows (Vorschau)“.
  2. Sobald der Download abgeschlossen ist, führen Sie die Setup-Datei aus.
  3. Folgen Sie den Anweisungen und klicken Sie auf „Installieren“, um die Installation von Ollama abzuschließen.

Schritt 2: Führen Sie den Phi-3-Download-Befehl aus

Laden wir jetzt das Phi-3-Modell über Ollama herunter:

  1. Besuchen Sie Ollama.com und navigieren Sie zum Abschnitt „Modelle“.
  2. Suchen und wählen Sie phi3 aus oder scrollen Sie nach unten, um es zu finden.
  3. Kopieren Sie den angezeigten Befehl zum Herunterladen von phi3.
  4. Öffnen Sie die Eingabeaufforderung oder eine beliebige Terminal-App über das Startmenü.
  5. Fügen Sie den kopierten Befehl in das Terminal ein.
  6. Klicken Sie auf Enter und warten Sie, bis der Download von Phi-3 abgeschlossen ist.
  7. Sobald die Eingabeaufforderung „Nachricht senden“ angezeigt wird, können Sie lokal mit der KI kommunizieren.

Schritt 3: Nutzen Sie den Phi-3 LLM von Microsoft

Sie können einen Chat direkt im Terminal starten. Geben Sie einfach Ihre Eingabeaufforderung ein und drücken Sie Enter.

Hier sind einige Bereiche, in denen Phi-3 herausragt:

Testen der Zensurresistenz Bewerten des Verständnisses komplexer Themen Identifizieren von Halluzinationen Bewerten der Kreativität

Ausführen von Microsoft Phi-3 unter Windows mit LM Studio

Wenn Sie keine Terminalschnittstelle bevorzugen, bietet LM Studio eine robuste grafische Umgebung für die Interaktion mit Microsoft Phi-3. Befolgen Sie diese Schritte, um es einzurichten:

Schritt 1: LM Studio installieren

  1. Folgen Sie dem Link, um LM Studio für Windows herunterzuladen.
  2. Führen Sie nach dem Download das Installationsprogramm aus, um LM Studio einzurichten.

Schritt 2: Erwerben Sie die Phi-3-Guff-Datei

Sie müssen die Phi-3-Guff-Datei separat herunterladen:

  1. Klicken Sie auf den Link oben und navigieren Sie zu „Dateien“.
  2. Wählen Sie eine der Phi-3-Modellversionen aus, vorzugsweise die kleinere Variante.
  3. Klicken Sie auf „Herunterladen“, um die Guff-Datei abzurufen.
  4. Speichern Sie es an einem geeigneten Ort auf Ihrem Computer.

Schritt 3: Importieren des Phi-3-Modells

Laden wir nun das heruntergeladene Phi-3-Modell in LM Studio:

  1. Öffnen Sie LM Studio und wählen Sie „Meine Modelle“ aus dem Menü auf der linken Seite.
  2. Überprüfen Sie den Pfad zum Ordner „Lokale Modelle“.Klicken Sie auf „ Im Datei-Explorer anzeigen“, um darauf zuzugreifen.
  3. Erstellen Sie in diesem Verzeichnis einen neuen Ordner mit dem Namen „Microsoft“.
  4. Erstellen Sie im Microsoft-Ordner einen Unterordner mit dem Namen Phi-3.
  5. Platzieren Sie die heruntergeladene Phi-3-Guff-Datei im Phi-3-Ordner.
  6. Das Modell sollte in LM Studio angezeigt werden. Möglicherweise müssen Sie es neu starten, damit die Änderungen wirksam werden.
  7. Um das Phi-3-Modell zu starten, gehen Sie zur Option „AI-Chat“ in der Seitenleiste.
  8. Wählen Sie „Zum Laden ein Modell auswählen“ und suchen Sie das Phi-3-Modell.
  9. Warten Sie, bis es vollständig geladen ist. Erwägen Sie die Auslagerung auf die GPU, um die CPU-Last zu verringern. Navigieren Sie dazu zu Erweiterte Konfiguration > Hardwareeinstellungen.
  10. Aktivieren Sie Max unter „GPU-Beschleunigung“ und klicken Sie auf „Modell neu laden“, um die Konfiguration anzuwenden.
  11. Sobald das Modell vollständig geladen ist, können Sie mit Phi-3 chatten.

Schritt 4: Nutzen Sie den Phi-3 LLM von Microsoft

Das ist alles! Geben Sie Ihre Eingabeaufforderung ein und unabhängig von Ihrem Internetverbindungsstatus können Sie jetzt lokal auf Ihrem Windows-PC mit dem Phi-3-Modell von Microsoft kommunizieren.

Zusätzliche Tipps

  • Stellen Sie sicher, dass Ihre Windows-Version alle erforderlichen Systemanforderungen für eine optimale Leistung erfüllt.
  • Starten Sie Ihr Terminal oder LM Studio neu, wenn die Modelle nach der Installation nicht wie erwartet angezeigt werden.
  • Suchen Sie regelmäßig nach Updates für Ollama und LM Studio, um die Funktionalität zu verbessern.

Zusammenfassung

Diese Anleitung bietet eine Schritt-für-Schritt-Anleitung zur erfolgreichen Installation und Ausführung des Phi-3-Modells von Microsoft lokal unter Windows unter Verwendung von Ollama und LM Studio. Unabhängig davon, ob Sie mit Terminalbefehlen zurechtkommen oder eine grafische Benutzeroberfläche bevorzugen, können Sie dieses KI-Modell mit beiden Methoden effektiv nutzen.

Abschluss

Mit Microsoft Phi-3 lokal ausgeführt können Sie erweiterte KI-Funktionen direkt auf Ihrem Gerät erkunden. Richten Sie entweder Ollama oder LM Studio wie angegeben ein und tauchen Sie mit Phi-3 in interaktive Gespräche ein. Zögern Sie nicht, zu experimentieren und mit verschiedenen Eingabeaufforderungen herumzuspielen, um die Fähigkeiten dieses außergewöhnlichen Modells voll auszunutzen!

Häufig gestellte Fragen

Wie behebt man, dass Ollama beim Herunterladen von Phi-3 hängen bleibt?

Wenn beim Herunterladen von Phi-3 über Ollama in der Eingabeaufforderung Probleme auftreten, geben Sie den Befehl einfach erneut ein ollama run phi3. Der Download wird dort fortgesetzt, wo er zuletzt angehalten wurde.