Anleitung zum lokalen Ausführen von Microsoft Phi-3 AI unter Windows

Wichtige Hinweise

  • Phi-3 von Microsoft ist ein kompaktes und dennoch robustes KI-Modell, das lokal auf Windows-Rechnern ausgeführt werden kann.
  • Nutzen Sie Ollama mit dem Befehl ollama run phi3 in einem Terminal, um mit der KI zu interagieren.
  • Für eine visuelle Interaktion können Sie LM Studio verwenden und das Phi-3-Modell aus einem separaten Download integrieren.

Die Kraft der KI entfesseln: Microsoft Phi-3 auf Ihrem Windows-PC ausführen

Microsofts Phi-3-KI-Modell hat in der Tech-Community für Aufsehen gesorgt, weshalb es für Enthusiasten und Entwickler unerlässlich ist, zu wissen, wie man es lokal ausführt. Diese Anleitung enthält Schritt-für-Schritt-Anweisungen zur Installation und Verwendung von Phi-3 über Ollama und LM Studio, sodass Sie auf seine Funktionen zugreifen können, ohne eine Online-Verbindung zu benötigen.

Wichtige Erkenntnisse, bevor Sie beginnen

  • Phi-3 von Microsoft ist ein kleines, aber leistungsstarkes KI-Modell, das Sie lokal unter Windows ausführen können.
  • Installieren Sie Ollama und führen Sie den Befehl dann ollama run phi3 in einer Terminal-App (z. B.CMD) aus. Sobald Phi-3 heruntergeladen ist, können Sie direkt im Terminal mit der KI chatten.
  • Sie können auch eine Software wie LM Studio für eine grafische Benutzeroberfläche verwenden, um lokal mit Phi-3 zu chatten. Laden Sie die Phi-3-Guff-Datei separat herunter und speichern Sie sie im Verzeichnis von LM Studio. Laden Sie dann das Modell in LM Studio und beginnen Sie, lokal mit Phi-3 unter Windows zu chatten.

Ausführen von Microsoft Phi-3 unter Windows mit Ollama

Ollama bietet ein hervorragendes Framework für die lokale Ausführung großer Sprachmodelle. Hier erfahren Sie, wie Sie damit Microsoft Phi-3 auf Ihrem Windows-Computer zum Laufen bringen.

Schritt 1: Ollama erwerben und einrichten

Beginnen Sie mit dem Herunterladen und Installieren von Ollama:

  1. Klicken Sie über den obigen Link auf „Download für Windows (Vorschau)“.
  2. Führen Sie nach dem Herunterladen die Setup-Datei aus.
  3. Folgen Sie dem Installationsvorgang, indem Sie auf Installieren klicken.

Schritt 2: Führen Sie den Phi-3-Befehl aus, um das Modell abzurufen

Um das Phi-3-Modell herunterzuladen, folgen Sie diesen Schritten:

  1. Besuchen Sie Ollama.com und navigieren Sie zum Abschnitt „Modelle“.
  2. Suchen und finden Sie phi3.
  3. Kopieren Sie den zum Herunterladen von phi3 verfügbaren Befehl.
  4. Öffnen Sie die Eingabeaufforderung (oder ein Terminal Ihrer Wahl) über das Startmenü.
  5. Fügen Sie den kopierten Befehl in die Terminalanwendung ein.
  6. Drücken Sie die Eingabetaste und warten Sie, bis das Phi-3-Modell heruntergeladen ist.
  7. Sobald die Eingabeaufforderung „Nachricht senden“ angezeigt wird, ist das Modell zur Interaktion bereit.

Schritt 3: Beginnen Sie Gespräche mit Microsofts Phi-3 LLM

Interagieren Sie direkt mit dem Modell in Ihrem Terminal. Geben Sie Ihre Eingabeaufforderung ein und drücken Sie die Eingabetaste. Hier sind einige Funktionen, die Sie erkunden könnten:

Testen der Zensurresistenz:

Beurteilung des Verständnisses komplexer Themen:

Halluzinationen erkennen:

Kreativität bewerten:

Ausführen von Microsoft Phi-3 unter Windows mit LM Studio

Wenn Sie für die Interaktion mit Phi-3 eine einfachere, grafische Benutzeroberfläche bevorzugen, sollten Sie LM Studio verwenden. So richten Sie es ein:

Schritt 1: LM Studio herunterladen und installieren

  1. Nutzen Sie den bereitgestellten Link, um LM Studio für Windows herunterzuladen.
  2. Öffnen Sie das Installationsprogramm und warten Sie, bis die Installation von LM Studio abgeschlossen ist.

Schritt 2: Erwerben Sie die Phi-3 GGUF-Datei

Um Phi-3 in LM Studio zu integrieren, laden Sie die GGUF-Datei separat herunter:

  1. Greifen Sie auf den Link zu und wählen Sie „Dateien“ aus.
  2. Wählen Sie eine Version des Phi-3-Modells; wir empfehlen die kleinere Version wegen der einfacheren Handhabung.
  3. Starten Sie den Download der ausgewählten Version.
  4. Speichern Sie die Datei an einem leicht zugänglichen Ort.

Schritt 3: Fügen Sie das Phi-3-Modell in LM Studio hinzu

Laden Sie nun das heruntergeladene Phi-3-Modell:

  1. Starten Sie LM Studio und klicken Sie auf Meine Modelle.
  2. Suchen Sie nach dem „Lokalen Modellordner“ und öffnen Sie ihn über „ Im Datei-Explorer anzeigen“.
  3. Erstellen Sie im Verzeichnis einen Ordner mit dem Namen „Microsoft“.
  4. Erstellen Sie im Microsoft-Ordner einen weiteren Ordner mit dem Namen Phi-3.
  5. Übertragen Sie die heruntergeladene GGUF-Datei in den Phi-3-Ordner.
  6. Nach dem Verschieben der Datei sollte sie in LM Studio angezeigt werden (möglicherweise müssen Sie die Anwendung neu starten).
  7. Wählen Sie zur Interaktion im Menü „AI-Chat“ aus.
  8. Wählen Sie „Zum Laden ein Modell auswählen“ und wählen Sie das Phi-3-Modell.
  9. Warten Sie, bis LM Studio das Modell geladen hat.
  10. Um eine optimale Leistung zu erzielen, sollten Sie das Modell für den Betrieb über die GPU konfigurieren. Passen Sie die Einstellungen unter Erweiterte Konfiguration > Hardwareeinstellungen an.
  11. Ändern Sie „GPU-Beschleunigung“ auf „Max.“
  12. Klicken Sie auf „Modell neu laden“, um die Konfiguration anzuwenden.
  13. Sobald das Modell vollständig geladen ist, beginnen Sie mit den Interaktionen in LM Studio.

Schritt 4: Beginnen Sie Ihr Gespräch mit Microsofts Phi-3 LLM

Jetzt können Sie mit dem Modell arbeiten! Geben Sie eine beliebige Eingabeaufforderung ein und chatten Sie lokal mit Microsoft Phi-3 auf Ihrem Windows-Computer, auch wenn keine Internetverbindung besteht.

Zusammenfassung

Dieses Tutorial hat Ihnen die notwendigen Schritte gezeigt, um Microsoft Phi-3 auf Ihrem Windows-PC auszuführen, unabhängig davon, ob Sie die Befehlszeilenschnittstelle mit Ollama oder die grafische Benutzeroberfläche von LM Studio wählen. Beide Methoden eröffnen Ihnen neue Möglichkeiten für Ihre Interaktion mit KI.

Abschluss

Mit diesen Einblicken und Anweisungen sind Sie in der Lage, die Funktionen von Microsoft Phi-3 lokal zu erkunden. Ob Sie Terminalbefehle oder eine visuellere Erfahrung bevorzugen, die Wahl liegt nun bei Ihnen. Tauchen Sie ein in die faszinierende Welt der KI und genießen Sie Ihre Interaktionen!

FAQ (Häufig gestellte Fragen)

Was tun, wenn Ollama beim Herunterladen von Phi-3 hängen bleibt?

Wenn Sie Probleme damit haben, dass Ollama Phi-3 nicht herunterlädt, geben Sie erneut ein ollama run phi3. Der Download sollte dort fortgesetzt werden, wo er angehalten wurde.