So führen Sie Llama 3 von Meta AI lokal aus

Was Sie wissen sollten

• Sie können Metas großes Sprachmodell Llama 3 herunterladen und lokal auf Ihrem System ausführen.
• Laden Sie Meta Llama 3 von Llama.meta.com herunter und verwenden Sie ein LLM-Framework wie LM Studio, um das Modell zu laden.
• Sie können Meta Llama 3 auch direkt im LM Studio suchen und herunterladen. Detaillierte Anweisungen hierzu finden Sie in der Anleitung weiter unten.

Metas neuestes Sprachmodell Llama 3 ist da und kostenlos erhältlich. Sie können zwar Meta AI verwenden, das dasselbe LLM ausführt, es besteht aber auch die Möglichkeit, das Modell herunterzuladen und lokal auf Ihrem System auszuführen.

So führen Sie Llama 3 von Meta AI lokal aus

Obwohl Meta AI nur in ausgewählten Ländern verfügbar ist, können Sie Llama 3 unabhängig von Ihrer Region lokal auf Ihren PC herunterladen und ausführen. Befolgen Sie die nachstehenden Schritte, um Llama 3 von Meta AI lokal auszuführen.

Schritt 1: LM Studio installieren

Installieren wir zunächst ein Framework, auf dem Llama 3 ausgeführt wird. Wenn Sie bereits eine andere solche Anwendung auf Ihrem System haben, können Sie mit dem nächsten Schritt fortfahren. Für alle anderen ist hier beschrieben, wie man an das LM Studio kommt:

• LM Studio | Download-Link

1. Verwenden Sie den obigen Link und klicken Sie auf LM Studio für Windows, um es herunterzuladen.
   
2. Führen Sie nach dem Download das Installationsprogramm aus und lassen Sie LM Studio installieren.
   

Schritt 2: Laden Sie Meta’s Llama 3 lokal herunter

Sobald Sie Ihr LLM-Framework haben, ist es an der Zeit, Meta’s Llama 3 auf Ihren PC herunterzuladen. Es gibt mehrere Möglichkeiten, wie Sie dabei vorgehen können.

1. Öffnen Sie Llama.Meta.com und klicken Sie auf Modelle herunterladen .
   
2. Geben Sie Ihre Daten ein und fordern Sie den Download des LLM an.
   

Wenn das oben Genannte nicht klappt, machen Sie sich keine Sorgen. Sie können das LLM auch über Ihr LLM-Framework herunterladen.

1. Suchen Sie einfach im Suchfeld von LM Studio nach Meta Llama.
   
2. Hier finden Sie verschiedene quantisierte LLMs. Wählen Sie eines aus.
   
3. Wählen Sie rechts die gewünschte Version aus. Klicken Sie daneben auf Download .
   
4. Warten Sie, bis der Download abgeschlossen ist.
5. Klicken Sie anschließend links auf „Meine Modelle“ .
   
6. Und prüfen Sie, ob der Download abgeschlossen ist.
   

Schritt 3: Laden Sie das heruntergeladene Modell

1. Sobald der Download abgeschlossen ist, klicken Sie links auf AI-Chat .
   
2. Klicken Sie auf „ Zum Laden ein Modell auswählen“ .
   
3. Und wählen Sie das heruntergeladene Meta Llama 3.
   
4. Warten Sie, bis das Modell geladen ist.
   
5. Sobald es geladen ist, können Sie das gesamte Modell auf die GPU auslagern. Klicken Sie dazu unter „Einstellungen“ auf „ Erweiterte Konfiguration “.
   
6. Klicken Sie auf Max , um das gesamte Modell auf die GPU zu verlagern.
   
7. Klicken Sie auf „Modell neu laden“, um die Konfiguration anzuwenden .
   

Schritt 4: Führen Sie Llama 3 aus (und testen Sie es mit Eingabeaufforderungen).

Sobald das Modell geladen ist, können Sie lokal mit Llama 3 chatten. Und nein, da das LLM lokal auf Ihrem Computer gespeichert ist, benötigen Sie hierfür keine Internetverbindung. Lassen Sie uns also Llama 3 testen und sehen, was es kann.

Testen der Zensurresistenz

Verständnis komplexer Themen testen

Test auf Halluzinationen

Prüfung auf Kreativität und Verständnis

Den meisten Berichten zufolge ist Llama 3 ein ziemlich solides, umfangreiches Sprachmodell. Abgesehen von den oben genannten Testaufforderungen hat es sogar bei einigen komplexeren Themen und Aufforderungen mit Bravour abgeschnitten.

Wir hoffen, dass Sie Meta’s Llama 3 genauso oft lokal auf Ihrem Windows 11-PC ausführen wie wir. Bis zum nächsten Mal!