Hoe Llama 3 door Meta AI lokaal te gebruiken

Wat te weten

• Meta’s grote taalmodel Llama 3 kunt u downloaden en lokaal op uw systeem uitvoeren.
• Download Meta Llama 3 van Llama.meta.com en gebruik een LLM-framework zoals LM studio om het model te laden.
• Je kunt Meta Llama 3 ook zoeken en downloaden vanuit LM studio zelf. Raadpleeg de onderstaande gids voor gedetailleerde instructies hiervoor.

Meta’s nieuwste taalmodel Llama 3 is hier en gratis beschikbaar. Hoewel u Meta AI kunt gebruiken, die dezelfde LLM uitvoert, is er ook de mogelijkheid om het model te downloaden en lokaal op uw systeem uit te voeren.

Hoe Llama 3 door Meta AI lokaal te draaien

Hoewel Meta AI alleen in bepaalde landen beschikbaar is, kunt u Llama 3 lokaal op uw pc downloaden en uitvoeren, ongeacht uw regio. Volg de onderstaande stappen om Llama 3 by Meta AI lokaal uit te voeren.

Stap 1: Installeer LM Studio

Laten we eerst een raamwerk installeren waarop de Llama 3 kan worden uitgevoerd. Als u al een dergelijke toepassing op uw systeem heeft, kunt u doorgaan naar de volgende stap. Voor alle anderen: zo kun je de LM-studio verkrijgen:

• LM Studio | Download link

1. Gebruik de bovenstaande link en klik op LM Studio voor Windows om het te downloaden.
   
2. Eenmaal gedownload, voert u het installatieprogramma uit en laat u LM Studio installeren.
   

Stap 2: Download Meta’s Llama 3 lokaal

Zodra je je LLM-framework hebt, is het tijd om Meta’s Llama 3 naar je pc te downloaden. Er zijn een aantal manieren om dit aan te pakken.

1. Open Llama.Meta.com en klik op Modellen downloaden .
   
2. Voer uw gegevens in en vraag om de LLM te downloaden.
   

Als het bovenstaande niet lukt, hoeft u zich geen zorgen te maken. U kunt ook uw LLM-framework gebruiken om de LLM te downloaden.

1. Zoek eenvoudigweg naar Meta Llama in het zoekveld van LM Studio.
   
2. Hier vindt u verschillende gekwantiseerde LLM’s. Kies een.
   
3. Selecteer aan de rechterkant uw voorkeursversie. Klik op Downloaden ernaast.
   
4. Wacht tot het downloaden is voltooid.
5. Als u klaar bent, klikt u aan de linkerkant op Mijn modellen .
   
6. En controleer of het downloaden is voltooid.
   

Stap 3: Laad het gedownloade model

1. Zodra de download is voltooid, klikt u op AI-chat aan de linkerkant.
   
2. Klik op Selecteer een model om te laden .
   
3. En kies voor de gedownloade Meta Llama 3.
   
4. Wacht tot het model is geladen.
   
5. Zodra het is geladen, kunt u het hele model naar de GPU overbrengen. Klik hiervoor op Geavanceerde configuratie onder ‘Instellingen’.
   
6. Klik op Max om het volledige model naar de GPU over te brengen.
   
7. Klik op Model opnieuw laden om de configuratie toe te passen .
   

Stap 4: Voer Llama 3 uit (en test het met aanwijzingen)

Zodra het model is geladen, kunt u lokaal met Llama 3 chatten. En nee, aangezien de LLM lokaal op uw computer wordt opgeslagen, heeft u hiervoor geen internetverbinding nodig. Laten we Llama 3 dus op de proef stellen en kijken waartoe hij in staat is.

Testen van weerstand tegen censuur

Het testen van het begrip van complexe onderwerpen

Testen op hallucinaties

Testen op creativiteit en begrip

Volgens de meeste verhalen is Llama 3 een behoorlijk solide groottaalmodel. Afgezien van de hierboven genoemde testprompts, kwam het met vlag en wimpel door, zelfs bij sommige complexere onderwerpen en prompts.

We hopen dat je lokaal net zoveel Meta’s Llama 3 op je Windows 11-pc hebt draaien als wij. Tot de volgende keer!