Come eseguire Llama 3 di Meta AI localmente

Cosa sapere

• Il grande modello linguistico di Meta Llama 3 è disponibile per il download e l’esecuzione locale sul tuo sistema.
• Scarica Meta Llama 3 da Llama.meta.com e utilizza un framework LLM come LM studio per caricare il modello.
• Puoi anche cercare e scaricare Meta Llama 3 dallo stesso LM Studio. Fare riferimento alla guida di seguito per ottenere istruzioni dettagliate per lo stesso.

L’ultimo modello linguistico di Meta, Llama 3, è qui ed è disponibile gratuitamente. Sebbene tu possa utilizzare Meta AI, che esegue lo stesso LLM, c’è anche la possibilità di scaricare il modello ed eseguirlo localmente sul tuo sistema.

Come eseguire Llama 3 di Meta AI localmente

Sebbene Meta AI sia disponibile solo in paesi selezionati, puoi scaricare ed eseguire Llama 3 localmente sul tuo PC indipendentemente dalla tua regione. Segui i passaggi seguenti per eseguire Llama 3 di Meta AI localmente.

Passaggio 1: installa LM Studio

Per prima cosa installiamo un framework su cui eseguire Llama 3. Se hai già un’altra applicazione simile sul tuo sistema, puoi passare al passaggio successivo. Per tutti gli altri, ecco come ottenere lo studio LM:

• Studio LM | Link per scaricare

1. Utilizza il collegamento qui sopra e fai clic su LM Studio per Windows per scaricarlo.
   
2. Una volta scaricato, esegui il programma di installazione e lascia che LM Studio venga installato.
   

Passaggio 2: scarica Meta’s Llama 3 localmente

Una volta ottenuto il framework LLM, è il momento di scaricare Meta’s Llama 3 sul tuo PC. Ci sono un paio di modi per procedere.

1. Apri Llama.Meta.com e fai clic su Scarica modelli .
   
2. Inserisci i tuoi dati e richiedi di scaricare LLM.
   

Se quanto sopra non funziona, non preoccuparti. Puoi anche utilizzare il tuo framework LLM per scaricare LLM.

1. Cerca semplicemente Meta Llama nel campo di ricerca di LM Studio.
   
2. Qui troverai vari LLM quantizzati. Selezionane uno.
   
3. A destra seleziona la versione che preferisci. Fare clic su Scarica accanto ad esso.
   
4. Attendi il completamento del download.
5. Una volta terminato, fai clic su I miei modelli a sinistra.
   
6. E controlla se il download è completo.
   

Passaggio 3: caricare il modello scaricato

1. Una volta completato il download, fai clic su AI chat a sinistra.
   
2. Fare clic su Seleziona un modello da caricare .
   
3. E scegli Meta Llama 3 scaricato.
   
4. Attendi il caricamento del modello.
   
5. Una volta caricato, puoi scaricare l’intero modello sulla GPU. Per fare ciò, fare clic su Configurazione avanzata in “Impostazioni”.
   
6. Fare clic su Max per scaricare l’intero modello sulla GPU.
   
7. Fare clic su Ricarica modello per applicare la configurazione .
   

Passaggio 4: esegui Llama 3 (e testalo con le istruzioni)

Una volta caricato il modello, puoi iniziare a chattare con Llama 3 localmente. E no, poiché il LLM è archiviato localmente sul tuo computer, non è necessaria la connettività Internet per farlo. Quindi mettiamo alla prova Llama 3 e vediamo di cosa è capace.

Testare la resistenza alla censura

Testare la comprensione di argomenti complessi

Test per le allucinazioni

Test di creatività e comprensione

Secondo molti, Llama 3 è un modello linguistico di grandi dimensioni piuttosto solido. A parte i suggerimenti di test menzionati sopra, ha ottenuto risultati brillanti anche su argomenti e suggerimenti più complessi.

Ci auguriamo che tu abbia eseguito Meta’s Llama 3 sul tuo PC Windows 11 localmente tanto quanto abbiamo fatto noi. Fino alla prossima volta!