Guida passo passo per installare LLaMA 3 su PC Windows 11

Llama 3 rappresenta il più recente progresso di Meta nei grandi modelli linguistici, ideale per un’ampia gamma di applicazioni, tra cui rispondere a domande, assistere con compiti accademici e molto altro. Impostando Llama 3 sul tuo dispositivo Windows 11, puoi accedervi in ​​qualsiasi momento, anche senza connettività Internet. Questa guida mostrerà come impostare Llama 3 sul tuo computer Windows 11 .

Installazione di Llama 3 su un computer Windows 11

Il processo di installazione di Llama 3 sul tuo dispositivo Windows 11 tramite Python richiede un certo livello di competenza tecnica. Tuttavia, esistono metodi alternativi che semplificano la distribuzione locale di Llama 3. Descriverò queste tecniche.

Per installare Llama 3, dovrai eseguire comandi specifici nel Prompt dei comandi. Nota che questo garantirà l’accesso solo alla versione della riga di comando; sono richiesti passaggi aggiuntivi per utilizzare la sua interfaccia web. Entrambi i processi saranno trattati qui.

Configurazione di Llama 3 su Windows 11 tramite CMD

Per prima cosa, devi installare Ollama sul tuo computer Windows per distribuire Llama 3. Segui questi passaggi:

1. Vai al sito ufficiale di Ollama .
2. Selezionare l’ opzione Download , quindi scegliere Windows .
3. Fare clic su Scarica per Windows per salvare il file eseguibile sul computer.
4. Esegui il file exe scaricato per installare Ollama sul tuo dispositivo.

Dopo che Ollama è stato installato correttamente, riavvia il computer. Dovrebbe essere in esecuzione in background, visibile nella barra delle applicazioni. Quindi, visita la sezione Modelli sul sito Web di Ollama per visualizzare i modelli disponibili.

Il modello Llama 3.1 è offerto in tre configurazioni:

• 8B
• 70B
• 405B

La configurazione 405B è la più esigente e potrebbe non funzionare su una macchina di fascia bassa. Llama 3.2 offre due opzioni:

• 1B
• 3B

Scegli una versione di Llama per l’installazione: se opti per Llama 3.2, cliccaci sopra. Nel menu a discesa che segue, seleziona la configurazione desiderata. Quindi, copia il comando visualizzato accanto e incollalo nel Prompt dei comandi.

Ecco i comandi per il modello Llama 3.2:

ollama run llama3.2:3b

Per installare la configurazione Llama 3.2 1B, immettere:

ollama run llama3.2:1b

Apri il Prompt dei comandi, digita uno dei comandi soprastanti in base alle tue esigenze e premi Invio . Il processo di download richiederà un po’ di tempo, a seconda della tua connessione Internet. Al termine, apparirà un messaggio di successo nel Prompt dei comandi.

Puoi quindi digitare il tuo input per interagire con il modello Llama 3.2. Per installare il modello Llama 3.1, usa i comandi disponibili sul sito web Ollama.

La prossima volta che aprirai il Prompt dei comandi, potrai utilizzare lo stesso comando per eseguire Llama 3.1 o 3.2.

Una limitazione dell’installazione di Llama 3 tramite CMD è la mancanza di cronologia chat salvata. Tuttavia, la distribuzione tramite un host locale consente di salvare la cronologia chat, oltre a fornire un’interfaccia utente migliorata. La sezione seguente spiega come ottenere questo risultato.

Distribuzione di Llama 3 con un’interfaccia utente Web su Windows 11

Utilizzare Llama 3 tramite un browser web non solo migliora l’esperienza utente, ma conserva anche la cronologia della chat, una funzionalità assente quando si usa CMD. Ecco come far funzionare Llama 3 nel tuo browser web.

Per accedere a Llama 3 tramite un browser web, assicurati che sia Llama 3 tramite Ollama che Docker siano configurati sul tuo sistema. Se non hai installato Llama 3, procedi con l’installazione di Ollama come spiegato in precedenza. Quindi, scarica e installa Docker dal suo sito web ufficiale .

Dopo aver installato Docker, aprilo e completa la procedura di registrazione per creare un account, poiché Docker non si avvierà senza di esso. Dopo aver effettuato l’accesso, riduci Docker alla barra delle applicazioni; assicurati che sia Docker che Ollama siano attivi in ​​background per utilizzare Llama 3 tramite il tuo browser web.

Aprire il prompt dei comandi, copiare il seguente comando e incollarlo:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Questo comando richiederà un po’ di tempo per scaricare i file necessari, quindi sii paziente. Una volta completato, apri Docker e vai alla sezione Containers sul lato sinistro. Dovresti vedere un container creato automaticamente per la porta 3000:8080.

Fai clic sulla porta 3000:8080, che aprirà una nuova scheda nel tuo browser web predefinito. Potresti dover registrarti e accedere per usare Llama 3 tramite il browser web. Se controlli la barra degli indirizzi, mostrerà localhost:3000, a indicare che Llama 3 è ospitato localmente, consentendo l’uso senza accesso a Internet.

Seleziona il tuo modello di chat Llama preferito dal menu a discesa. Per incorporare altri modelli di chat Llama 3, installali tramite Ollama utilizzando i comandi corrispondenti; saranno quindi disponibili nel tuo browser.

La cronologia della chat verrà salvata e recuperabile sul lato sinistro. Quando hai finito, esci dalla sessione nel browser web, quindi apri Docker e premi il pulsante Stop per chiuderlo prima di chiudere Docker.

La prossima volta che vorrai accedere a Llama 3 nel tuo browser web, avvia sia Ollama che Docker, attendi qualche minuto, quindi clicca sulla porta nel contenitore Docker per avviare il server localhost. Dopo aver effettuato l’accesso, puoi iniziare a usare Llama 3.

Spero che queste informazioni ti siano utili.

Llama 3 può funzionare su Windows?

La tua capacità di eseguire Llama 3 sul tuo computer dipende dalle sue specifiche hardware. La versione più leggera, il modello 1B, può essere installata e utilizzata tramite il prompt dei comandi.

Quanta RAM è richiesta per Llama 3?

Per eseguire il modello Llama 3.2 1B, il tuo sistema dovrebbe essere dotato di almeno 16 GB di RAM, insieme a una GPU robusta. Le varianti più potenti di Llama 3 richiederanno ancora più risorse dal tuo sistema.

Fonte