Come eseguire LLM localmente su Android

Cosa sapere

• Installa un’app come MLC Chat sul tuo dispositivo Android per sperimentare e chattare con LLM localmente.
• Scarica uno dei modelli disponibili e tocca l’icona “Chat” per iniziare a chattare con il LLM scelto.
• L’app MLC Chat ti consente di scaricare Gemma 2b, RedPajama, Llama3, Phi-2, Mistral e Llama2.

Esistono vari LLM che puoi eseguire localmente sul tuo PC. Ma quando si tratta di smartphone, le opzioni sono leggermente limitate. Devi eseguire un modello linguistico di piccole dimensioni o disporre di un dispositivo premium con potenza di elaborazione sufficiente per affrontare i LLM. In ogni caso, è possibile chattare con modelli linguistici localmente e offline.

Come eseguire LLM localmente su Android

I modelli linguistici di grandi dimensioni sono, beh, grandi e richiedono una notevole abilità computazionale. Ma anche se il tuo dispositivo Android dispone di risorse sufficienti per eseguire SLM (piccoli modelli linguistici) e LLM, hai comunque bisogno di un’app che ti consenta di sperimentarli con un’interfaccia intuitiva.

È qui che un’app come MLC Chat torna utile. Utilizza i passaggi seguenti per eseguire LLM localmente sul tuo Android utilizzando l’app MLC Chat.

Passaggio 1: installa l’app MLC Chat

• Applicazione chat MLC | Link per scaricare

1. Innanzitutto, fai clic sul collegamento qui sopra e scarica l’APK per l’app MLC Chat. Quando richiesto, tocca Scarica comunque .
   

   

   

2. Installa l’app MLCChat. Una volta terminato , aprilo .
   

   

   

Passaggio 2: scarica un LLM

Nell’app MLCChat avrai un elenco di modelli disponibili che puoi scaricare. Tocca il collegamento per il download accanto al modello che ti piace e attendi che venga scaricato.

Passaggio 3: eseguire il LLM installato

Una volta scaricato, tocca l’icona della chat accanto ad essa per avviare la chat. Attendi l’inizializzazione del modello. Una volta pronto, vai avanti e inizia a chattare con l’IA.

Tieni presente che dall’elenco dei modelli disponibili sull’app MLCChat, ce ne saranno alcuni, come Llama3, che richiederanno molta potenza di elaborazione. Ma puoi sempre installare i modelli e testarli per vedere se funzionano abbastanza bene. In caso contrario, prova un modello linguistico più piccolo.

Nei nostri test (su Nothing Phone 1), Gemma-2b non è riuscito a caricarsi, mentre Llama3 ha interrotto l’interfaccia utente del sistema. Quelli che hanno funzionato bene sono stati Llama-2 e Phi-2. La differenza principale tra i LLM e altri modelli linguistici più piccoli è l’ampiezza delle informazioni su cui vengono formati (parametri). Quindi scegli i tuoi modelli in base alle tue esigenze e alle capacità del tuo dispositivo Android.

Ci auguriamo che tu sia riuscito a installare ed eseguire LLM sul tuo dispositivo Android localmente. Fino alla prossima volta!