Comment exécuter des LLM localement sur Android

Ce qu’il faut savoir

• Installez une application comme MLC Chat sur votre appareil Android pour expérimenter et discuter avec les LLM localement.
• Téléchargez l’un des modèles disponibles et appuyez sur l’icône « Chat » pour commencer à discuter avec le LLM de votre choix.
• L’application MLC Chat vous permet de télécharger Gemma 2b, RedPajama, Llama3, Phi-2, Mistral et Llama2.

Il existe différents LLM que vous pouvez exécuter localement sur votre PC. Mais lorsqu’il s’agit de smartphones, les options sont légèrement limitées. Vous devez exécuter un petit modèle de langage ou disposer d’un appareil haut de gamme doté de suffisamment de puissance de traitement pour gérer les LLM. Dans tous les cas, il est possible de discuter avec des modèles linguistiques localement et hors ligne.

Comment exécuter des LLM localement sur Android

Les grands modèles de langage sont, eh bien, volumineux et nécessitent de lourdes prouesses informatiques. Mais même si votre appareil Android dispose de suffisamment de ressources pour exécuter des SLM (petits modèles de langage) ainsi que des LLM, vous avez toujours besoin d’une application qui vous permet de les expérimenter avec une interface conviviale.

C’est là qu’une application comme MLC Chat s’avère utile. Suivez les étapes ci-dessous pour exécuter des LLM localement sur votre Android à l’aide de l’application MLC Chat.

Étape 1 : Installez l’application MLC Chat

• Application de discussion MLC | Lien de téléchargement

1. Tout d’abord, cliquez sur le lien ci-dessus et téléchargez l’APK de l’application MLC Chat. Lorsque vous y êtes invité, appuyez sur Télécharger quand même .
   

   

   

2. Installez l’application MLCChat. Une fois terminé, ouvrez -le .
   

   

   

Étape 2 : Téléchargez un LLM

Sur l’application MLCChat, vous aurez une liste des modèles disponibles que vous pourrez télécharger. Appuyez sur le lien de téléchargement à côté d’un modèle que vous aimez et attendez qu’il soit téléchargé.

Étape 3 : Exécutez le LLM installé

Une fois téléchargé, appuyez sur l’icône de discussion à côté pour démarrer la discussion. Attendez que le modèle s’initialise. Une fois prêt, continuez et commencez à discuter avec l’IA.

Notez que dans la liste des modèles disponibles sur l’application MLCChat, certains, comme Llama3, nécessiteront beaucoup de puissance de traitement. Mais vous pouvez toujours installer les modèles et tester pour voir s’ils fonctionnent suffisamment bien. Sinon, essayez un modèle de langage plus petit.

Lors de nos tests (sur Nothing Phone 1), Gemma-2b n’a pas réussi à se charger, tandis que le Llama3 a tué l’interface utilisateur du système. Ceux qui ont bien fonctionné étaient Llama-2 et Phi-2. La principale différence entre les LLM et d’autres modèles de langage plus petits réside dans l’étendue des informations sur lesquelles ils sont formés (paramètres). Choisissez donc vos modèles en fonction de vos besoins et des capacités de votre appareil Android.

Nous espérons que vous avez pu installer et exécuter localement des LLM sur votre appareil Android. Jusqu’à la prochaine fois!