L’API d’inférence MediaPipe LLM vous permet d’exécuter des LLM sur Android et iOS

L’API d’inférence Experimental MediaPipe LLM de Google vous permet d’apporter de grands modèles de langage à vos appareils Android et iOS. De plus, l’API expérimentale peut également exécuter des LLM sur des plateformes Web. De plus, l’API fournit une prise en charge initiale pour Gemma, Falcon, Phi 2 et Stable LM.

Cependant, il est encore en développement actif. De plus, sur les appareils Android, les applications de production avec LLM peuvent utiliser Android AICore pour accéder à l’API Gemini ou à Gemini Nano .

Comment exécuter des LLM sur Android/iOS ?

Pour exécuter des LLM sur Android et iOS, vous pouvez utiliser l’API d’inférence MediaPipe LLM. Cependant, il existe d’autres applications tierces, telles que MLC LLM . Pourtant, Android AICore facilite l’utilisation de solutions basées sur Gemini. De plus, l’AICore peut utiliser des accélérateurs neuronaux spécifiques au matériel. Vous pouvez également utiliser un exemple de l’ inférence MediaPipe LLM . De plus, si vous avez accès à Partner Dash, vous pouvez essayer la démo Web .

L’API d’inférence MediaPipe LLM permet à de grands modèles de langage de s’exécuter entièrement sur l’appareil sur toutes les plates-formes . Il est également facile à utiliser en quelques étapes seulement, vous pouvez donc utiliser les LLM sur des appareils dont les spécifications sont légèrement inférieures. Cependant, vous ne devriez pas vous attendre à ce qu’ils fonctionnent à leur capacité maximale, sauf si votre appareil est haut de gamme. Espérons que bientôt, ils ajouteront de meilleures optimisations et permettront aux appareils moins performants, comme les téléphones , d’exécuter les LLM de manière plus fluide via l’API.

L’API d’inférence MediaPipe LLM vous permet d’exécuter de grands modèles de langage sur divers appareils. De plus, il est facile à utiliser et certains Redditors le considèrent comme une excellente opportunité. De plus, l’API est expérimentale et recevra davantage de mises à jour et de fonctionnalités à l’avenir. Cependant, pour l’instant, vous pouvez l’utiliser pour la génération texte-texte. De plus, il vous permet de choisir parmi plusieurs modèles pour répondre à vos besoins spécifiques.

D’ailleurs, si vous rencontrez des problèmes de compatibilité, consultez le guide de conversion LLM .

Qu’en penses-tu? Allez-vous utiliser l’API d’inférence MediaPipe LLM ? Faites le nous savoir dans les commentaires.