La API de inferencia LLM de MediaPipe le permite ejecutar LLM en Android e iOS

La API de inferencia experimental MediaPipe LLM de Google le permite incorporar modelos de lenguaje grandes a sus dispositivos Android e iOS. Además, la API experimental también puede ejecutar LLM en plataformas web. Además, la API proporciona soporte inicial para Gemma, Falcon, Phi 2 y Stable LM.

Sin embargo, todavía se encuentra en desarrollo activo. Además de eso, en dispositivos Android, las aplicaciones de producción con LLM pueden usar Android AICore para acceder a Gemini API o Gemini Nano .

¿Cómo ejecuto LLM en Android/iOS?

Para ejecutar LLM en Android e iOS, puede utilizar la API de inferencia LLM de MediaPipe. Sin embargo, existen otras aplicaciones de terceros, como MLC LLM . Sin embargo, Android AICore facilita el uso de soluciones impulsadas por Gemini. Además, AICore puede utilizar aceleradores neuronales específicos de hardware. También puede utilizar una muestra de MediaPipe LLM Inference . Además, si tiene acceso a Partner Dash, puede probar la demostración web .

La API de inferencia MediaPipe LLM permite que modelos de lenguaje grandes se ejecuten completamente en el dispositivo en todas las plataformas . También es fácil de usar en solo unos pocos pasos, por lo que puede usar LLM en dispositivos con especificaciones ligeramente inferiores. Sin embargo, no debes esperar que funcionen a su máxima capacidad a menos que tu dispositivo sea de gama alta. Con suerte, pronto agregarán mejores optimizaciones y permitirán que los dispositivos con especificaciones más bajas, como los teléfonos , ejecuten los LLM de manera más fluida a través de la API.

La API de inferencia MediaPipe LLM le permite ejecutar modelos de lenguaje grandes en varios dispositivos. Además, es fácil de usar y algunos Redditors lo consideran una gran oportunidad. Además, la API es experimental y recibirá más actualizaciones y funciones en el futuro. Sin embargo, por ahora, puedes usarlo para la generación de texto a texto. Además, le permite elegir entre varios modelos para satisfacer sus necesidades específicas.

Por cierto, si encuentra algún problema de compatibilidad, consulte la guía de conversión de LLM .

¿Qué opinas? ¿Vas a utilizar la API de inferencia MediaPipe LLM? Háganos saber en los comentarios.