A API MediaPipe LLM Inference permite executar LLMs no Android e iOS

A API Experimental MediaPipe LLM Inference do Google permite que você traga grandes modelos de linguagem para seus dispositivos Android e iOS. Além disso, a API experimental também pode executar LLMs em plataformas web. Além disso, a API fornece suporte inicial para Gemma, Falcon, Phi 2 e Stable LM.

No entanto, ainda está em desenvolvimento ativo. Além disso, em dispositivos Android, os aplicativos de produção com LLMs podem usar o Android AICore para acessar a API Gemini ou Gemini Nano .

Como executo LLMs no Android/iOS?

Para executar LLMs no Android e iOS, você pode usar a API MediaPipe LLM Inference. No entanto, existem outros aplicativos de terceiros, como MLC LLM . Ainda assim, o Android AICore facilita o uso de soluções com tecnologia Gemini. Além disso, o AICore pode usar aceleradores neurais específicos de hardware. Você também pode usar um exemplo de Inferência do MediaPipe LLM . Além disso, se você tiver acesso ao Partner Dash, poderá experimentar o Web Demo .

A API de inferência do MediaPipe LLM permite que grandes modelos de linguagem sejam executados inteiramente no dispositivo em todas as plataformas . Também é fácil de usar em apenas algumas etapas, para que você possa usar LLMs em dispositivos com especificações um pouco inferiores. No entanto, você não deve esperar que eles funcionem na capacidade máxima, a menos que seu dispositivo seja de última geração. Esperançosamente, em breve eles adicionarão melhores otimizações e permitirão que dispositivos de especificações mais baixas, como telefones , executem os LLMs de maneira mais suave por meio da API.

A API de inferência do MediaPipe LLM permite executar grandes modelos de linguagem em vários dispositivos. Além disso, é fácil de usar e alguns Redditors consideram-no uma grande oportunidade. Além disso, a API é experimental e receberá mais atualizações e recursos no futuro. No entanto, por enquanto, você pode usá-lo para geração de texto para texto. Além disso, permite escolher entre vários modelos para atender às suas necessidades específicas.

A propósito, se você encontrar algum problema de compatibilidade, consulte o guia de conversão LLM .

O que você acha? Você vai usar a API de inferência do MediaPipe LLM? Deixe-nos saber nos comentários.