L’API MediaPipe LLM Inference ti consente di eseguire LLM su Android e iOS

L’API sperimentale MediaPipe LLM Inference di Google ti consente di portare modelli linguistici di grandi dimensioni sui tuoi dispositivi Android e iOS. Inoltre, l’API sperimentale può anche eseguire LLM su piattaforme web. Inoltre, l’API fornisce il supporto iniziale per Gemma, Falcon, Phi 2 e Stable LM.

Tuttavia, è ancora in fase di sviluppo attivo. Inoltre, sui dispositivi Android, le applicazioni di produzione con LLM possono utilizzare Android AICore per accedere all’API Gemini o Gemini Nano .

Come posso eseguire LLM su Android/iOS?

Per eseguire LLM su Android e iOS, puoi utilizzare l’API di inferenza LLM MediaPipe. Tuttavia, esistono altre applicazioni di terze parti, come MLC LLM . Tuttavia, Android AICore facilita l’uso delle soluzioni basate su Gemini. Inoltre, AICore può utilizzare acceleratori neurali specifici dell’hardware. Puoi anche utilizzare un esempio di MediaPipe LLM Inference . Inoltre, se hai accesso a Partner Dash, puoi provare la Web Demo .

L’API MediaPipe LLM Inference consente l’esecuzione completa di modelli linguistici di grandi dimensioni sul dispositivo su più piattaforme . È anche facile da usare in pochi passaggi, quindi puoi utilizzare LLM su dispositivi con specifiche leggermente inferiori. Tuttavia, non dovresti aspettarti che funzionino alla massima capacità a meno che il tuo dispositivo non sia di fascia alta. Si spera che presto aggiungano migliori ottimizzazioni e consentano ai dispositivi con specifiche inferiori, come i telefoni , di eseguire gli LLM in modo più fluido attraverso l’API.

L’API MediaPipe LLM Inference consente di eseguire modelli linguistici di grandi dimensioni su vari dispositivi. Inoltre, è facile da usare e alcuni Redditor lo considerano una grande opportunità. Inoltre, l’API è sperimentale e riceverà ulteriori aggiornamenti e funzionalità in futuro. Tuttavia, per ora, puoi usarlo per la generazione di testo in testo. Inoltre, ti consente di scegliere tra più modelli per soddisfare le tue esigenze specifiche.

A proposito, se riscontri problemi di compatibilità, consulta la guida alla conversione LLM .

Cosa ne pensi? Utilizzerai l’API di inferenza MediaPipe LLM? Fateci sapere nei commenti.