Mit der MediaPipe LLM Inference API können Sie LLMs auf Android und iOS ausführen

Mit der experimentellen MediaPipe LLM-Inferenz-API von Google können Sie große Sprachmodelle auf Ihre Android- und iOS-Geräte übertragen . Darüber hinaus kann die experimentelle API LLMs auch auf Webplattformen ausführen. Darüber hinaus bietet die API anfängliche Unterstützung für Gemma, Falcon, Phi 2 und Stable LM.

Es befindet sich jedoch noch in der aktiven Entwicklung. Darüber hinaus können Produktionsanwendungen mit LLMs auf Android-Geräten Android AICore verwenden, um auf Gemini API oder Gemini Nano zuzugreifen .

Wie führe ich LLMs auf Android/iOS aus?

Um LLMs auf Android und iOS auszuführen, können Sie die MediaPipe LLM Inference API verwenden. Es gibt jedoch auch andere Anwendungen von Drittanbietern, beispielsweise MLC LLM . Dennoch erleichtert der Android AICore die Verwendung von Gemini-basierten Lösungen. Darüber hinaus kann der AICore hardwarespezifische neuronale Beschleuniger nutzen. Sie können auch ein Beispiel der MediaPipe LLM Inference verwenden . Wenn Sie Zugriff auf Partner Dash haben, können Sie außerdem die Web-Demo ausprobieren .

Mit der MediaPipe LLM Inference API können große Sprachmodelle plattformübergreifend vollständig auf dem Gerät ausgeführt werden . Außerdem lässt es sich mit nur wenigen Schritten einfach bedienen, sodass Sie LLMs auch auf Geräten mit etwas geringeren Spezifikationen verwenden können. Allerdings sollten Sie nicht erwarten, dass sie mit maximaler Kapazität arbeiten, es sei denn, Ihr Gerät ist ein High-End-Gerät. Hoffentlich werden sie bald bessere Optimierungen hinzufügen und es Geräten mit niedrigeren Spezifikationen wie Telefonen ermöglichen , die LLMs reibungsloser über die API auszuführen.

Mit der MediaPipe LLM Inference API können Sie große Sprachmodelle auf verschiedenen Geräten ausführen. Darüber hinaus ist es einfach zu bedienen und einige Redditoren halten es für eine großartige Gelegenheit. Darüber hinaus ist die API experimentell und wird in Zukunft weitere Updates und Funktionen erhalten. Derzeit können Sie es jedoch für die Text-zu-Text-Generierung verwenden. Außerdem haben Sie die Möglichkeit, aus mehreren Modellen auszuwählen, um Ihren spezifischen Anforderungen gerecht zu werden.

Sollten Sie übrigens auf Kompatibilitätsprobleme stoßen, schauen Sie sich den LLM-Konvertierungsleitfaden an .

Was denken Sie? Werden Sie die MediaPipe LLM Inference API verwenden? Lass es uns in den Kommentaren wissen.