MediaPipe LLM Inference API 可讓您在 Android 和 iOS 上執行 LLM

Google 的實驗性 MediaPipe LLM Inference API 可讓您將大型語言模型引入 Android 和 iOS 裝置。此外，實驗性API還可以在Web平台上執行LLM。此外，該 API 還提供對 Gemma、Falcon、Phi 2 和 Stable LM 的初步支援。

然而，它仍在積極開發中。最重要的是，在 Android 裝置上，具有 LLM 的生產應用程式可以使用Android AICore存取Gemini API或Gemini Nano。

如何在 Android/iOS 上運行法學碩士？

要在 Android 和 iOS 上運行 LLM，您可以使用 MediaPipe LLM Inference API。但是，還有其他第三方應用程序，例如MLC LLM。然而，Android AICore 促進了 Gemini 支援的解決方案的使用。此外，AICore 可以使用特定於硬體的神經加速器。您也可以使用MediaPipe LLM Inference的範例。此外，如果您可以存取 Partner Dash，則可以嘗試Web 演示。

MediaPipe LLM Inference API 允許大型語言模型完全在裝置上跨平台運行。只需幾個步驟即可輕鬆使用，因此您可以在規格稍低的裝置上使用 LLM。但是，除非您的設備是高階設備，否則您不應期望它們能夠以最大容量工作。希望他們很快就會添加更好的優化，並允許手機等較低規格的設備透過 API 更順利地運行 LLM。

MediaPipe LLM Inference API 可讓您在各種裝置上執行大型語言模型。此外，它易於使用，一些Reddit 用戶認為這是一個很好的機會。此外，該 API 是實驗性的，將來會收到更多更新和功能。不過，目前您可以使用它來產生文字到文字。此外，它還允許您從多種型號中進行選擇，以滿足您的特定需求。

順便說一句，如果您遇到任何相容性問題，請查看LLM 轉換指南。

你怎麼認為？您要使用 MediaPipe LLM Inference API 嗎？讓我們在評論中知道。