MediaPipe LLM推論APIを使用すると、AndroidとiOSでLLMを実行できます。

Google の実験的な MediaPipe LLM 推論 API を使用すると、大規模な言語モデルをAndroid および iOS デバイスに導入できます。さらに、実験的な API では、Web プラットフォームで LLM を実行することもできます。さらに、この API は、Gemma、Falcon、Phi 2、および Stable LM の初期サポートを提供します。

ただし、まだ開発が活発に行われています。さらに、Android デバイスでは、LLM を搭載した製品版アプリケーションはAndroid AICoreを使用してGemini APIまたはGemini Nanoにアクセスできます。

Android/iOS で LLM を実行するにはどうすればよいですか?

Android および iOS で LLM を実行するには、MediaPipe LLM Inference API を使用できます。ただし、MLC LLMなどの他のサードパーティ アプリケーションもあります。ただし、Android AICore を使用すると、Gemini ベースのソリューションの使用が容易になります。さらに、AICore はハードウェア固有のニューラル アクセラレータを使用できます。MediaPipe LLM Inferenceのサンプルを使用することもできます。さらに、Partner Dash にアクセスできる場合は、 Web デモを試すことができます。

MediaPipe LLM 推論 API を使用すると、大規模な言語モデルをプラットフォーム間で完全にデバイス上で実行できます。また、数ステップで簡単に使用できるため、スペックが少し低いデバイスでも LLM を使用できます。ただし、デバイスがハイエンドでない限り、最大容量で動作することは期待できません。近いうちに、より優れた最適化が追加され、スマートフォンなどのスペックの低いデバイスでも API を介してLLMをよりスムーズに実行できるようになることを期待しています。

MediaPipe LLM 推論 API を使用すると、さまざまなデバイスで大規模な言語モデルを実行できます。また、使い方も簡単で、Reddit ユーザーの中には素晴らしい機会だと考える人もいます。さらに、この API は実験的なものであり、今後さらに多くの更新と機能が追加される予定です。ただし、現時点では、テキストからテキストへの生成に使用できます。また、特定のニーズに合わせて複数のモデルから選択することもできます。

ちなみに、互換性の問題が発生した場合は、LLM 変換ガイドを確認してください。

どう思いますか? MediaPipe LLM 推論 API を使用する予定ですか? コメントでお知らせください。