MediaPipe LLM Inference API를 사용하면 Android 및 iOS에서 LLM을 실행할 수 있습니다.

Google의 실험적인 MediaPipe LLM Inference API를 사용하면 Android 및 iOS 기기에 대규모 언어 모델을 가져올 수 있습니다 . 또한 실험적 API는 웹 플랫폼에서 LLM을 실행할 수도 있습니다. 또한 API는 Gemma, Falcon, Phi 2 및 Stable LM에 대한 초기 지원을 제공합니다.

그러나 여전히 활발한 개발이 진행 중입니다. 또한 Android 기기에서 LLM이 포함된 프로덕션 애플리케이션은 Android AICore를 사용하여 Gemini API 또는 Gemini Nano 에 액세스 할 수 있습니다 .

Android/iOS에서 LLM을 어떻게 실행하나요?

Android 및 iOS에서 LLM을 실행하려면 MediaPipe LLM Inference API를 사용할 수 있습니다. 그러나 MLC LLM 과 같은 다른 타사 응용 프로그램도 있습니다 . 그러나 Android AICore는 Gemini 기반 솔루션의 사용을 용이하게 합니다. 또한 AICore는 하드웨어별 신경 가속기를 사용할 수 있습니다. MediaPipe LLM Inference 샘플을 사용할 수도 있습니다 . 또한 Partner Dash에 액세스할 수 있는 경우 웹 데모를 사용해 볼 수도 있습니다 .

MediaPipe LLM Inference API를 사용하면 대규모 언어 모델을 플랫폼 전체에서 기기 내에서 완전히 실행할 수 있습니다 . 또한 몇 단계만 거치면 쉽게 사용할 수 있어, 약간 낮은 사양의 기기에서도 LLM을 사용할 수 있습니다. 그러나 장치가 고급형이 아닌 이상 최대 용량으로 작동할 것이라고 기대해서는 안 됩니다. 조만간 더 나은 최적화 기능을 추가하고 휴대폰과 같은 저사양 장치에서 API를 통해 LLM을 더 원활하게 실행할 수 있기를 바랍니다.

MediaPipe LLM Inference API를 사용하면 다양한 장치에서 대규모 언어 모델을 실행할 수 있습니다. 또한 사용하기 쉬우며 일부 Reddit 사용자는 이를 좋은 기회로 간주합니다. 또한 API는 실험적이며 앞으로 더 많은 업데이트와 기능을 받게 될 것입니다. 그러나 지금은 텍스트-텍스트 생성에 사용할 수 있습니다. 또한 특정 요구 사항을 충족하기 위해 여러 모델 중에서 선택할 수 있습니다.

그런데 호환성 문제가 발생하면 LLM 전환 가이드를 확인하세요 .

어떻게 생각하나요? MediaPipe LLM Inference API를 사용하시겠습니까? 댓글을 통해 알려주세요.