Interfejs API wnioskowania MediaPipe LLM umożliwia uruchamianie LLM na systemach Android i iOS

Eksperymentalny interfejs API wnioskowania MediaPipe LLM firmy Google umożliwia udostępnianie dużych modeli językowych na urządzeniach z systemem Android i iOS. Co więcej, eksperymentalny interfejs API może również uruchamiać LLM na platformach internetowych. Ponadto interfejs API zapewnia wstępną obsługę Gemma, Falcon, Phi 2 i Stable LM.

Jednak nadal znajduje się w fazie aktywnego rozwoju. Co więcej, na urządzeniach z Androidem aplikacje produkcyjne z LLM mogą korzystać z Android AICore , aby uzyskać dostęp do Gemini API lub Gemini Nano .

Jak uruchomić LLM na Androidzie/iOS?

Aby uruchomić LLM na Androidzie i iOS, możesz użyć interfejsu API wnioskowania MediaPipe LLM. Istnieją jednak inne aplikacje innych firm, takie jak MLC LLM . Jednak Android AICore ułatwia korzystanie z rozwiązań opartych na Gemini. Co więcej, AICore może wykorzystywać specyficzne dla sprzętu akceleratory neuronowe. Możesz także użyć próbki wnioskowania MediaPipe LLM . Ponadto, jeśli masz dostęp do Partner Dash, możesz wypróbować wersję demonstracyjną internetową .

Interfejs API wnioskowania MediaPipe LLM umożliwia uruchamianie dużych modeli językowych całkowicie na urządzeniu na różnych platformach . Jest również łatwy w użyciu w zaledwie kilku krokach, dzięki czemu można używać LLM na urządzeniach o nieco niższych specyfikacjach. Nie należy jednak oczekiwać, że będą działać z maksymalną wydajnością, chyba że Twoje urządzenie jest wysokiej klasy. Miejmy nadzieję, że wkrótce dodadzą lepsze optymalizacje i pozwolą urządzeniom o niższych specyfikacjach, takim jak telefony , płynniej uruchamiać LLM za pośrednictwem interfejsu API.

Interfejs API wnioskowania MediaPipe LLM umożliwia uruchamianie dużych modeli językowych na różnych urządzeniach. Ponadto jest łatwy w użyciu, a niektórzy Redditorzy uważają to za świetną okazję. Co więcej, interfejs API ma charakter eksperymentalny i w przyszłości otrzyma więcej aktualizacji i funkcji. Jednak na razie można go używać do generowania tekstu na tekst. Umożliwia także wybór spośród wielu modeli dostosowanych do konkretnych potrzeb.

Przy okazji, jeśli napotkasz jakiekolwiek problemy ze zgodnością, zapoznaj się z przewodnikiem po konwersji LLM .

Co myślisz? Czy zamierzasz używać interfejsu API wnioskowania MediaPipe LLM? Daj nam znać w komentarzach.