Met de MediaPipe LLM Inference API kunt u LLM’s uitvoeren op Android en iOS

Met de Experimental MediaPipe LLM Inference API van Google kunt u grote taalmodellen naar uw Android- en iOS-apparaten brengen . Bovendien kan de experimentele API ook LLM’s op webplatforms uitvoeren. Bovendien biedt de API initiële ondersteuning voor Gemma, Falcon, Phi 2 en Stable LM.

Het wordt echter nog steeds actief ontwikkeld. Bovendien kunnen productieapplicaties met LLM’s op Android-apparaten Android AICore gebruiken om toegang te krijgen tot de Gemini API of Gemini Nano .

Hoe voer ik LLM’s uit op Android/iOS?

Om LLM’s op Android en iOS uit te voeren, kunt u de MediaPipe LLM Inference API gebruiken. Er zijn echter ook andere applicaties van derden, zoals MLC LLM . Toch vergemakkelijkt de Android AICore het gebruik van door Gemini aangedreven oplossingen. Bovendien kan de AICore hardwarespecifieke neurale versnellers gebruiken. U kunt ook een voorbeeld van de MediaPipe LLM Inference gebruiken . Als u toegang heeft tot Partner Dash, kunt u bovendien de webdemo proberen .

Met de MediaPipe LLM Inference API kunnen grote taalmodellen volledig op het apparaat op verschillende platforms worden uitgevoerd . Het is ook eenvoudig te gebruiken in slechts een paar stappen, zodat u LLM’s kunt gebruiken op apparaten met iets lagere specificaties. U mag echter niet verwachten dat ze op maximale capaciteit werken, tenzij uw apparaat van een hoog niveau is. Hopelijk zullen ze binnenkort betere optimalisaties toevoegen en apparaten met lagere specificaties, zoals telefoons , in staat stellen de LLM’s soepeler via de API te laten werken.

Met de MediaPipe LLM Inference API kunt u grote taalmodellen op verschillende apparaten uitvoeren. Bovendien is het gemakkelijk te gebruiken en sommige Redditors beschouwen het als een geweldige kans. Bovendien is de API experimenteel en zal in de toekomst meer updates en functionaliteiten krijgen. Voorlopig kunt u het echter gebruiken voor het genereren van tekst naar tekst. Bovendien kunt u kiezen uit meerdere modellen om aan uw specifieke behoeften te voldoen.

Trouwens, als je compatibiliteitsproblemen tegenkomt, bekijk dan de LLM-conversiegids .

Wat denk je? Gaat u de MediaPipe LLM Inference API gebruiken? Laat het ons weten in de reacties.