Voer AI-modellen eenvoudig lokaal uit op Windows 11 met de nieuwe functies van Microsoft

Copilot+ pc’s vertegenwoordigen een baanbrekende vooruitgang als de eerste computers die Small Language Models (SLM) rechtstreeks op het apparaat kunnen uitvoeren. Deze innovatieve technologie biedt aanzienlijke voordelen door snellere resultaten te leveren voor verschillende taken, zoals het genereren van afbeeldingen en tekst, vergeleken met de cloudgebaseerde Copilot-applicatie. Onlangs heeft Microsoft de AI Dev Gallery onthuld, die de integratie van AI-mogelijkheden op het apparaat in elke applicatie vereenvoudigt.

De AI Dev Gallery is speciaal ontworpen voor ontwikkelaars die geïnteresseerd zijn in het testen van verschillende modellen om hun applicaties te verbeteren met AI-functies. Deze tool biedt toegang tot meer dan 25 downloadbare samples, die eenvoudig op uw apparaat kunnen worden uitgevoerd. Daarnaast kunnen gebruikers projecten of broncode rechtstreeks naar hun applicaties exporteren voor directe functionaliteit. Het is compatibel met zowel Windows 10 als 11 en ondersteunt x64- en ARM64-architecturen.

In een interessant experiment dupliceerde Windows Latest de AI Dev Gallery van zijn GitHub-repository. Momenteel vereist toegang het bouwen van het project via Visual Studio voordat het wordt uitgevoerd. Bovendien zijn minimaal 20 GB aan opslagruimte en een multi-core CPU nodig. Hoewel een GPU met 8 GB VRAM wordt aanbevolen, is dit alleen essentieel voor veeleisendere modellen.

We zijn begonnen met onze tests met een Windows 11-pc met een 4-core CPU en 4 GB RAM. De app heeft twee operationele modi: Sample en Models. We hebben de Sample-modus gebruikt om de verschillende beschikbare modellen te verkennen, die zijn georganiseerd in categorieën zoals Text, Image, Code, Audio en Video en Smart Controls.

De modellen evalueren

De modellen die beschikbaar zijn voor het genereren van afbeeldingen en video’s zijn relatief groot, met formaten die de 5 GB naderen. Onze eerste keuze was een kleiner model dat gericht was op upscaling, dat kleiner was dan 100 MB. We namen een screenshot en probeerden deze te upscalen met onze CPU voor verwerking. Opvallend is dat de optie om te wisselen tussen CPU en GPU voor het verwerken van verzoeken beschikbaar is.

Het upscalingproces werd voltooid in minder dan 30 seconden op deze bescheiden virtuele machine, wat resulteerde in een tijdelijk RAM-gebruik dat piekte op 1 GB. De app gaf vervolgens een opgeschaalde afbeelding weer met een resolutie van 9272*4900. De kwaliteit van de afbeeldingselementen, met name tekst, was echter aanzienlijk aangetast en onleesbaar gemaakt.

Helaas is er geen functionaliteit beschikbaar om de gegenereerde afbeelding in een groter formaat of in de modus Volledig scherm te bekijken. Ook is er geen optie om de afbeelding rechtstreeks naar uw schijf te downloaden.

We gingen verder met het testen van een ander model, bekend als Detect Human Pose , dat is ontworpen om de positionering van individuen binnen een afbeelding te bepalen. Dit model herkende met succes een eenvoudige lopende figuur, maar begon ook positiemarkeringen weer te geven over screenshots van ons bureaublad met verschillende open applicaties.

Hoewel de exacte manier om deze modellen in applicaties te integreren onduidelijk blijft, kunnen bepaalde functies inderdaad lokaal worden uitgevoerd. Niettemin zullen pc’s aanzienlijke opslagruimte voor deze modellen nodig hebben, samen met robuuste CPU’s en ten minste 16 GB RAM.

Wat is uw mening hierover? Is het de moeite waard om een ​​stevig 5GB-model te downloaden om een ​​tekstprompt om te zetten in een afbeelding, of zou het efficiënter zijn om 30 seconden te wachten met een webgebaseerde applicatie? Het is duidelijk dat veel van deze functies zijn afgestemd op specifieke use cases en operationele omgevingen, die niet per se aantrekkelijk zijn voor de bredere Windows 11-gebruikersdemografie.

Bron & Afbeeldingen