Microsoft zou de UFO, een zeer aanpasbare AI-assistent, aan zijn volgende Windows kunnen toevoegen

Microsoft heeft onlangs UFO uitgebracht, een zeer aanpasbare AI-assistent, die in staat is om aan de verzoeken van gebruikers te voldoen die zijn afgestemd op verschillende besturingssystemen, waaronder Windows.

De AI-assistent is gebaseerd op en gebruikt de mogelijkheden van GPT-vision om verschillende visuele elementen te visualiseren en te begrijpen, waaronder de grafische gebruikersinterface (GUI) en besturingsinformatie van Windows-applicaties, en kan Windows-gebruikers extra hulp bieden zonder dat ze daarvoor directe audio-invoer.

Met andere woorden, UFO is een speciaal soort computerprogramma waarmee gebruikers kunnen communiceren met andere programma’s op hun Windows-computers. Het maakt gebruik van een slim systeem om te begrijpen wat er op hun scherm gebeurt en kan taken voor hen uitvoeren, zoals op knoppen klikken of tekst typen. UFO kan dit allemaal automatisch doen, zonder dat daar menselijke input voor nodig is.

De AI-tool is ontwikkeld door een team van onderzoekers die voor Microsoft Research werken, en het artikel kan hier in zijn geheel worden gelezen .

De samenvatting luidt:

Niet alleen heeft Microsoft UFO geen menselijke input nodig om te werken, maar het kan ook aan elke gebruiker worden aangepast, wat betekent dat de assistent zeer gepersonaliseerd kan worden om aan de behoeften van elke Windows-gebruiker te voldoen, en dat hij kan worden geautomatiseerd om bepaalde taken uit te voeren zonder dat er om dit expliciet te laten weten.

Dit gaat hand in hand met het idee dat Windows tot leven komt , iets wat Microsoft mogelijk zou willen onderzoeken in de volgende versie van Windows , die naar verluidt op AI is gebaseerd.

Microsoft heeft de open-sourcecode voor UFO ook beschikbaar gesteld op GitHub, en je kunt deze hier vinden .

Wat denk je? Wilt u UFO als uw Windows-assistent hebben? Laat het ons weten in de opmerkingen hieronder.

We introduceren UFO , een innovatieve UI-gerichte agent die voldoet aan gebruikersverzoeken die zijn afgestemd op applicaties op Windows OS , waarbij gebruik wordt gemaakt van de mogelijkheden van GPT-Vision. UFO maakt gebruik van een dual-agent-framework om de grafische gebruikersinterface (GUI) en controle-informatie van Windows-applicaties nauwgezet te observeren en analyseren. Hierdoor kan de agent naadloos navigeren en opereren binnen individuele applicaties en daartussen om aan gebruikersverzoeken te voldoen, zelfs als deze meerdere applicaties beslaan. Het raamwerk omvat een controle-interactiemodule, die het gronden van acties zonder menselijke tussenkomst mogelijk maakt en een volledig geautomatiseerde uitvoering mogelijk maakt. Bijgevolg transformeert UFO lastige en tijdrovende processen in eenvoudige taken die uitsluitend via natuurlijke taalcommando’s kunnen worden uitgevoerd. We hebben UFO getest in 9 populaire Windows-applicaties, waarbij een verscheidenheid aan scenario’s een weerspiegeling waren van het dagelijkse gebruik van gebruikers. De resultaten, afgeleid van zowel kwantitatieve metingen als praktijkvoorbeelden, onderstrepen de superieure effectiviteit van UFO bij het vervullen van gebruikersverzoeken. Voor zover ons bekend is UFO de eerste UI-agent die specifiek is toegesneden op het voltooien van taken binnen de Windows OS-omgeving.

Microsoft-onderzoek