Microsoft pourrait ajouter l’UFO, un assistant IA hautement personnalisable, à son prochain Windows

Microsoft a récemment publié UFO, un assistant IA hautement personnalisable, capable de répondre aux demandes des utilisateurs adaptées à différents systèmes d’exploitation, dont Windows.

L’assistant IA est basé sur et utilise les capacités de GPT-vision pour visualiser et comprendre divers éléments visuels, y compris l’interface utilisateur graphique (GUI) et les informations de contrôle des applications Windows, et il peut fournir aux utilisateurs Windows une assistance supplémentaire sans avoir besoin d’avoir recours à Google. entrée audio directe.

En d’autres termes, UFO est un type particulier de programme informatique qui aide les utilisateurs à interagir avec d’autres programmes sur leur ordinateur Windows. Il utilise un système intelligent pour comprendre ce qui se passe sur leur écran et peut effectuer des tâches à leur place, comme cliquer sur des boutons ou taper du texte. UFO peut faire tout cela automatiquement, sans aucune intervention humaine.

L’outil d’IA a été développé par une équipe de chercheurs travaillant pour Microsoft Research, et l’article peut être lu dans son intégralité ici .

Le résumé se lit comme suit :

Non seulement Microsoft UFO n’a pas besoin d’intervention humaine pour fonctionner, mais il peut également être personnalisé pour chaque utilisateur, ce qui signifie que l’assistant peut être hautement personnalisé pour répondre aux besoins de chaque utilisateur Windows, et il peut être automatisé pour exécuter certaines tâches sans avoir à le faire. pour le faire savoir explicitement.

Cela va de pair avec l’idée de Windows prendre vie , quelque chose que Microsoft pourrait être intéressé à explorer dans la prochaine version de Windows , qui serait basée sur l’IA.

Microsoft a également rendu le code open source d’OVNI disponible sur GitHub, et vous pouvez le trouver ici .

Qu’en penses-tu? Souhaitez-vous avoir UFO comme assistant Windows ? Faites-nous savoir dans la section commentaires ci-dessous.

Nous présentons UFO , un agent innovant axé sur l’interface utilisateur pour répondre aux demandes des utilisateurs adaptées aux applications sur Windows OS , en exploitant les capacités de GPT-Vision. UFO utilise un cadre à double agent pour observer et analyser méticuleusement l’interface utilisateur graphique (GUI) et contrôler les informations des applications Windows. Cela permet à l’agent de naviguer et d’opérer de manière transparente au sein d’applications individuelles et entre elles pour répondre aux demandes des utilisateurs, même lorsqu’il s’étend sur plusieurs applications. Le cadre intègre un module d’interaction de contrôle, facilitant la mise à la terre de l’action sans intervention humaine et permettant une exécution entièrement automatisée. Par conséquent, UFO transforme des processus ardu et fastidieux en tâches simples réalisables uniquement grâce à des commandes en langage naturel. Nous avons effectué des tests d’UFO sur 9 applications Windows populaires, englobant une variété de scénarios reflétant l’utilisation quotidienne des utilisateurs. Les résultats, dérivés à la fois de mesures quantitatives et d’études de cas réels, soulignent l’efficacité supérieure d’UFO pour répondre aux demandes des utilisateurs. Au meilleur de nos connaissances, UFO est le premier agent d’interface utilisateur spécialement conçu pour l’exécution de tâches dans l’environnement du système d’exploitation Windows.

Recherche Microsoft