Le concept révolutionnaire d’agents IA de Microsoft pour Windows 11 pourrait transformer votre expérience PC

Imaginez que votre ordinateur Windows 11 puisse effectuer des tâches comme le ferait un humain. Microsoft explore justement cette possibilité avec un concept révolutionnaire. WindowsLatest.com s’est récemment entretenu avec un chercheur de Microsoft AI pour approfondir les détails de la « Windows Agent Arena ».

Vous avez peut-être entendu parler récemment du terme « Agents IA », notamment à propos de l’agent IA de Claude . Cependant, Microsoft développe l’idée d’« Agent IA » depuis plusieurs mois et a même publié un article de recherche . Le projet « Windows Agent Arena » a été publié en open source en septembre .

Si vous suivez de près les avancées de Microsoft, vous savez qu’ils sont à l’avant-garde de la course à l’intelligence artificielle. Leur division IA est en pleine activité, créant des outils qui permettent aux développeurs et chercheurs indépendants de travailler avec différents modèles de langage.

Microsoft AI a dévoilé Windows Agent Arena, un framework entièrement open source . Ce framework aide les chercheurs et les développeurs à créer et à tester leurs agents IA. Il est conçu pour fournir tous les outils nécessaires au développement et à l’évaluation des agents IA pour Windows 11. Mais qu’implique un agent IA sur un PC ?

Pour comprendre son utilité, explorons quelques exemples pratiques d’agents IA.

Chaque matin, au lieu de lancer individuellement chacune de vos applications de messagerie, de calendrier et de site d’actualités préféré, vous pouvez simplement commander « Démarrer ma configuration matinale ». L’agent IA ouvrira alors toutes ces applications pour vous en une seule fois.

Une autre fonction d’un agent IA Windows 11 pourrait consister à modifier les paramètres de votre PC en fonction de vos instructions verbales. Si vous êtes préoccupé par la confidentialité en ligne et que vous souhaitez activer la fonctionnalité « Ne pas suivre » dans Microsoft Edge, l’agent IA peut s’en charger pour vous.

Voici un aperçu plus détaillé de la manière dont cela fonctionnerait :

• L’agent IA interprétera votre demande, comprenant que vous souhaitez activer la fonctionnalité « Ne pas suivre » dans Edge.
• Suite à votre commande, il lancera Microsoft Edge.
• L’agent naviguerait dans le menu principal en cliquant sur les trois points, une tâche qu’il effectue de manière autonome sans intervention humaine.
• Ensuite, sélectionnez « Paramètres » dans les options déroulantes.
• Sur la page Paramètres, recherchez la section « Confidentialité, recherche et services » et faites défiler la page pour trouver le bouton « Ne pas suivre ».

L’agent activera alors automatiquement l’option « Ne pas suivre » sous vos yeux !

Microsoft a partagé des exemples supplémentaires sur son blog consacré aux sciences appliquées, tels que :

Exemple 1 : Agent IA activant la fonction « Ne pas suivre » dans Microsoft Edge

Exemple 2 : Agent AI installant l’extension Pylance dans VSCode .

Exemple 3 : Agent IA modifiant les paramètres de votre moteur de recherche

Exemple 4 : l’agent AI modifie les paramètres de VLC pour ajuster le dossier de stockage des enregistrements

Exemple 5 : Agent IA ouvrant Paint et créant un dessin pour vous

Exemple 6 : l’agent AI renomme votre profil Edge

Incroyable, n’est-ce pas ?

Le projet Windows Agent Arena marque une évolution passionnante, et ces cas ne font qu’effleurer la surface de ce qui peut arriver, en particulier sur un système d’exploitation comme Windows 11.

L’objectif de Windows Agent Arena est d’établir un cadre open source de soutien, permettant aux développeurs et aux chercheurs de créer et d’évaluer leurs propres agents d’IA adaptés à Windows 11.

En quoi consiste exactement Windows Agent Arena ?

« Les assistants IA tels que Copilot et ChatGPT se sont révélés extrêmement utiles pour de nombreux utilisateurs. Ces outils utilisent des modèles de langage sophistiqués pour aider à une variété de tâches, de la correction de code à la suggestion de recettes de dîner. À mesure que ces modèles deviennent plus avancés, nous spéculons sur les possibilités futures des assistants IA », explique Francesco Bonacci, chercheur en IA chez Microsoft impliqué dans le projet.

« Présentation de Windows Agent Arena, un framework dédié au test et au développement d’agents IA capables d’exécuter des tâches dans un environnement Windows. Imaginez ces agents comme des assistants intelligents qui peuvent voir votre écran, le comprendre, puis interagir avec votre PC en cliquant, en tapant ou en lançant des applications pour vous aider dans vos tâches, comme vous le feriez manuellement. »

Pour ceux qui ne le savent pas, Microsoft AI est une nouvelle division de Microsoft qui travaille sur Copilot, Edge et d’autres innovations en matière d’IA. Vous vous souvenez du petit modèle de langage révolutionnaire Phi-3 ? Il est également issu de Microsoft AI. La division est dirigée par Mustafa Suleyman , ancien dirigeant de Google DeepMind , qui occupe actuellement le poste de PDG de Microsoft AI.

Windows Agent Arena (WAA) est en cours de développement pour aider les développeurs et les chercheurs à concevoir, tester et évaluer des agents d’IA spécialisés pour Windows 11.

Le concept fondamental est d’encourager une large participation à la création d’agents IA pour Windows 11, permettant l’automatisation de diverses tâches. Le framework est entièrement open source et adaptable, ce qui permet aux développeurs d’utiliser soit des ressources locales, soit l’infrastructure cloud Azure Machine Learning de Microsoft pour tester et exécuter plusieurs agents simultanément.

Grâce à son intégration dans Azure, WAA donne accès à une expérience Windows 11 réaliste, permettant aux développeurs de voir comment les agents d’IA fonctionneraient dans une véritable configuration Windows plutôt que dans une simulation limitée.

Cela peut sembler un peu technique pour un utilisateur ordinaire, mais simplifions la manière dont les agents d’IA sont construits :

• Les développeurs ont accès à Windows Agent Arena, une plateforme dédiée au codage, aux tests et aux tests d’évaluation comparative des agents d’IA sur Windows 11.
• Microsoft a créé un modèle « Agent AI » par défaut, fournissant une base aux développeurs.
• À l’aide de ces modèles, les développeurs peuvent commencer à créer des agents d’IA uniques conçus pour résoudre les problèmes courants des utilisateurs sur Windows 11.
• Par exemple, si vous avez de nombreuses photos dispersées sur votre bureau et dans différents dossiers, un agent IA peut vous aider à renommer, compresser et modifier automatiquement leurs extensions de fichier par lots. Cela illustre comment les agents IA peuvent résoudre des tâches réelles sur Windows 11.
• Au-delà de la création d’agents IA, les développeurs peuvent évaluer leurs performances et leur sécurité. Bien que les agents IA fonctionnent localement sur Windows 11, Microsoft a intégré des outils d’analyse comparative dans WAA pour répondre aux problèmes de performances.
• Pour commencer, les développeurs configureront Docker à l’aide de WSL 2, d’une clé API OpenAI ou AzureOpen, de Python 3.9, cloneront le référentiel WAA, installeront les dépendances et utiliseront l’ISO d’évaluation Windows Enterprise.
• Les développeurs peuvent exécuter leurs agents d’IA localement ou exploiter les solutions cloud d’Azure pour les tests.

Selon Francesco Bonacci de Microsoft, ce cadre donne aux chercheurs les outils pour affiner leurs modèles d’IA, améliorant ainsi leur capacité à comprendre et à interagir avec un environnement de bureau standard.

Quelle est la robustesse de Windows Agent Arena ?

Le document de recherche « Windows Agent Arena: Evaluating Multi-Modal OS Agents at Scale », rédigé par une équipe comprenant Rogerio Bonatti , Dan Zhao , Francesco Bonacci , Dillon Dupont , Sara Abdali , Yinheng Li , Yadong Lu , Justin Wagle , Kazuhito Koishida , Arthur Bucker , Lawrence Jang et Zack Hui , indique que le modèle WAA initial peut exécuter avec succès jusqu’à 150 tâches différentes sur Windows 11.

De quels types de tâches s’agit-il ? Bien que les spécificités puissent varier, elles englobent la plupart des fonctions que vous effectuez habituellement sur votre ordinateur.

« Par exemple, » ajoute Francesco Bonacci, « vous pouvez demander à l’IA d’installer des extensions de navigateur, d’ajuster les paramètres ou même de créer des dessins simples dans Paint. L’IA exploite des modèles avancés de langage et de vision pour comprendre les informations textuelles et visuelles sur votre écran, ce qui lui permet de déterminer les actions appropriées. Windows Agent Arena offre un espace pour évaluer l’efficacité de ces agents IA sur un ensemble de tâches, de la navigation à l’édition de documents, le tout dans un système d’exploitation Windows authentique. »

Les tâches peuvent inclure la modification des paramètres dans Microsoft Edge ou Chrome, par exemple, demander à un agent IA d’activer le mode de confidentialité, d’effacer les cookies ou de changer le moteur de recherche par défaut.

Vous pouvez utiliser un agent d’IA pour des applications telles que LibreOffice Writer ou Calc pour modifier divers documents et feuilles de calcul. Pour les développeurs, un agent d’IA peut aider à installer des extensions ou à modifier du code pendant que vous observez son fonctionnement.

Ce ne sont là que quelques idées, les applications potentielles sont vastes. Les agents IA pourraient interagir avec une gamme d’applications sur Windows 11, notamment le Bloc-notes, Paint ou Clock. Voici d’autres exemples :

• Enregistrez un dessin dans Paint sous « circle.png » dans votre dossier Téléchargements
• Changer l’arrière-plan du bureau en une couleur unie
• Désactiver les notifications système
• Activez la veilleuse et réglez-la pour qu’elle fonctionne de 19h jusqu’au lever du soleil
• Exporter le document actuel au format PDF
• Formatez les deux premiers paragraphes à double interligne
• Ajoutez une ligne vide après chaque phrase
• Aligner le centre du titre dans LibreOffice
• Convertir le nombre 2 dans le texte au format indice
• Définir Times New Roman comme police par défaut
• Renommez la feuille Sheet1 en « LARSScienceAssessment » dans votre feuille de calcul
• Trier une liste d’employés en fonction de leur date d’anniversaire
• Remplissez les numéros de séquence sous la forme « N° # » dans la colonne « N° séq. »
• Activez le paramètre « Ne pas suivre » dans Edge pour une confidentialité en ligne améliorée
• Définissez la taille de police par défaut sur l’option la plus grande
• Enregistrez la page Web que vous consultez actuellement

Mais quelle est la puissance de Windows Agent Arena pour les développeurs ? Les développeurs peuvent notamment choisir de s’appuyer sur la puissance de calcul locale ou d’étendre leurs capacités à l’aide d’Azure Machine Learning (Azure ML). Cette flexibilité signifie qu’ils peuvent tester plusieurs agents d’IA dans le cloud plutôt que d’être limités aux contraintes de performances d’un seul PC.

L’ étude présente également l’agent IA de Microsoft, Navi, qui a atteint un taux de réussite de 19,5 % dans l’exécution des tâches. Bien que ce taux soit inférieur au taux humain de 74,5 %, il représente une avancée significative pour les capacités de l’IA.

Microsoft a expliqué que Navi utilise la « chaîne de pensée », une méthode permettant d’aborder systématiquement les tâches et de déterminer comment les exécuter dans Windows 11.

Navi évalue ce qui doit être fait, les actions qu’il entreprend et ce qu’il doit exécuter ensuite en analysant votre affichage et en comprenant des éléments tels que la position du curseur, accomplissant ainsi la tâche.

Pour soutenir davantage la création d’agents d’IA personnalisés, Microsoft a également ouvert le code source de « Omniparser », un modèle sophistiqué de compréhension d’écran.

Quel avenir pour les agents IA sur Windows 11 ?

Windows Agent Arena est plus qu’un simple concept ; je ne serais pas surpris de voir Microsoft introduire ses propres versions d’agents AI pour Windows 11.

Actuellement, il s’agit d’un projet open source encore en cours avec un taux de réussite modeste, et le calendrier des agents AI sur Windows 11 est incertain, mais leur arrivée semble inévitable.

Les agents IA pourraient bientôt être capables d’apprendre vos routines quotidiennes, de proposer des flux de travail plus efficaces ou d’automatiser des processus sans nécessiter de commandes explicites.

Cela dit, les agents d’IA sont confrontés à des défis, notamment pour interpréter avec précision les informations à l’écran et gérer les mouvements de la souris pour des tâches telles que le dessin dans Paint.

Source