Qu’est-ce que Windows Copilot Runtime ? Explication du système d’IA de Windows 11.

• Windows Copilot Runtime est un système à trois couches sur Windows 11 24H2 qui combine plus de 40 modèles d’IA, API et autres outils pour alimenter les fonctionnalités d’IA, telles que Windows Recall, Studio Effects, Auto Super Resolution, etc.

Sous Windows 11, Windows Copilot Runtime est un nouveau système qui fait partie de la version 24H2 (mise à jour 2024) et des versions supérieures qui combinent une série de modèles d’IA plus petits qui s’exécutent sur l’appareil et d’autres composants pour alimenter les fonctionnalités d’IA dans le système d’exploitation.

Qu’est-ce que Windows Copilot Runtime ?

Windows Copilot Runtime est un nouveau système qui combine un certain nombre de composants, notamment des frameworks d’IA, des chaînes d’outils, la nouvelle bibliothèque Windows Copilot et des modèles d’IA sur l’appareil, et il se termine par des applications et des fonctionnalités qui offrent des capacités d’IA.

Vous connaissez peut-être le nom de marque « Copilot » sur Windows 11, qui fait référence à la fonctionnalité d’IA du chatbot, mais Windows Copilot Runtime est quelque chose de différent . Ce nouveau système démarre immédiatement au-dessus du silicium, qui, dans ce cas, fait référence aux NPU (Neural Processing Units) et aux GPU (Graphical Processing Units), qui sont les principaux composants pour traiter les tâches d’IA.

Couche 1

Au premier niveau, vous trouverez les « frameworks d’IA », qui incluent DirectML , ONNX Runtime , PyTorch , WebNN et les « chaînes d’outils », qui incluent Olive , AI Toolkit for Visual Studio Code et d’autres outils pour les développeurs.

Couche 2

Microsoft place la « Bibliothèque Windows Copilot » et les « Modèles sur appareil » dans la deuxième couche. La « Bibliothèque Windows Copilot » fournit un nouvel ensemble d’API (interfaces de programmation d’applications) permettant aux développeurs d’intégrer des fonctionnalités d’IA dans leurs applications.

De plus, et plus important encore, dans cette deuxième couche, vous trouverez plus de 40 modèles d’IA qui s’exécutent simultanément localement sur l’ordinateur pour alimenter de nombreuses nouvelles expériences d’IA, telles que (le controversé) Windows Recall, Windows Studio Effects, Auto Super Resolution, Voice Clarity, Cocreator for Paint et Restyle Image.

Dans le cadre du nouveau runtime, Microsoft intègre le Phi Silica Small Language Model (SLM) et d’autres modèles, tels que le système de reconnaissance optique de caractères (OCR), le détecteur de région d’écran, l’analyseur de langage naturel, l’encodeur d’images, les incorporations vectorielles, la génération augmentée de récupération (RAG), le résumé de texte et l’activité de l’utilisateur.

Couche 3

Enfin, au troisième niveau, vous trouverez les applications qui accèdent à ces fonctionnalités pour offrir des expériences d’IA. Cependant, les développeurs doivent intégrer de nouvelles fonctionnalités d’IA en exploitant leurs applications dans Windows Copilot Runtime.

Qu’adviendra-t-il de Copilot pour Windows 11 ?

Copilot pour Windows 11 évolue désormais d’une intégration au niveau du système d’exploitation vers une simple application Web qui se connecte à l’IA Copilot sur le Web.

Cela signifie que Copilot continuera à dépendre du cloud pour traiter les données et produire des réponses à vos questions. En conséquence de ce changement, le chatbot ne peut plus modifier les paramètres système et le raccourci clavier « touche Windows + C » a été supprimé.

Microsoft prévoit toutefois de déployer les « suggestions Copilot », une autre évolution de l’expérience. Au lieu de demander au chatbot de modifier des paramètres ou d’effectuer des tâches spécifiques, vous verrez Copilot suggérer différentes actions.

Par exemple, dans l’application Paramètres, Copilot peut suggérer de résoudre un problème ou de modifier un paramètre. Dans l’Explorateur de fichiers, vous pourrez accéder à des fonctionnalités telles que la possibilité de supprimer l’arrière-plan d’une image directement depuis le menu contextuel.

Sur une notification toast, Copilot peut suggérer de résumer un document arrivé dans votre boîte de réception.

Copilot s’intégrera également à d’autres applications comme Photos et Paint.

Bien que l’application Copilot nécessite une connexion à Internet, la plupart des nouvelles fonctionnalités d’IA fonctionneront sans connexion Internet à l’aide de Windows Copilot Runtime.

Pouvez-vous désinstaller Windows Copilot Runtime ?

Contrairement à l’application Copilot, qui peut être supprimée, le système d’exploitation n’inclura pas d’option permettant de désinstaller Windows Copilot Runtime puisqu’il s’agit d’un composant système.

De plus, Microsoft ne limite pas les développeurs à l’utilisation des seuls modèles intégrés aux appareils fournis avec le nouveau système d’IA, car les développeurs peuvent apporter leurs propres modèles d’IA au système d’exploitation pour alimenter leurs applications.

En bref, Windows Copilot Runtime est un nouveau système qui utilise des modèles d’IA sur l’appareil pour alimenter les fonctionnalités d’IA de Microsoft et des développeurs qui choisissent ce système. De plus, il n’est pas lié à l’application Copilot pour Windows 11.