Fonctionnalités d’IA confirmées dans Windows 11 version 24H2

• Microsoft s’apprête à introduire une variété de nouvelles fonctionnalités d’IA sur l’appareil dans Windows 11 24H2.
• Les fonctionnalités mises en évidence incluent Windows Recall, Windows Studio Effects, Live Captions, Auto Super Resolution, Voice Clarity, Voice Focus, Click to Do, Cocreator dans l’application Paint et Restyle Image dans l’application Photos.
• De plus, des améliorations seront apportées à Copilot pour Windows 11.

Depuis le 1er octobre, Windows 11 24H2 (mise à jour 2024) est déployé sur les appareils éligibles, même s’il manque initialement les fonctionnalités d’IA attendues. Microsoft consacre du temps à s’assurer que ces fonctionnalités sont entièrement prêtes pour le déploiement. Néanmoins, les détails des offres initiales d’IA ont été révélés, à commencer par l’intégration de Windows Copilot Runtime.

Cette version remaniée du système d’exploitation introduira plusieurs fonctionnalités d’IA exclusives conçues pour les PC Copilot+, notamment Windows Recall, Windows Studio Effects, Live Captions (y compris les traductions en temps réel), Auto Super Resolution, Voice Clarity, Click to Do, Voice Focus, Cocreator dans l’application Paint et Restyle Image dans l’application Photos.

Ces innovations proviennent du nouveau « Windows Copilot Runtime », un composant système qui intègre plus de 40 modèles d’IA fonctionnant directement sur l’appareil, fournissant l’infrastructure nécessaire à leurs fonctions.

Cela permet également aux développeurs d’intégrer des fonctionnalités d’IA dans leurs applications grâce aux nouvelles API disponibles dans la bibliothèque Windows Copilot .

Fonctionnalités de l’IA dans Windows 11 version 24H2

Voici un résumé des fonctionnalités d’IA attendues pour Windows en 2024 et au-delà.

Rappel de Windows

Windows Recall fonctionne comme une mémoire photographique d’arrière-plan, capturant automatiquement des instantanés de vos activités sur l’ordinateur. Utilisant plusieurs modèles d’IA exécutés localement, cette fonctionnalité permet de rechercher tout le contenu, qu’il s’agisse de texte ou d’images, à l’aide d’un langage naturel.

Cette fonction de rappel innovante est exclusivement disponible sur les PC Copilot+, qui doivent être équipés de matériel compatible, notamment un processeur compatible NPU, 16 Go de RAM et 256 Go de stockage SSD.

Au cours de l’expérience initiale prête à l’emploi (OOBE), les utilisateurs peuvent activer ou désactiver cette fonctionnalité, avec un contrôle supplémentaire disponible via l’application Paramètres ou la stratégie de groupe.

Effets de Windows Studio

Windows Studio Effects comprend une suite de fonctionnalités qui exploitent l’IA pour améliorer la qualité des appels vidéo et audio grâce aux unités de traitement neuronal (NPU).

Actuellement, il existe cinq effets principaux, dont le cadrage automatique, le flou d’arrière-plan, le contact visuel, la mise au point vocale et les filtres créatifs.

• Cadrage automatique : cela vous permet de rester centré dans la vue de la caméra même lorsque vous vous déplacez.
• Flou d’arrière-plan : floute votre arrière-plan pendant les appels vidéo pour plus de confidentialité ou pour masquer l’encombrement, avec à la fois le « Flou standard » et le « Flou portrait ».
• Contact visuel : ajustez votre apparence pour garantir que le contact visuel est perçu, avec les modes « Standard » et « Téléprompteur » disponibles.
• Voice Focus : minimise le bruit de fond pour un son plus clair pendant les appels. Il existe deux variantes, l’une utilisant le NPU et l’autre s’appuyant uniquement sur un logiciel.

Alors que Studio Effects existe depuis un certain temps dans Windows 11, Microsoft entend élargir leur disponibilité avec la version 24H2 spécifiquement pour les PC Copilot+.

Sous-titres en direct avec traduction

La fonctionnalité Live Captions, présente dans Windows 11, bénéficie d’une mise à niveau pour inclure des traductions en direct. Cet outil est conçu pour aider tout le monde, en particulier les personnes malentendantes, à comprendre le contenu audio grâce à la transcription automatique.

La fonctionnalité améliorée traduit l’audio des appels vidéo ou vocaux dans votre langue maternelle en temps réel, quelle que soit la source, qu’elle provienne de YouTube ou d’une autre plateforme. Elle est capable de traduire plus de 40 langues en anglais sans avoir besoin d’une connexion Internet, à condition qu’elle soit prise en charge par un NPU.

Il est essentiel de noter que cette fonctionnalité est passée de la simple transcription à la traduction audio en temps réel.

Clarté de la voix

La fonction Voice Clarity utilise l’IA pour éliminer le bruit de fond, annuler les échos et réduire la réverbération pendant les appels vidéo ou vocaux ainsi que les enregistrements audio.

Cette fonctionnalité est également bénéfique pour les jeux en ligne en offrant une communication plus claire. Les applications peuvent activer la « suppression du bruit profond » pour une qualité audio optimale. Voice Clarity fonctionne automatiquement sur les applications prises en charge avec un matériel compatible équipé d’un NPU, sans nécessiter d’activation manuelle.

Cliquez pour faire

Si vous connaissez « Circle to Search » sur Android ou « Google Lens » sur Chrome, alors « Click to Do » vous semblera similaire. Cette application utilise l’IA pour reconnaître et interpréter le contenu de l’écran, offrant ainsi diverses tâches réalisables.

Pour l’utiliser, appuyez sur la touche « Windows » et maintenez-la enfoncée tout en cliquant sur l’écran pour ouvrir un menu superposé présentant différentes options d’action. De plus, un champ de recherche est disponible en haut, intégré à Windows Recall.

Recherche Windows améliorée

Bien que son nom ne soit pas encore officiel, la fonctionnalité de recherche Windows sera repensée avec des fonctionnalités d’IA. Cette amélioration permet aux utilisateurs d’effectuer des recherches en langage naturel pour les applications, les fichiers et les paramètres directement dans l’Explorateur de fichiers, l’application Paramètres et la barre des tâches, plutôt que de se fier uniquement à des mots-clés.

Super résolution automatique

La technologie Auto Super Resolution (SR) utilise la technologie IA pour améliorer la résolution et la qualité visuelle du jeu, contribuant ainsi à une expérience de jeu plus fluide et plus efficace tout en maximisant les fréquences d’images. Essentiellement, elle utilise l’IA pour améliorer les jeux, ce qui se traduit par des graphismes et des performances améliorés.

Cette fonctionnalité présente des similitudes avec le DLSS de Nvidia, le FidelityFX Super Resolution (FSR) d’AMD et le Xe Super Sampling (XeSS) d’Intel, qui exploitent tous l’IA pour des visuels de jeu améliorés.

Dans le cadre de cette initiative, Microsoft a développé l’API « DirectSR » en collaboration avec Nvidia, AMD et Intel pour rationaliser SR dans les futurs titres de jeux.

Cependant, cette capacité sera exclusivement réservée aux PC Copilot+ équipés des derniers processeurs Qualcomm Snapdragon X Elite et sera limitée à un nombre limité de jeux.

Cocréateur et remplissage et effacement génératifs dans Paint

Microsoft introduit une nouvelle fonctionnalité Cocreator dans l’application Paint qui numérise vos dessins au lieu de générer une image IA. Cette fonctionnalité vous aidera à affiner, éditer et développer vos concepts artistiques.

Cette fonctionnalité utilise un algorithme basé sur la diffusion pour produire une image de haute qualité avec un minimum d’effort et offre des paramètres permettant de personnaliser si la création est plus littérale ou plus expressive.

Il est essentiel de préciser que Cocreator est exclusif aux PC Copilot+ et ne doit pas être confondu avec « Image Creator », une fonction d’IA utilisant des ressources cloud pour convertir des invites de texte en visuels.

Remplissage génératif

Dans Paint, la fonction « Remplir » permet aux utilisateurs de sélectionner une zone spécifique d’une image et de générer de nouveaux éléments pour améliorer cette section en fonction d’une invite textuelle. Cette fonction sera initialement accessible sur les PC Copilot+ équipés des derniers processeurs Qualcomm.

Effacement génératif

L’application Paint introduira également la fonction « Effacer », permettant aux utilisateurs de sélectionner et d’éliminer des sections d’une image à l’aide de l’IA, à l’instar des fonctionnalités disponibles sur les appareils mobiles.

Attendez-vous à ce que cette capacité soit déployée sur tous les appareils, y compris ceux qui ne prennent pas en charge l’IA.

Restyle Image, Image Creator et Super Resolution dans Photos

L’application Photos intégrera une nouvelle fonction « Restyle Image » visant à modifier le style d’une photo grâce à l’IA et au NPU de l’appareil, en utilisant des techniques avancées de génération et d’édition d’images.

Cette fonctionnalité permet aux utilisateurs de sélectionner une image pour en modifier le style, un peu comme l’application de filtres sur les applications mobiles. Les utilisateurs peuvent également saisir une invite de texte pour créer un nouvel arrière-plan.

Créateur d’images

L’application Photos sera dotée du même outil « Image Creator » que celui de Paint, permettant aux utilisateurs de créer des images générées par l’IA à partir d’une simple invite de texte. Contrairement à la version Paint, cette fonctionnalité n’est pas exclusive aux PC Copilot+ puisqu’elle fonctionne dans le cloud en utilisant le modèle de langage DALL-E.

Super résolution

La fonctionnalité Super Resolution permettra aux utilisateurs d’améliorer les images grâce à l’IA, disponible exclusivement sur les PC Copilot+. Elle utilisera le NPU pour améliorer et affiner les images jusqu’à huit fois leur résolution d’origine.

Microsoft promet également que la fonction Super Résolution de Photos peut redonner vie à de vieilles images de mauvaise qualité.

Mises à jour de Copilot pour Windows 11

Bien que Copilot soit une fonctionnalité de Windows 11 depuis un certain temps, la version 24H2 introduira des mises à jour. L’application fonctionnera comme une application standard qui peut être épinglée ou supprimée de la barre des tâches, permettant aux utilisateurs de la redimensionner et de la déplacer comme n’importe quelle autre application (elle est également disponible sur Windows 11 23H2).

L’application est en fait une version Web installée en tant qu’application Web sur Windows 11. Bien que ses fonctionnalités de base restent les mêmes, il ne sera plus possible de modifier les paramètres système. De plus, l’interface a été actualisée pour ressembler à l’expérience Web OpenAI ChatGPT.

De plus, Copilot sera désormais intégré à l’application Paramètres. Au lieu d’un bouton explicite pour appeler le chatbot, les utilisateurs trouveront des « suggestions Copilot » dans les paramètres. Par exemple, dans la section Système, les utilisateurs peuvent voir des suggestions utiles pour résoudre les problèmes audio, activer les paramètres d’économie d’énergie ou diffuser sur un écran sans fil.

Dans l’Explorateur de fichiers, Microsoft vise à rationaliser les tâches des utilisateurs avec l’aide de Copilot, en permettant des actions applicables aux images lorsque vous passez la souris dessus et cliquez sur le bouton Copilot.

De plus, Copilot fera également partie de la fonctionnalité Notifications. Lors de la réception d’une notification toast, elle présentera des suggestions liées au scénario spécifique. Par exemple, si un e-mail comprend une pièce jointe PowerPoint, Copilot peut recommander de résumer son contenu.

Cette intégration permettra aux utilisateurs de partager leur écran avec Copilot pour obtenir de l’aide lors de diverses tâches.

Les développeurs commenceront également à intégrer des fonctionnalités d’IA dans leurs applications, indiquant une intégration plus large des capacités d’IA dans les futures mises à jour du système d’exploitation.

Les récents changements apportés à Copilot ont été introduits pour la première fois lors d’un récent événement de lancement de Surface, mais depuis lors, d’autres détails sur les suggestions de Copilot n’ont pas encore été divulgués.

Conclusion

La mise à jour 2024 pour Windows 11 est actuellement disponible, avec de nouvelles fonctionnalités et améliorations, même si les fonctionnalités d’IA ne sont pas encore incluses. Microsoft prévoit de commencer à tester ces capacités d’IA, notamment Windows Recall avec des fonctionnalités de sécurité améliorées, courant octobre pour les PC Copilot+ via le programme Windows Insider, avec un déploiement plus large prévu en novembre 2024.

Les PC Copilot+ sont une nouvelle catégorie d’ordinateurs intelligents conçus pour les applications d’IA. La gamme initiale comprend des processeurs Qualcomm Snapdragon série X ainsi que des NPU intégrés qui prennent en charge des fonctionnalités d’IA étendues tout en garantissant une autonomie de batterie tout au long de la journée. Ces machines sont équipées d’au moins 16 Go de RAM et de 256 Go de stockage. Les nouvelles offres d’Intel et d’AMD devraient également inclure des processeurs avec NPU pour faciliter ces expériences d’IA avancées.

Mise à jour le 8 octobre 2024 : Cet article a été révisé pour fournir un contenu précis et à jour.

Source