Microsoft pourrait redéfinir la recherche Windows 11 avec l’IA pour rechercher dans les fichiers audio et vidéo

En plus de Recall, Microsoft travaille sur un nouveau moteur de recherche Windows basé sur un index sémantique qui pourrait résoudre les problèmes de l’index de recherche actuel. Le nouveau moteur de recherche de Windows 11 pourrait utiliser l’IA pour alimenter vos résultats de recherche locaux et même parcourir des fichiers audio ou vidéo.

La fonction de rappel de Windows 11 était l’un des points forts des PC Microsoft Copilot+, mais les choses ne se sont pas déroulées comme l’espérait l’entreprise. Après l’indignation suscitée par les problèmes de confidentialité et de sécurité, Microsoft a retiré Windows Recall et a promis de le réactiver en octobre après que nous ayons contacté Microsoft.

Bien que vous puissiez rechercher vos activités passées avec Recall, vous pourrez bientôt même parcourir des fichiers vidéo et audio à l’aide de l’IA dans Windows 11.

Le chercheur de Microsoft Xeno a récemment repéré des références à la « recherche multimédia intelligente » dans Windows 11 Build 27695. Elle contient plusieurs références de fonctionnalités qui pointent vers une fonction d’IA capable de rechercher du contenu dans les fichiers vidéo et audio.

Cette magie de l’IA fonctionnera après avoir téléchargé les modèles pertinents, ce qui rendra cet exploit possible. Il semble que la fonctionnalité transcrira d’abord chaque fichier vidéo/audio sur votre PC. Après cela, vous pourrez effectuer une recherche basée sur le contenu.

Windows Latest s’attend à ce que vous puissiez rechercher des mots spécifiques prononcés dans une conversation. Par exemple, vous pouvez rechercher des détails tels qu’un nom de projet ou une statistique importante et voir les vidéos/fichiers audio pertinents apparaître dans ce résultat.

Il pourrait même aller plus loin et présenter l’horodatage exact lorsque le mot apparaît dans le fichier ou souligner sa pertinence dans la conversation.

La recherche de médias intelligents pourrait être liée à la recherche sémantique

Il est possible que la recherche multimédia intelligente soit liée à la recherche sémantique annoncée par Microsoft lors de l’événement Copilot+.

Comme l’a remarqué Windows Latest, Microsoft a souligné dans un récent article de blog que « Recall AI est alimenté par Windows Semantic Index ».

L’avantage de cet index est que vous pouvez interagir avec lui en utilisant le langage naturel. Bientôt, les développeurs pourront accéder aux vecteurs incorporés et à l’API RAG dans la bibliothèque Windows Copilot.

Les premières démonstrations de Recall AI ont montré qu’il utiliserait des instantanés pour vous aider à retrouver tout ce que vous avez fait auparavant sur votre PC. La « recherche intelligente de médias » serait un cran au-dessus. Nous aimons l’idée, mais comme Recall AI, elle sera également exclusive aux PC Copilot+, qui ont fait leurs débuts en juin 2024.

Les PC Copilot+ disposent du matériel nécessaire pour exécuter des modèles d’IA localement avec 40 NPU TOPS et plus. Nous ne nous attendons pas à ce que cette fonctionnalité arrive sur les PC Windows 11 classiques, car ils ne disposent pas du matériel nécessaire.

Intégration du groupe de développement dans l’IA de Windows 11

Microsoft souhaite également étendre les capacités de recherche en langage naturel aux développeurs d’applications tiers.

Les développeurs peuvent proposer une expérience de recherche en langage naturel similaire dans leurs applications. Pensez à une application financière dans laquelle vous pouvez rechercher une action passée en utilisant le langage naturel. La réponse de la recherche sera plus rapide puisque toutes les données seront présentes sur le PC.

Recall AI fera son retour en octobre 2024 pour les testeurs après une interruption de quatre mois. Vous pouvez le supprimer via la boîte de dialogue Fonctionnalités facultatives du Panneau de configuration si vous n’en avez pas besoin.