Microsoft podría redefinir la búsqueda de Windows 11 con IA para buscar en archivos de audio y video

Además de Recall, Microsoft está trabajando en un nuevo motor de búsqueda de Windows basado en un índice semántico que podría solucionar los problemas del índice de búsqueda actual. El nuevo motor de búsqueda de Windows 11 podría usar inteligencia artificial para potenciar los resultados de búsqueda locales e incluso buscar archivos de audio o video.

La función de recuperación de Windows 11 fue uno de los aspectos más destacados de las PC Microsoft Copilot+, pero las cosas no salieron como la empresa esperaba. Después de la indignación por problemas de privacidad y seguridad, Microsoft retiró la función de recuperación de Windows y prometió volver a implementarla en octubre después de que nos pusimos en contacto con Microsoft.

Si bien puedes buscar tus actividades pasadas con Recall, pronto podrás incluso examinar archivos de video y audio usando IA en Windows 11.

El investigador de Microsoft, Xeno, detectó recientemente referencias a la “Búsqueda inteligente de medios” en Windows 11 Build 27695. Contiene varias referencias a funciones que apuntan a una función de IA que puede buscar contenido dentro de los archivos de video y audio.

Esta magia de IA funcionará después de descargar los modelos pertinentes, lo que hará posible esta hazaña. Parece que la función primero transcribirá todos los archivos de video/audio en su PC. Después de eso, podrá realizar una búsqueda basada en contenido.

Windows Latest espera que puedas buscar palabras específicas dichas en una conversación. Por ejemplo, puedes buscar detalles como el nombre de un proyecto o una estadística importante y ver videos o archivos de audio relevantes en ese resultado.

Incluso podría ir más allá y presentar la marca de tiempo exacta cuando la palabra aparece en el archivo o enfatizar su relevancia en la conversación.

La búsqueda inteligente de medios podría estar relacionada con la búsqueda semántica

Es posible que la búsqueda inteligente de medios esté relacionada con la búsqueda semántica que Microsoft anunció en el evento Copilot+.

Como lo señaló Windows Latest, Microsoft señaló en una publicación reciente de su blog que “Recall AI está impulsado por Windows Semantic Index”.

La ventaja de este índice es que se puede interactuar con él mediante lenguaje natural. Pronto, los desarrolladores podrán acceder a Vector Embeddings y a la API RAG en la biblioteca Windows Copilot.

Las primeras demostraciones de Recall AI mostraron que usaría instantáneas para ayudarte a encontrar todo lo que hayas hecho anteriormente en tu PC. La «búsqueda de medios inteligente» sería un paso más allá. Nos gusta la idea, pero al igual que Recall AI, esto también será exclusivo de las PC Copilot+, que debutarán en junio de 2024.

Las PC Copilot+ tienen el hardware necesario para ejecutar modelos de IA localmente con NPU de 40 TOPS o más. No esperamos que la función llegue a las PC con Windows 11 estándar porque carecen del hardware necesario.

Integración de desarrolladores en Windows 11 AI

Microsoft también quiere ampliar las capacidades de búsqueda en lenguaje natural a los desarrolladores de aplicaciones de terceros.

Los desarrolladores pueden ofrecer una experiencia de búsqueda en lenguaje natural similar en sus aplicaciones. Piense en una aplicación de finanzas en la que puede buscar una acción pasada mediante lenguaje natural. La respuesta de búsqueda será más rápida, ya que todos los datos estarán presentes en la PC.

Recall AI volverá a estar disponible para los evaluadores en octubre de 2024 después de una pausa de cuatro meses. Puede eliminarla a través del cuadro de diálogo Funciones opcionales del Panel de control si no la necesita.