A Microsoft pode redefinir a Pesquisa do Windows 11 com IA para pesquisar arquivos de áudio e vídeo

Além do Recall, a Microsoft está trabalhando em um novo Windows Search baseado em um índice semântico que poderia resolver os problemas com o índice de pesquisa atual. O novo mecanismo de pesquisa do Windows 11 poderia usar IA para potencializar seus resultados de pesquisa local e até mesmo procurar por arquivos de áudio ou vídeo.

O recurso Recall do Windows 11 foi um dos principais destaques dos PCs Microsoft Copilot+, mas as coisas não saíram como a empresa esperava. Após indignação devido a problemas de privacidade e segurança, a Microsoft retirou o Windows Recall e prometeu trazê-lo de volta em outubro, depois que entramos em contato com a Microsoft.

Embora você possa pesquisar suas atividades anteriores com o Recall, em breve você poderá até mesmo filtrar arquivos de vídeo e áudio usando IA no Windows 11.

O pesquisador da Microsoft Xeno recentemente identificou referências à “Busca de mídia inteligente” no Windows 11 Build 27695. Ele contém várias referências de recursos que apontam para um recurso de IA que pode pesquisar conteúdo dentro de arquivos de vídeo e áudio.

Essa mágica de IA funcionará após baixar os modelos relevantes, o que tornará esse feito possível. Parece que o recurso primeiro transcreverá todos os arquivos de vídeo/áudio no seu PC. Depois disso, você pode executar uma pesquisa baseada em conteúdo.

O Windows Latest espera que você possa pesquisar por palavras específicas ditas em uma conversa. Por exemplo, você pode pesquisar por detalhes como um nome de projeto ou estatística importante e ver vídeos/arquivos de áudio relevantes aparecerem nesse resultado.

Ele poderia até ir além e apresentar o registro de data e hora exato em que a palavra aparece no arquivo ou enfatizar sua relevância na conversa.

A pesquisa de mídia inteligente pode estar relacionada à pesquisa semântica

É possível que a busca inteligente de mídia esteja relacionada à busca semântica que a Microsoft anunciou no evento Copilot+.

Conforme observado pelo Windows Latest, a Microsoft destacou em uma postagem recente no blog que “Recall AI é alimentado pelo Windows Semantic Index”.

O benefício desse índice é que você pode interagir com ele usando linguagem natural. Em breve, os desenvolvedores poderão acessar Vector Embeddings e RAG API na Windows Copilot Library.

As primeiras demonstrações do Recall AI mostraram que ele usaria snapshots para ajudar você a encontrar qualquer coisa que você fez anteriormente no seu PC. A “Busca de mídia inteligente” seria um passo acima disso. Gostamos da ideia, mas, assim como o Recall AI, isso também será exclusivo para os PCs Copilot+, que estrearam em junho de 2024.

Os PCs Copilot+ têm o hardware necessário para executar modelos de IA localmente com 40 TOPS e NPUs acima. Não esperamos que o recurso chegue aos PCs Windows 11 regulares porque eles não têm o hardware necessário.

Integração de dev-party no Windows 11 AI

A Microsoft também quer estender os recursos de pesquisa em Linguagem Natural para desenvolvedores de aplicativos de terceiros.

Os desenvolvedores podem oferecer uma experiência de pesquisa em linguagem natural semelhante em seus aplicativos. Pense em um aplicativo financeiro onde você pode pesquisar uma ação passada usando linguagem natural. A resposta da pesquisa será mais rápida, pois todos os dados estarão presentes no PC.

O Recall AI está voltando em outubro de 2024 para testadores após um hiato de quatro meses. Você pode removê-lo por meio da caixa de diálogo Recursos Opcionais do Painel de Controle se não precisar dele.