Microsoft zou Windows 11 Search opnieuw kunnen definiëren met AI om door audio- en videobestanden te zoeken

Naast Recall werkt Microsoft aan een nieuwe Windows Search op basis van een semantische index die de problemen met de huidige zoekindex zou kunnen aanpakken. De nieuwe zoekmachine van Windows 11 zou AI kunnen gebruiken om uw lokale zoekresultaten aan te sturen en zelfs door audio- of videobestanden te zoeken.

De Recall-functie van Windows 11 was een van de belangrijkste hoogtepunten van Microsoft Copilot+ pc’s, maar het liep niet zoals het bedrijf had gehoopt. Na verontwaardiging vanwege privacy- en beveiligingsproblemen, trok Microsoft Windows Recall in en beloofde het in oktober weer terug te brengen nadat we contact met Microsoft hadden opgenomen.

Met Recall kunt u zoeken naar uw eerdere activiteiten, maar binnenkort kunt u met behulp van AI in Windows 11 ook door video- en audiobestanden bladeren.

Microsoft-onderzoeker Xeno ontdekte onlangs verwijzingen naar ‘Intelligent media search’ in Windows 11 Build 27695. Het bevat verschillende functieverwijzingen die wijzen op een AI-functie die kan zoeken naar inhoud in video- en audiobestanden.

Deze AI-magie zal werken na het downloaden van de relevante modellen, wat deze prestatie mogelijk zal maken. Het lijkt erop dat de functie eerst elk video-/audiobestand op uw pc zal transcriberen. Daarna kunt u een op inhoud gebaseerde zoekopdracht uitvoeren.

Windows Latest verwacht dat u kunt zoeken naar specifieke woorden die in een gesprek worden gezegd. U kunt bijvoorbeeld zoeken naar details zoals een projectnaam of belangrijke statistieken en relevante video’s/audiobestanden in dat resultaat zien verschijnen.

Het zou zelfs nog verder kunnen gaan en de exacte tijdstempel weergeven waarop het woord in het bestand voorkomt, of de relevantie ervan in het gesprek benadrukken.

Intelligent Media-zoeken zou gerelateerd kunnen zijn aan semantisch zoeken

Het is mogelijk dat de intelligente mediazoekfunctie verwant is aan de semantische zoekfunctie die Microsoft aankondigde tijdens het Copilot+-evenement.

Zoals Windows Latest opmerkte, wees Microsoft in een recent blogbericht erop dat “Recall AI wordt aangestuurd door Windows Semantic Index.”

Het voordeel van deze index is dat u ermee kunt interacteren met behulp van natuurlijke taal. Binnenkort kunnen ontwikkelaars toegang krijgen tot Vector Embeddings en RAG API in de Windows Copilot Library.

De eerste demo’s van Recall AI lieten zien dat het snapshots zou gebruiken om je te helpen alles te vinden wat je eerder op je pc hebt gedaan. De “Intelligent media search” zou daar nog een stapje bovenop zitten. We vinden het idee leuk, maar net als Recall AI zal dit ook exclusief zijn voor de Copilot+ pc’s, die in juni 2024 zijn gelanceerd.

Copilot+ pc’s hebben de benodigde hardware om AI-modellen lokaal te draaien met 40 TOPS en hogere NPU’s. We verwachten niet dat de functie op de reguliere Windows 11 pc’s zal verschijnen omdat ze de benodigde hardware missen.

Integratie van dev-party in Windows 11 AI

Microsoft wil ook de zoekfunctie voor natuurlijke taal uitbreiden naar externe app-ontwikkelaars.

Devs kunnen een vergelijkbare natuurlijke taalzoekervaring bieden in hun apps. Denk aan een financiële app waarin u kunt zoeken naar een eerdere actie met behulp van natuurlijke taal. De zoekrespons zal sneller zijn, omdat alle gegevens op de pc aanwezig zullen zijn.

Recall AI maakt in oktober 2024 een comeback voor testers na een hiaat van vier maanden. U kunt het verwijderen via het dialoogvenster Optionele functies van het Configuratiescherm als u het niet nodig hebt.