Microsoft könnte die Windows 11-Suche mit KI neu definieren, um Audio- und Videodateien zu durchsuchen

Zusätzlich zu Recall arbeitet Microsoft an einer neuen Windows-Suche auf Basis eines semantischen Indexes, der die Probleme des aktuellen Suchindexes beheben könnte. Die neue Suchmaschine von Windows 11 könnte KI nutzen, um Ihre lokalen Suchergebnisse zu unterstützen und sogar Audio- oder Videodateien zu durchsuchen.

Die Recall-Funktion von Windows 11 war eines der wichtigsten Highlights der Microsoft Copilot+-PCs, aber die Dinge liefen nicht so, wie das Unternehmen es sich erhofft hatte. Nach Empörung aufgrund von Datenschutz- und Sicherheitsproblemen zog Microsoft Windows Recall zurück und versprach, es im Oktober wieder einzuführen, nachdem wir Microsoft kontaktiert hatten.

Während Sie mit Recall Ihre vergangenen Aktivitäten durchsuchen können, könnten Sie mithilfe der KI in Windows 11 bald sogar Video- und Audiodateien durchforsten.

Der Microsoft-Forscher Xeno hat kürzlich in Windows 11 Build 27695 Verweise auf die „Intelligente Mediensuche“ entdeckt. Darin sind mehrere Funktionsverweise enthalten, die auf eine KI-Funktion hinweisen, mit der in Video- und Audiodateien nach Inhalten gesucht werden kann.

Diese KI-Magie funktioniert nach dem Herunterladen der entsprechenden Modelle, die dieses Kunststück möglich machen. Es scheint, dass die Funktion zunächst jede Video-/Audiodatei auf Ihrem PC transkribiert. Danach können Sie eine inhaltsbasierte Suche durchführen.

Windows Latest geht davon aus, dass Sie nach bestimmten Wörtern suchen können, die in einer Unterhaltung gesagt wurden. Sie können beispielsweise nach Details wie einem Projektnamen oder einer wichtigen Statistik suchen und in diesem Ergebnis relevante Videos/Audiodateien angezeigt bekommen.

Es könnte sogar noch weiter gehen und den genauen Zeitstempel anzeigen, wann das Wort in der Datei erscheint, oder seine Relevanz im Gespräch hervorheben.

Intelligente Mediensuche könnte mit semantischer Suche verwandt sein

Möglicherweise hängt die intelligente Mediensuche mit der semantischen Suche zusammen, die Microsoft auf der Copilot+-Veranstaltung angekündigt hat.

Wie Windows Latest bemerkte, wies Microsoft in einem aktuellen Blog-Beitrag darauf hin , dass „Recall AI durch den Windows Semantic Index unterstützt wird.“

Der Vorteil dieses Indexes besteht darin, dass Sie mithilfe natürlicher Sprache mit ihm interagieren können. Bald können Entwickler in der Windows Copilot Library auf Vector Embeddings und RAG API zugreifen.

Die ersten Demos von Recall AI zeigten, dass es Snapshots verwenden würde, um Ihnen zu helfen, alles zu finden, was Sie zuvor auf Ihrem PC getan haben. Die „Intelligente Mediensuche“ wäre noch einen Schritt weiter. Uns gefällt die Idee, aber wie Recall AI wird auch dies exklusiv den Copilot+-PCs vorbehalten sein, die im Juni 2024 auf den Markt kommen.

Copilot+-PCs verfügen über die notwendige Hardware, um KI-Modelle lokal mit 40 TOPS und mehr NPUs auszuführen. Wir gehen nicht davon aus, dass die Funktion auf den regulären Windows 11-PCs verfügbar sein wird, da ihnen die erforderliche Hardware fehlt.

Entwicklerintegration in Windows 11 AI

Microsoft möchte die Suchfunktionen in natürlicher Sprache außerdem auf externe App-Entwickler ausweiten.

Entwickler können in ihren Apps eine ähnliche Suchfunktion in natürlicher Sprache anbieten. Denken Sie an eine Finanz-App, in der Sie in natürlicher Sprache nach einer vergangenen Aktion suchen können. Die Suchergebnisse werden schneller sein, da alle Daten auf dem PC vorhanden sind.

Recall AI feiert im Oktober 2024 nach einer viermonatigen Pause ein Comeback für Tester. Sie können es über das Dialogfeld „Optionale Funktionen“ der Systemsteuerung entfernen, wenn Sie es nicht benötigen.