Microsoft może zdefiniować na nowo wyszukiwanie w systemie Windows 11, wykorzystując sztuczną inteligencję do przeszukiwania plików audio i wideo

Oprócz Recall, Microsoft pracuje nad nową wyszukiwarką Windows opartą na indeksie semantycznym, która mogłaby rozwiązać problemy z obecnym indeksem wyszukiwania. Nowa wyszukiwarka Windows 11 mogłaby wykorzystywać sztuczną inteligencję do zasilania lokalnych wyników wyszukiwania, a nawet przeglądania plików audio lub wideo.

Funkcja Recall systemu Windows 11 była jednym z flagowych atutów komputerów Microsoft Copilot+, ale sprawy nie potoczyły się tak, jak firma się spodziewała. Po oburzeniu z powodu problemów z prywatnością i bezpieczeństwem Microsoft wycofał funkcję Windows Recall i obiecał przywrócić ją w październiku po tym, jak skontaktowaliśmy się z Microsoftem.

Chociaż funkcja Recall umożliwia przeszukiwanie wcześniejszych działań, wkrótce możliwe będzie również przeszukiwanie plików wideo i audio za pomocą sztucznej inteligencji w systemie Windows 11.

Badacz z Microsoftu, Xeno, niedawno zauważył odniesienia do „inteligentnego wyszukiwania multimediów” w kompilacji 27695 systemu Windows 11. Zawiera ona kilka odniesień do funkcji, które wskazują na funkcję AI, która może wyszukiwać zawartość w plikach wideo i audio.

Ta magia AI zadziała po pobraniu odpowiednich modeli, co umożliwi ten wyczyn. Wygląda na to, że funkcja najpierw przepisze każdy plik wideo/audio na Twoim komputerze. Następnie możesz przeprowadzić wyszukiwanie oparte na treści.

Najnowsze wersje systemu Windows oczekują, że możesz wyszukiwać określone słowa wypowiadane w konwersacji. Na przykład możesz wyszukiwać szczegóły, takie jak nazwa projektu lub ważne statystyki i zobaczyć, że w wynikach pojawiają się odpowiednie pliki wideo/audio.

Można nawet pójść dalej i wyświetlić dokładny znacznik czasu, kiedy dane słowo pojawia się w pliku, lub podkreślić jego znaczenie w konwersacji.

Inteligentne wyszukiwanie w mediach może być powiązane z wyszukiwaniem semantycznym

Możliwe, że inteligentne wyszukiwanie multimediów będzie powiązane z wyszukiwaniem semantycznym, które Microsoft ogłosił na wydarzeniu Copilot+.

Jak zauważył serwis Windows Latest, firma Microsoft w niedawnym wpisie na blogu wskazała, że ​​„Recall AI opiera się na systemie Windows Semantic Index”.

Zaletą tego indeksu jest to, że można z nim wchodzić w interakcję za pomocą języka naturalnego. Już wkrótce programiści będą mogli uzyskać dostęp do Vector Embeddings i RAG API w bibliotece Windows Copilot.

Wczesne dema Recall AI pokazały, że aplikacja będzie używać migawek, aby pomóc Ci znaleźć wszystko, co wcześniej zrobiłeś na swoim komputerze. „Inteligentne wyszukiwanie multimediów” byłoby krokiem naprzód. Podoba nam się ten pomysł, ale podobnie jak Recall AI, będzie on również dostępny wyłącznie na komputerach Copilot+, które zadebiutowały w czerwcu 2024 r.

Komputery Copilot+ mają niezbędny sprzęt do lokalnego uruchamiania modeli AI z 40 TOPS i wyższymi NPU. Nie spodziewamy się, że ta funkcja pojawi się na zwykłych komputerach z systemem Windows 11, ponieważ brakuje im niezbędnego sprzętu.

Integracja z zespołem deweloperskim w systemie Windows 11 AI

Firma Microsoft chce również udostępnić możliwość wyszukiwania w języku naturalnym zewnętrznym twórcom aplikacji.

Deweloperzy mogą oferować podobne doświadczenie wyszukiwania w języku naturalnym w swoich aplikacjach. Pomyśl o aplikacji finansowej, w której możesz wyszukiwać przeszłe działania za pomocą języka naturalnego. Odpowiedź wyszukiwania będzie szybsza, ponieważ wszystkie dane będą obecne na komputerze.

Recall AI powraca w październiku 2024 r. dla testerów po czteromiesięcznej przerwie. Możesz usunąć go za pomocą okna dialogowego Opcjonalne funkcje w Panelu sterowania, jeśli go nie potrzebujesz.