Microsoft는 AI로 Windows 11 검색을 재정의하여 오디오 및 비디오 파일을 검색할 수 있습니다.

Recall 외에도 Microsoft는 현재 검색 인덱스의 문제를 해결할 수 있는 의미 인덱스를 기반으로 하는 새로운 Windows Search를 개발하고 있습니다. Windows 11의 새로운 검색 엔진은 AI를 사용하여 로컬 검색 결과를 제공하고 오디오나 비디오 파일을 살펴볼 수도 있습니다.

Windows 11의 Recall 기능은 Microsoft Copilot+ PC의 주요 하이라이트 중 하나였지만, 회사가 바라던 대로 일이 진행되지 않았습니다. 개인 정보 보호 및 보안 문제로 인해 분노한 후, Microsoft는 Windows Recall을 철회하고 Microsoft에 연락한 후 10월에 다시 출시하겠다고 약속했습니다.

Recall을 사용하여 과거 활동을 검색할 수 있지만, Windows 11에서는 AI를 사용하여 비디오 및 오디오 파일을 검색할 수도 있습니다.

Microsoft 연구원 Xeno는 최근 Windows 11 Build 27695에서 “지능형 미디어 검색” 참조를 발견했습니다. 여기에는 비디오 및 오디오 파일 내에서 콘텐츠를 검색할 수 있는 AI 기능을 가리키는 여러 기능 참조가 포함되어 있습니다.

이 AI 마법은 관련 모델을 다운로드한 후에 작동하며, 이를 통해 이 업적이 가능해집니다. 이 기능은 먼저 PC의 모든 비디오/오디오 파일을 필사하는 것으로 보입니다. 그 후에 콘텐츠 기반 검색을 수행할 수 있습니다.

Windows Latest에서는 대화에서 말한 특정 단어를 검색할 수 있다고 기대합니다. 예를 들어, 프로젝트 이름이나 중요한 통계와 같은 세부 정보를 검색하면 해당 결과에 관련 비디오/오디오 파일이 표시됩니다.

그보다 더 나아가 파일에서 해당 단어가 등장하는 정확한 타임스탬프를 표시하거나 대화에서 해당 단어의 관련성을 강조할 수도 있습니다.

지능형 미디어 검색은 의미 검색과 관련될 수 있습니다.

지능형 미디어 검색은 Microsoft가 Copilot+ 이벤트에서 발표한 의미 검색과 관련이 있을 가능성이 있습니다.

Windows Latest에서 알아차린 바와 같이 Microsoft는 최근 블로그 게시물 에서 “Recall AI는 Windows Semantic Index로 구동됩니다.”라고 지적했습니다 .

이 인덱스의 이점은 자연어를 사용하여 상호 작용할 수 있다는 것입니다. 곧 개발자는 Windows Copilot Library에서 Vector Embeddings 및 RAG API에 액세스할 수 있습니다.

Recall AI의 초기 데모에서는 스냅샷을 사용하여 이전에 PC에서 수행한 모든 작업을 찾는 데 도움이 된다는 것을 보여주었습니다. “지능형 미디어 검색”은 그보다 한 단계 더 나아갈 것입니다. 우리는 이 아이디어를 좋아하지만 Recall AI와 마찬가지로 이 기능도 2024년 6월에 출시된 Copilot+ PC에만 국한될 것입니다.

Copilot+ PC는 40 TOPS 이상의 NPU로 AI 모델을 로컬에서 실행하는 데 필요한 하드웨어를 갖추고 있습니다. 필요한 하드웨어가 없기 때문에 일반 Windows 11 PC에는 이 기능이 도입되지 않을 것으로 예상합니다.

Windows 11 AI의 Dev-party 통합

Microsoft는 타사 앱 개발자에게 자연어 검색 기능을 확장하려고 합니다.

개발자는 앱에서 유사한 자연어 검색 환경을 제공할 수 있습니다. 자연어를 사용하여 과거 작업을 검색할 수 있는 금융 앱을 생각해 보세요. 모든 데이터가 PC에 있으므로 검색 응답이 더 빨라질 것입니다.

Recall AI는 4개월간의 중단 후 2024년 10월에 테스터를 위해 다시 돌아옵니다. 필요하지 않으면 제어판의 옵션 기능 대화 상자를 통해 제거할 수 있습니다.