マイクロソフトは、音声ファイルや動画ファイルを検索するためにAIを搭載したWindows 11 Searchを再定義する可能性があります

Microsoft は、Recall に加えて、現在の検索インデックスの問題を解決できるセマンティック インデックスに基づく新しい Windows Search の開発に取り組んでいます。Windows 11 の新しい検索エンジンは、AI を使用してローカル検索結果を強化し、オーディオ ファイルやビデオ ファイルも検索できるようになります。

Windows 11 のリコール機能は、Microsoft Copilot+ PC の目玉機能の 1 つでしたが、同社の期待通りにはいきませんでした。プライバシーとセキュリティの問題による激しい反発を受けて、Microsoft は Windows リコールを中止し、私たちが Microsoft に連絡した後、10 月にリコールを再開することを約束しました。

Recall で過去のアクティビティを検索できるだけでなく、Windows 11 では AI を使用してビデオやオーディオ ファイルを精査することもまもなく可能になります。

Microsoft の研究員Xeno は最近、Windows 11 ビルド 27695 で「インテリジェント メディア検索」の参照を発見しました。これには、ビデオ ファイルやオーディオ ファイル内のコンテンツを検索できる AI 機能を指し示す機能参照がいくつか含まれています。

この AI マジックは、この偉業を可能にする関連モデルをダウンロードした後に機能します。この機能は、まず PC 上のすべてのビデオ/オーディオ ファイルを文字起こしするようです。その後、コンテンツ ベースの検索を実行できます。

Windows Latest では、会話で話された特定の単語を検索できることが想定されています。たとえば、プロジェクト名や重要な統計などの詳細を検索し、その結果に関連するビデオ/オーディオ ファイルを表示できます。

さらに、ファイル内で単語が出現した正確なタイムスタンプを表示したり、会話内での関連性を強調したりすることもできます。

インテリジェントメディア検索はセマンティック検索と関連している可能性がある

インテリジェント メディア検索は、Microsoft が Copilot+ イベントで発表したセマンティック検索に関連している可能性があります。

Windows Latest で指摘されているように、Microsoft は最近のブログ投稿で「Recall AI は Windows Semantic Index によって強化されています」と指摘しました。

このインデックスの利点は、自然言語を使用して操作できることです。開発者はまもなく、Windows Copilot ライブラリで Vector Embeddings と RAG API にアクセスできるようになります。

Recall AI の初期のデモでは、スナップショットを使用して、PC で以前に実行した操作をすべて見つけられることが示されていました。「インテリジェント メディア検索」は、それよりも一歩進んだものになります。このアイデアは気に入っていますが、Recall AI と同様に、これも 2024 年 6 月に発売される Copilot+ PC 専用になります。

Copilot+ PC には、40 TOPS 以上の NPU を備えた AI モデルをローカルで実行するために必要なハードウェアが搭載されています。通常の Windows 11 PC には必要なハードウェアがないため、この機能がこれらの PC に搭載されることは予想されません。

Windows 11 AI における開発者向け統合

Microsoft は、自然言語検索機能をサードパーティのアプリ開発者にも拡張したいと考えています。

開発者は、同様の自然言語検索エクスペリエンスをアプリで提供できます。自然言語を使用して過去のアクションを検索できる金融アプリを考えてみましょう。すべてのデータが PC 上に存在するため、検索応答が速くなります。

Recall AI は、4 か月の休止期間を経て、2024 年 10 月にテスター向けに復活します。必要ない場合は、コントロール パネルの [オプション機能] ダイアログ ボックスから削除できます。