Microsoftは、高度にカスタマイズ可能なAIアシスタントであるUFOを次期Windowsに追加する可能性がある

Microsoft は最近、Windows を含むさまざまなオペレーティング システムに合わせたユーザーの要求を満たすことができる、高度にカスタマイズ可能な AI アシスタント UFO をリリースしました。

AI アシスタントは GPT-vision の機能に基づいており、その機能を使用して、グラフィカル ユーザー インターフェイス (GUI) や Windows アプリケーションの制御情報などのさまざまな視覚要素を視覚化して理解します。また、Windows ユーザーに追加の支援を提供できます。直接オーディオ入力。

言い換えれば、UFO は、ユーザーが Windows コンピュータ上の他のプログラムと対話するのに役立つ特別な種類のコンピュータ プログラムです。賢いシステムを使用して画面上で何が起こっているかを理解し、ボタンのクリックやテキストの入力などのタスクを実行できます。 UFO は人間の入力を必要とせずに、これらすべてを自動的に実行できます。

この AI ツールは Microsoft Research で働く研究者チームによって開発され、論文の全文はここで読むことができます。

要約には次のように書かれています。

Microsoft UFO は動作するために人による入力を必要としないだけでなく、各ユーザーに合わせてカスタマイズすることもできます。つまり、アシスタントを各 Windows ユーザーのニーズに合わせて高度にパーソナライズでき、ユーザーが操作しなくても特定のタスクを実行するように自動化できます。それを明示的に知らせること。

これは、 Windows が生き返るというアイデアと密接に関連しています。これは、Microsoft が AI ベースであると伝えられているWindows の次のバージョンで検討することに興味を持っている可能性があります。

Microsoft は UFO のオープンソース コードを GitHub で公開しており、ここで見つけることができます。

どう思いますか？ UFO を Windows アシスタントとして使いたいですか?以下のコメントセクションでお知らせください。

GPT-Vision の機能を利用して、Windows OS上のアプリケーションに合わせたユーザー要求を満たす革新的な UI に重点を置いたエージェントであるUFOを紹介します。 UFO は、デュアル エージェント フレームワークを採用して、Windows アプリケーションのグラフィカル ユーザー インターフェイス (GUI) と制御情報を注意深く観察および分析します。これにより、エージェントは、複数のアプリケーションにまたがる場合でも、個々のアプリケーション内およびアプリケーション間でシームレスに移動して操作し、ユーザー要求を満たすことができます。このフレームワークには制御対話モジュールが組み込まれており、人間の介入なしでアクションの実行が容易になり、完全に自動化された実行が可能になります。その結果、UFO は、困難で時間のかかるプロセスを、自然言語コマンドだけで達成できる単純なタスクに変換します。私たちは、ユーザーの日常的な使用状況を反映したさまざまなシナリオを網羅して、9 つの人気のある Windows アプリケーションにわたって UFO のテストを実施しました。定量的指標と実際の事例研究の両方から得られた結果は、ユーザーの要求を満たす上での UFO の優れた有効性を強調しています。私たちの知る限り、UFO は、Windows OS 環境内でタスクを完了するために特別に調整された最初の UI エージェントです。

マイクロソフトリサーチ