Microsoft は、ユーザーが目で書くことを可能にする Eye-Gaze タイピング技術を開発中です

最近公開された特許によると、Microsoftは、ユーザーが目だけを使って入力したりアプリケーションを操作したりできるようにするEye-Gazeタイピング技術をリリースする可能性があるという。この特許は最近公開され、ここで読むことができる。

このテクノロジーは、いわゆる「滞留しない」タイピングを採用しており、ユーザーは画面上のキーを見るだけで入力できます。ただし、他のアプリケーションを見つめることによって、他のアプリケーションと対話するために使用することもできます。たとえば、ユーザーが Web ブラウザーのボタンを見ると、システムがそのボタンをクリックすることができます。

これは、このテクノロジーがドウェルフリー システムを使用してユーザーの視線を正確に認識し、解決策を提案するため、ユーザーが長時間ボタンを見つめる必要がないことを意味します。

このテクノロジーを Windows などのオペレーティング システムに採用すると、ユーザーは目を動かすことでオーディオの音量や明るさなどのさまざまな設定を制御できるようになります。これは特定のアプリケーションだけに限定されるものではなく、デバイスと対話する新しい方法として拡張できる可能性があります。

このテクノロジーの最も興味深い点は、ユーザー情報を収集してスマートな予測や提案を行う AI ベースのモデルも採用していることです。ユーザーがアプリケーションやオペレーティング システムを操作するときに特定の領域を見ている場合、テクノロジーはこれらの視線を特定のアクションに関連付けます。

Microsoft はまた、視線の場所に基づいて単語や動作を推測する、いわゆる予測プロセッサを使用して Eye-Gaze テクノロジーを予測できるようにしています。このテクノロジーは、スマートなアルゴリズムを使用して、ユーザーのアクションに迅速に応答します。

レドモンドに拠点を置くテクノロジー大手は、HoloLens ヘッドセットで視線テクノロジーを実験していますが、その場合、体験は複合現実環境で行われます。Apple の Vision Proデバイスも同様のテクノロジーを採用していますが、ユーザーは依然として複合現実環境で手の動きを必要としています。

ただし、このテクノロジは、携帯電話、タブレット、パーソナル コンピュータを含むがこれらに限定されないすべてのデバイスで採用され、テキスト メッセージング アプリや電子メール アプリなど、テキスト入力機能を持つあらゆるアプリケーションで実行できます。 、または検索エンジン アプリ。

Microsoft Edge や将来の AI ベースの Windows でこの種のテクノロジが期待できるでしょうか?