マイクロソフトの最新特許は、ユーザーの顔に基づいて超リアルな仮想アバターを生成する

マイクロソフトは仮想アバターに力を入れている。最近リリースされた Mesh プラットフォームでは、Teams ユーザーがアバターを作成して、いわゆる仮想没入型空間に参加できる。仮想没入型空間とは、従業員が何マイルも離れていても、仮想的に一緒に過ごすことができる環境である。

Microsoft Mesh は確かに楽しいプラットフォームであり、レドモンドに本社を置くこのテクノロジー大手は、それがうまくいっていると述べている。多くの Microsoft 社員は、そこで過ごしている間に絆を感じている。しかし同時に、違和感も感じている。漫画のようなアバターは、かわいくていいのだが、どこか場違いに思えるのだ。

しかし、レドモンドに拠点を置くこのテクノロジー大手は、すでにアップデートに取り組んでいるようだ。同社は最近、ユーザーの顔に基づいて超リアルな仮想アバターを生成できる技術を説明する特許を公開した。

この技術は、「表情豊かなアバターを生成するためのマルチモーダル 3 次元顔モデリングおよびトラッキング」と呼ばれ、3D 顔モデリングとトラッキングを使用して表情豊かなアバターを作成するコンピューター システムについて説明します。

コンピュータ システムには独自のプロセッサとストレージ システムがあり、ハイパーリアルな仮想アバターをモデル化するために必要なデータを処理して保存します。また、データをレンダリングする方法に関する指示も保存します。

次に、プロセッサは、顔モデルの開始時の外観である初期化データと、顔のハイパーリアリスト モデルを作成するために使用されるオーディオ データ (ユーザーの音声など) などの追加のマルチモーダル データ信号を受け取ります。

初期化データとマルチモーダル データはシステムによって取得され、フィッティング プロセスで一緒に処理されます。このプロセスでは、モデルに適合するようにデータを調整します。フィッティング プロセスに基づいて、システムはハイパーリアルな仮想アバターを記述するために使用される一連のパラメーターを決定します。

このシステムはディープラーニングを使用して、ユーザーの顔と似ているか同一の外見、動作、表情を持つ詳細な仮想アバターを作成します。ディープラーニングは、人間の脳を可能な限り模倣することを目指す AI 技術の一種で、マイクロソフトはここ数年間これに投資してきました。

これはコンピュータ システムであるため、論文では、VR/AR/MR ヘッドセットから携帯電話、ラップトップ、ゲーム コンソール、タブレット コンピュータなど、さまざまなデバイスに統合できることが言及されています。つまり、ユーザーは仮想アバターを Meta のような仮想空間または Mesh のような仮想空間に転送できるデバイスをすぐに手に入れることができるということです。

Microsoft は、この新しい超現実的な仮想アバター システムを、Microsoft Teams、Microsoft Mesh、さらには Windows などの既存のプラットフォームに実装することを検討している可能性があります。

仮想空間はすでに存在しているものの、機能が限られているため今のところそれほど普及していませんが、このようなシステムがあれば、より多くの人が仮想空間に参加するよう促すことができます。

ゲーム業界もこの技術の恩恵を受けることができ、ユーザーは外見に基づいてキャラクターをカスタマイズできるようになり、高度にパーソナライズされたゲーム体験も提供できるようになります。

論文全文はここからお読みいただけます。

このフレームワークは、ディープラーニング技術とフォワードモデリングを利用して、マルチモーダルデータ信号を、表現力豊かな 3D 顔モデルの生成に使用できる一連のパラメータまたは表現コードに変換するパラメトリックフィッティングプロセスを実行します。

マイクロソフト

3D 顔モデリングおよび追跡技術では、ユーザーの顔に基づいて 3D 頂点を作成し、ニュートラルな顔から頂点に変換を適用して、デジタル顔モデル (ユーザーの顔のアバター表現など) に表情を描写します。

マイクロソフト

マルチモーダル 3D 顔モデリングおよび追跡技術では、複数の異なるセンサー デバイスを利用できます。各センサー デバイスは、ユーザーの顔に対して 1 つ以上の入力信号や測定値を提供し、3 次元顔モデルをアバターとしてグラフィカルに検出、モデリング、追跡、およびアニメーション化します。

マイクロソフト