微軟最新專利根據使用者臉部產生超真實虛擬頭像

微軟對虛擬化身很感興趣：其最近發布的 Mesh 平台允許 Teams 用戶創建化身來參與所謂的虛擬沉浸式空間，在這些空間中，員工可以虛擬地在一起閒逛，即使他們相距數英里。

Microsoft Mesh 確實是一個有趣的平台，這家總部位於雷德蒙的科技巨頭表示它正在發揮作用：許多微軟員工在閒逛時感受到了一種聯繫感。但同時又讓人感覺不太對勁：卡通化的頭像雖然很可愛，但似乎有些移位。

然而，這家總部位於雷德蒙的科技巨頭似乎已經在進行更新。該公司最近發布了一項專利，描述了一種能夠根據用戶臉部生成超真實虛擬化身的技術。

該技術被稱為“用於生成富有表現力的化身的多模態三維面部建模和跟踪”，描述了一種使用 3D 面部建模和跟踪來創建富有表現力的化身的計算機系統。

電腦系統擁有自己的處理器和儲存系統，用於處理和保存對超現實虛擬化身進行建模所需的資料。它還保留有關如何渲染它們的說明。

然後，處理器接收初始化資料（臉部模型的起始外觀）和附加多模態資料訊號（可以是音訊資料（例如使用者的聲音）），用於建立臉部模型的超現實主義模型。

然後系統取得初始化數據和多模態數據，並在擬合過程中一起處理。此過程調整資料以適應模型。根據擬合過程，系統確定一組參數，用於描述超真實的虛擬化身。

該系統使用深度學習來設計一個詳細的虛擬化身，其外觀、行為以及面部表情與使用者的面部相似或相同。深度學習是人工智慧技術的一種形式，旨在盡可能地模擬人腦，微軟在過去幾年中一直在投資它。

由於這是一個電腦系統，論文提到了將其整合到大量設備上的能力，從 VR/AR/MR 耳機到手機、筆記型電腦、遊戲機、平板電腦等等，這意味著用戶可以擁有一個設備準備好將他們的虛擬化身傳輸到類元或類網格的虛擬空間。

微軟可能會尋求在現有平台（例如 Microsoft Teams、Microsoft Mesh，甚至 Windows）中實現這種新的超真實虛擬化身係統。

儘管虛擬空間已經存在，但由於其功能有限，目前還沒有那麼流行，但是像這樣的系統可以鼓勵更多的人加入虛擬空間。

遊戲產業也可以從這項技術中受益，讓用戶可以根據自己的外表自訂角色，從而提供高度個人化的遊戲體驗。

全文可在此處閱讀。

該框架利用深度學習技術和正向建模來執行參數擬合過程，將多模態資料訊號轉換為一組可用於產生富有表現力的 3D 臉部模型的參數或表達代碼。

微軟

3D臉部建模和追蹤技術是基於使用者的臉部創建3D頂點，並對中性臉部的頂點應用變換以描繪數位臉部模型上的表情（例如，使用者臉部的化身表示）。

微軟

多模態3D 臉部建模和追蹤技術可以利用多個不同的感測器設備，每個感測器設備為使用者的臉部提供一個或多個輸入訊號和/或測量結果，以圖形方式檢測、建模、追蹤和/或動畫化三維臉部模型作為化身。

微軟