L’ultimo brevetto di Microsoft genera avatar virtuali iperreali basati sui volti degli utenti

Microsoft ha qualcosa a che fare con gli avatar virtuali: la sua piattaforma Mesh recentemente rilasciata consente agli utenti di Teams di creare avatar per impegnarsi nei cosiddetti spazi immersivi virtuali, che sono contesti in cui i dipendenti possono stare insieme, virtualmente, anche se sono a chilometri di distanza.

Microsoft Mesh è davvero una piattaforma divertente e il colosso tecnologico con sede a Redmond afferma che funziona: molti dipendenti Microsoft provano un senso di legame mentre sono lì. Ma allo stesso tempo sembra strano: gli avatar in stile cartone animato, sebbene carini e tutto il resto, sembrano spostati.

Tuttavia, sembra che il gigante tecnologico con sede a Redmond stia già lavorando ad un aggiornamento. L’azienda ha recentemente pubblicato un brevetto che descrive una tecnologia in grado di generare avatar virtuali iperreali basati sui volti degli utenti.

La tecnologia si chiama Modellazione e tracciamento tridimensionale multimodale del viso per la generazione di avatar espressivi e descrive un sistema informatico che crea avatar espressivi utilizzando la modellazione e il tracciamento del viso 3D.

Il sistema informatico dispone di un processore e di un proprio sistema di archiviazione, che elabora e conserva i dati necessari per modellare l’avatar virtuale iperreale. Conserva anche le istruzioni su come renderli.

Il processore riceve quindi i dati di inizializzazione, che rappresentano l’aspetto iniziale di un modello facciale, e ulteriori segnali di dati multimodali, che possono essere dati audio (come la voce dell’utente), che verranno utilizzati per creare un modello iperrealista di la faccia.

I dati di inizializzazione e multimodali vengono quindi rilevati dal sistema ed elaborati insieme in un processo di adattamento. Questo processo adatta i dati per adattarli al modello. Sulla base del processo di adattamento, il sistema determina quindi una serie di parametri, che vengono utilizzati per descrivere l’avatar virtuale iperreale.

Il sistema utilizza il deep learning per creare un avatar virtuale dettagliato che appare, agisce ed è capace di espressioni facciali simili o identiche al volto dell’utente. Il deep learning è una forma di tecnologia AI che cerca di emulare il più possibile il cervello umano e Microsoft ha investito in essa negli ultimi anni.

Poiché si tratta di un sistema informatico, l’articolo menziona la possibilità di integrarlo su una vasta gamma di dispositivi, dai visori VR/AR/MR ai telefoni cellulari, laptop, console di gioco, tablet e molti altri, il che significa che gli utenti potrebbero avere un dispositivo pronti a trasportare i propri avatar virtuali in uno spazio virtuale simile a Meta o Mesh.

Microsoft potrebbe cercare di implementare questo nuovo sistema di avatar virtuali iperreali nelle piattaforme esistenti, come Microsoft Teams, Microsoft Mesh o persino Windows.

Anche se gli spazi virtuali esistono già, per ora non sono così popolari a causa delle loro capacità limitanti, ma un sistema come questo può incoraggiare più persone a unirsi agli spazi virtuali.

Anche l’industria dei giochi potrebbe trarre vantaggio da questa tecnologia, consentendo agli utenti di personalizzare i propri personaggi in base al loro aspetto, fornendo anche un’esperienza di gioco altamente personalizzata.

Il documento completo può essere letto qui .

Il framework utilizza tecniche di deep learning e modellazione avanzata per eseguire un processo di adattamento parametrico che traduce i segnali di dati multimodali in un insieme di parametri o codice di espressione che può essere utilizzato per generare un modello facciale 3D espressivo.

Microsoft

Le tecniche di modellazione e tracciamento del volto 3D creano vertici 3D basati sul volto di un utente e applicano trasformazioni ai vertici da un volto neutro per rappresentare espressioni su un modello facciale digitale (ad esempio, una rappresentazione avatar del volto dell’utente).

Microsoft

Le tecniche multimodali di modellazione e tracciamento del volto 3D possono utilizzare più dispositivi sensori diversi, ciascuno dei quali fornisce uno o più segnali di input e/o misurazioni per il volto di un utente per rilevare, modellare, tracciare e/o animare graficamente un modello di volto tridimensionale come avatar .

Microsoft