A mais recente patente da Microsoft gera avatares virtuais hiper-reais baseados nos rostos dos usuários

A Microsoft tem uma coisa com avatares virtuais: sua plataforma Mesh, lançada recentemente, permite que os usuários do Teams criem avatares para participar dos chamados espaços virtuais imersivos, que são contextos onde os funcionários podem sair juntos, virtualmente, mesmo que estejam a quilômetros de distância.

O Microsoft Mesh é de fato uma plataforma divertida, e a gigante da tecnologia com sede em Redmond diz que está funcionando: muitos funcionários da Microsoft sentem uma sensação de vínculo enquanto estão por aí. Mas, ao mesmo tempo, parece estranho: os avatares em formato de desenho animado, embora fofos e tudo mais, parecem deslocados.

No entanto, parece que a gigante da tecnologia com sede em Redmond já pode estar trabalhando em uma atualização. A empresa publicou recentemente uma patente que descreve uma tecnologia capaz de gerar avatares virtuais hiper-reais baseados nos rostos dos usuários.

A tecnologia é chamada de modelagem e rastreamento facial tridimensional multimodal para geração de avatares expressivos e descreve um sistema de computador que cria avatares expressivos usando modelagem e rastreamento facial 3D.

O sistema computacional possui um processador e um sistema de armazenamento próprio, que processa e armazena os dados necessários para modelar o avatar virtual hiperreal. Ele também mantém instruções sobre como renderizá-los.

O processador então recebe dados de inicialização, que são a aparência inicial de um modelo facial, e sinais de dados multimodais adicionais, que podem ser dados de áudio (como a voz do usuário), que serão usados ​​para criar um modelo hiperrealista de o rosto.

Os dados de inicialização e multimodais são então obtidos pelo sistema e processados ​​juntos em um processo de ajuste. Este processo ajusta os dados para se adequarem ao modelo. Com base no processo de ajuste, o sistema determina então um conjunto de parâmetros, que são usados ​​para descrever o avatar virtual hiperreal.

O sistema usa aprendizado profundo para criar um avatar virtual detalhado que parece, age e é capaz de expressões faciais semelhantes ou idênticas ao rosto do usuário. O aprendizado profundo é uma forma de tecnologia de IA que busca emular o cérebro humano tanto quanto possível, e a Microsoft tem investido nisso nos últimos anos.

Por se tratar de um sistema de computador, o artigo menciona a capacidade de integrá-lo a uma infinidade de dispositivos, desde fones de ouvido VR/AR/MR até telefones celulares, laptops, consoles de jogos, tablets e muitos mais, o que significa que os usuários podem ter um dispositivo prontos para transportar seus avatares virtuais para um espaço virtual semelhante a Meta ou Mesh.

A Microsoft pode tentar implementar este novo sistema de avatar virtual hiper-real em plataformas existentes, como Microsoft Teams, Microsoft Mesh ou mesmo Windows.

Embora já existam espaços virtuais, eles não são tão populares, por enquanto, devido às suas capacidades limitadas, mas um sistema como este pode incentivar mais pessoas a aderirem a espaços virtuais.

A indústria de jogos também poderia se beneficiar dessa tecnologia, permitindo aos usuários personalizar seus personagens com base em sua aparência, proporcionando também uma experiência de jogo altamente personalizada.

O artigo completo pode ser lido aqui .

A estrutura utiliza técnicas de aprendizagem profunda e modelagem direta para realizar um processo de ajuste paramétrico que traduz os sinais de dados multimodais em um conjunto de parâmetros ou código de expressão que pode ser usado para gerar um modelo facial 3D expressivo.

Microsoft

As técnicas de modelagem e rastreamento de faces 3D criam vértices 3D com base na face de um usuário e aplicam transformações aos vértices de uma face neutra para representar expressões em um modelo de face digital (por exemplo, uma representação de avatar da face do usuário).

Microsoft

As técnicas multimodais de modelagem e rastreamento facial 3D podem utilizar vários dispositivos sensores diferentes, cada um fornecendo um ou mais sinais de entrada e/ou medições para o rosto de um usuário para detectar, modelar, rastrear e/ou animar graficamente um modelo facial tridimensional como um avatar .

Microsoft