Het nieuwste patent van Microsoft genereert hyperrealistische virtuele avatars op basis van de gezichten van gebruikers

Microsoft heeft iets met virtuele avatars: met het onlangs uitgebrachte Mesh-platform kunnen Teams-gebruikers avatars maken om deel te nemen aan zogenaamde virtuele immersieve ruimtes, dit zijn contexten waar werknemers virtueel samen kunnen rondhangen, ook al zijn ze kilometers ver van elkaar verwijderd.

Microsoft Mesh is inderdaad een leuk platform, en de in Redmond gevestigde technologiegigant zegt dat het werkt: veel Microsoft-werknemers voelen een gevoel van verbondenheid terwijl ze daar rondhangen. Maar tegelijkertijd voelt het vreemd aan: de cartoonachtige avatars, hoewel schattig en zo, lijken ontheemd.

Het lijkt er echter op dat de in Redmond gevestigde technologiegigant al aan een update werkt. Het bedrijf heeft onlangs een patent gepubliceerd dat een technologie beschrijft die hyperreële virtuele avatars kan genereren op basis van de gezichten van gebruikers.

De technologie heet Multi-modal Three-Dimensional Face Modeling and Tracking for Generating Expressive Avatars en beschrijft een computersysteem dat expressieve avatars creëert met behulp van 3D-gezichtsmodellering en -tracking.

Het computersysteem heeft een eigen processor en een eigen opslagsysteem, dat de gegevens verwerkt en bewaart die nodig zijn om de hyperreële virtuele avatar te modelleren. Het houdt ook instructies bij over hoe u ze kunt weergeven.

De processor ontvangt vervolgens initialisatiegegevens, wat het beginbeeld is van een gezichtsmodel, en aanvullende multimodale gegevenssignalen, wat audiogegevens kunnen zijn (zoals de stem van de gebruiker), die zullen worden gebruikt om een ​​hyperrealistisch model van gezicht te creëren. het gezicht.

De initialisatie- en multimodale gegevens worden vervolgens door het systeem overgenomen en samen in een passend proces verwerkt. Dit proces past de gegevens aan zodat ze in het model passen. Op basis van het aanpassingsproces bepaalt het systeem vervolgens een reeks parameters die worden gebruikt om de hyperreële virtuele avatar te beschrijven.

Het systeem maakt gebruik van deep learning om een ​​gedetailleerde virtuele avatar te creëren die er uitziet, handelt en gezichtsuitdrukkingen kan vertonen die vergelijkbaar zijn met of identiek zijn aan het gezicht van de gebruiker. Deep learning is een vorm van AI-technologie die het menselijk brein zoveel mogelijk probeert na te bootsen, en Microsoft heeft daarin de afgelopen jaren geïnvesteerd.

Omdat dit een computersysteem is, vermeldt het artikel de mogelijkheid om het op een groot aantal apparaten te integreren, van VR/AR/MR-headsets tot mobiele telefoons, laptops, gameconsoles, tabletcomputers en nog veel meer, wat betekent dat gebruikers een apparaat kunnen hebben klaar om hun virtuele avatars naar een meta-achtige of mesh-achtige virtuele ruimte te transporteren.

Microsoft zou kunnen proberen dit nieuwe hyperreële virtuele avatarsysteem te implementeren in bestaande platforms, zoals Microsoft Teams, Microsoft Mesh of zelfs Windows.

Hoewel er al virtuele ruimtes bestaan, zijn ze voorlopig niet zo populair vanwege hun beperkende mogelijkheden, maar een systeem als dit kan meer mensen aanmoedigen om zich bij virtuele ruimtes aan te sluiten.

De game-industrie zou ook kunnen profiteren van deze technologie, waardoor gebruikers hun personages kunnen aanpassen op basis van hun uiterlijk, wat ook een zeer persoonlijke game-ervaring oplevert.

Het volledige artikel kunt u hier lezen .

Het raamwerk maakt gebruik van deep learning-technieken en voorwaartse modellering om een ​​parametrisch aanpassingsproces uit te voeren dat de multimodale datasignalen vertaalt naar een reeks parameters of expressiecodes die kunnen worden gebruikt om een ​​expressief 3D-gezichtsmodel te genereren.

Microsoft

3D-gezichtsmodellerings- en trackingtechnieken creëren 3D-hoekpunten op basis van het gezicht van een gebruiker en passen transformaties toe op de hoekpunten van een neutraal gezicht om uitdrukkingen weer te geven op een digitaal gezichtsmodel (bijvoorbeeld een avatarweergave van het gezicht van de gebruiker).

Microsoft

Multimodale 3D-gezichtsmodellerings- en trackingtechnieken kunnen gebruik maken van meerdere verschillende sensorapparaten, die elk een of meer invoersignalen en/of metingen leveren voor het gezicht van een gebruiker om een ​​driedimensionaal gezichtsmodel grafisch als een avatar te detecteren, modelleren, volgen en/of animeren .

Microsoft