Najnowszy patent Microsoftu generuje hiperrealistyczne wirtualne awatary na podstawie twarzy użytkowników

Microsoft ma słabość do wirtualnych awatarów: niedawno wydana platforma Mesh umożliwia użytkownikom aplikacji Teams tworzenie awatarów do angażowania się w tak zwane wirtualne przestrzenie immersyjne, czyli konteksty, w których pracownicy mogą spędzać razem czas wirtualnie, nawet jeśli są od siebie oddaleni o wiele kilometrów.

Microsoft Mesh to naprawdę fajna platforma, a gigant technologiczny z Redmond twierdzi, że działa: wielu pracowników Microsoft czuje więź, spędzając tam czas. Ale jednocześnie jest to nieprzyjemne: awatary przypominające kreskówkę, choć urocze i w ogóle, wydają się przemieszczone.

Wygląda jednak na to, że gigant technologiczny z Redmond może już pracować nad aktualizacją. Firma opublikowała niedawno patent opisujący technologię zdolną do generowania hiperrealistycznych wirtualnych awatarów na podstawie twarzy użytkowników.

Technologia ta nosi nazwę Multimodalne trójwymiarowe modelowanie i śledzenie twarzy w celu generowania wyrazistych awatarów i opisuje system komputerowy, który tworzy wyraziste awatary za pomocą modelowania i śledzenia twarzy 3D.

System komputerowy posiada własny procesor i system przechowywania danych, które przetwarzają i przechowują dane potrzebne do modelowania hiperrealistycznego wirtualnego awatara. Zawiera także instrukcje dotyczące ich renderowania.

Procesor otrzymuje następnie dane inicjujące, czyli początkowy wygląd modelu twarzy, oraz dodatkowe wielomodalne sygnały danych, którymi mogą być dane audio (takie jak głos użytkownika), które zostaną wykorzystane do stworzenia hiperrealistycznego modelu twarzy. twarz.

Dane inicjalizacyjne i multimodalne są następnie pobierane przez system i przetwarzane razem w procesie dopasowania. Proces ten dostosowuje dane do modelu. Na podstawie procesu dopasowania system określa następnie zestaw parametrów, które służą do opisu hiperrealistycznego wirtualnego awatara.

System wykorzystuje głębokie uczenie się, aby stworzyć szczegółowy wirtualny awatar, który wygląda, zachowuje się i może mieć mimikę podobną lub identyczną do twarzy użytkownika. Głębokie uczenie się to forma technologii sztucznej inteligencji, która stara się w jak największym stopniu naśladować ludzki mózg, w co Microsoft inwestuje w tę technologię od kilku lat.

Ponieważ jest to system komputerowy, w artykule wspomniano o możliwości zintegrowania go z wieloma urządzeniami, od zestawów słuchawkowych VR/AR/MR po telefony komórkowe, laptopy, konsole do gier, tablety i wiele innych, co oznacza, że ​​użytkownicy mogą mieć urządzenie gotowi do przeniesienia swoich wirtualnych awatarów do wirtualnej przestrzeni podobnej do Meta lub Mesh.

Microsoft może starać się wdrożyć ten nowy, hiperrealistyczny system wirtualnych awatarów na istniejących platformach, takich jak Microsoft Teams, Microsoft Mesh, a nawet Windows.

Choć wirtualne przestrzenie już istnieją, na razie nie są one zbyt popularne ze względu na ich ograniczone możliwości, ale taki system może zachęcić więcej osób do dołączenia do wirtualnych przestrzeni.

Branża gier również mogłaby odnieść korzyści z tej technologii, umożliwiając użytkownikom dostosowywanie postaci na podstawie ich wyglądu, zapewniając również wysoce spersonalizowane wrażenia z gry.

Całość artykułu można przeczytać tutaj .

Struktura wykorzystuje techniki głębokiego uczenia się i modelowanie w przód w celu przeprowadzenia parametrycznego procesu dopasowywania, który przekłada wielomodalne sygnały danych na zestaw parametrów lub kod ekspresji, który można wykorzystać do wygenerowania wyrazistego modelu twarzy 3D.

Microsoftu

Techniki modelowania i śledzenia twarzy 3D tworzą wierzchołki 3D na podstawie twarzy użytkownika i stosują transformacje wierzchołków z neutralnej twarzy, aby przedstawić wyrażenia na cyfrowym modelu twarzy (np. reprezentacja twarzy użytkownika w awatarze).

Microsoftu

Multimodalne techniki modelowania i śledzenia twarzy 3D mogą wykorzystywać wiele różnych czujników, z których każde dostarcza jeden lub więcej sygnałów wejściowych i/lub pomiarów twarzy użytkownika w celu wykrywania, modelowania, śledzenia i/lub animowania graficznego trójwymiarowego modelu twarzy jako awatara .

Microsoftu