마이크로소프트의 최신 특허는 사용자의 얼굴을 기반으로 초현실적인 가상 아바타를 생성합니다.

마이크로소프트는 가상 아바타를 갖고 있다. 최근 출시된 메시 플랫폼을 통해 팀즈 사용자는 아바타를 만들어 이른바 가상 몰입형 공간에 참여할 수 있다. 가상 몰입형 공간은 직원들이 몇 마일 떨어져 있어도 가상으로 함께 어울릴 수 있는 환경이다.

Microsoft Mesh는 실제로 재미있는 플랫폼이며 레드몬드에 본사를 둔 거대 기술 기업은 이것이 효과가 있다고 말합니다. 많은 Microsoft 직원이 거기에 머무르는 동안 유대감을 느낍니다. 그러나 동시에 기분이 좋지 않습니다. 만화 같은 아바타는 귀엽고 모든 것이 있지만 대체된 것처럼 보입니다.

그러나 레드몬드에 본사를 둔 거대 기술 기업이 이미 업데이트 작업을 진행 중인 것 같습니다. 이 회사는 최근 사용자의 얼굴을 기반으로 초현실적인 가상 아바타를 생성할 수 있는 기술을 설명하는 특허를 발표했습니다.

이 기술은 표현 아바타 생성을 위한 다중 모드 3차원 얼굴 모델링 및 추적 이라고 하며 3D 얼굴 모델링 및 추적을 사용하여 표현 아바타를 생성하는 컴퓨터 시스템을 설명합니다.

컴퓨터 시스템에는 초현실적인 가상 아바타를 모델링하는 데 필요한 데이터를 처리하고 유지하는 자체 프로세서와 저장 시스템이 있습니다. 또한 렌더링 방법에 대한 지침도 유지합니다.

그런 다음 프로세서는 얼굴 모델의 시작 모양인 초기화 데이터와 오디오 데이터(예: 사용자의 음성)일 수 있는 추가 다중 모드 데이터 신호를 수신하여 초현실적인 모델을 만드는 데 사용됩니다. 얼굴.

초기화 및 다중 모드 데이터는 시스템에서 가져와 피팅 프로세스에서 함께 처리됩니다. 이 프로세스는 모델에 맞게 데이터를 조정합니다. 피팅 프로세스를 기반으로 시스템은 초현실적인 가상 아바타를 설명하는 데 사용되는 매개변수 세트를 결정합니다.

이 시스템은 딥러닝을 사용해 사용자의 얼굴과 비슷하거나 동일한 외모, 행동, 표정을 지을 수 있는 상세한 가상 아바타를 만들어냅니다. 딥러닝은 인간의 두뇌를 최대한 모방하려는 AI 기술의 한 형태로, 마이크로소프트는 지난 몇 년간 이에 투자해 왔다.

이는 컴퓨터 시스템이므로 VR/AR/MR 헤드셋부터 휴대전화, 노트북, 게임 콘솔, 태블릿 컴퓨터 등에 이르기까지 수많은 장치에 통합할 수 있는 기능을 언급합니다. 즉, 사용자가 장치를 가질 수 있음을 의미합니다. 가상 아바타를 메타형 또는 메쉬형 가상 공간으로 전송할 준비가 되었습니다.

Microsoft는 Microsoft Teams, Microsoft Mesh 또는 Windows와 같은 기존 플랫폼에서 이 새로운 초현실적 가상 아바타 시스템을 구현하려고 할 수 있습니다.

가상 공간이 이미 존재하더라도 제한된 기능으로 인해 현재는 그다지 인기가 없지만, 이와 같은 시스템은 더 많은 사람들이 가상 공간에 참여하도록 유도할 수 있습니다.

게임 산업도 이 기술의 혜택을 누릴 수 있습니다. 사용자는 외모에 따라 캐릭터를 맞춤 설정할 수 있으며 고도로 개인화된 게임 경험도 제공할 수 있습니다.

전체 논문은 여기에서 읽을 수 있습니다 .

프레임워크는 딥 러닝 기술과 순방향 모델링을 활용하여 다중 모드 데이터 신호를 표현력이 풍부한 3D 얼굴 모델을 생성하는 데 사용할 수 있는 일련의 매개변수 또는 표현 코드로 변환하는 파라메트릭 피팅 프로세스를 수행합니다.

마이크로소프트

3D 얼굴 모델링 및 추적 기술은 사용자의 얼굴을 기반으로 3D 꼭지점을 생성하고 중립 얼굴의 꼭지점에 변환을 적용하여 디지털 얼굴 모델(예: 사용자 얼굴의 아바타 표현)에 표정을 묘사합니다.

마이크로소프트

다중 모드 3D 얼굴 모델링 및 추적 기술은 여러 개의 서로 다른 센서 장치를 활용할 수 있으며, 각 센서 장치는 사용자의 얼굴에 대한 하나 이상의 입력 신호 및/또는 측정값을 제공하여 3차원 얼굴 모델을 그래픽으로 아바타로 감지, 모델링, 추적 및/또는 애니메이션화할 수 있습니다. .

마이크로소프트