VR 아바타에 사용자 표정을 실시간 투영하는 기술 개발

한양대 생체공학과 임창환 교수팀이 가상현실(VR) 기반 메타버스 서비스에서 사용자의 얼굴 표정을 실시간으로 아바타에 투영하는 신기술을 개발했다. VR 기반 메타버스 서비스는 최근 미래 소셜 네트워크 플랫폼으로 각광받고 있으며, 현재 페이스북 호라이즌, vTime, AltSpaceVR, VRChat 등 다양한 VR 기반 메타버스 서비스들이 공개됐다.

기술의 발달로 초창기에 비해 화질·속도 등 많은 기능개선이 이뤄졌으나, 여전히 눈 주변이 가려지는 VR기기 특성으로 인해 사용자의 정확한 얼굴 표정이 아바타에 투영되지 않고 이로 인해 몰입도나 현실감이 떨어진다는 한계가 지적돼왔다. 이런 문제점을 개선하고자 최근에는 VR 헤드기어와 얼굴 피부가 닿는 부위에 생체신호를 측정하는 전극을 부착하고, 표정을 지을 때 근육에서 발생되는 근전도(EMG) 신호를 실시간으로 분류하는 연구가 진행되고 있다.

하지만 안면부 근전도를 이용하는 표정 인식 기술은 특정 표정을 지을 때 발생하는 근전도 신호에 대한 데이터베이스를 미리 수집하는 과정이 필요하고, 이에 따라 최소 4회에서 10회 이상 반복적으로 표정을 등록해야 하는 번거로움이 있어 사용자들이 불편함을 겪었다.

임 교수팀은 최근 AI분야에서 활발히 연구되고 있는 도메인적응(domain adaptation) 기술을 도입해 이런 불편함을 개선했다. 도메인적응은 기존 데이터로 만들어 둔 기계학습모델을 신규 정보에 적응시켜 적은 수의 데이터로도 높은 성능을 얻을 수 있는 AI분야의 최신 기술이다.

임 교수팀은 기존 사용자의 등록데이터로 학습한 기계학습모델을 신규 사용자 데이터에 맞춰 적응시키는 방법으로 모델학습에 필요한 데이터의 양을 효과적으로 줄였다. 그 결과 1번의 표정등록만으로 11개의 얼굴표정을 약 90%의 정확도로 인식하고 실시간으로 아바타 얼굴에 반영하는 데 성공했다.