[Tech Check] 이용자 참여형 AR 댄스 어플리케이션

 

 

 

           

 

 

 

연구팀은 부피를 기반으로 섬세한 움직임을 녹화하여 이를 디지털 캐릭터의 움직임으로 표현하는 기법(Volumetric Performance Capture)을 이용하였다. RGB와 IR 비디오 카메라로 K-Pop 가수의 움직임을 녹화하고 화질을 3D 비디오 포맷으로 압축하였다. 다중 모달, 다 시점의 스테레오 융합 RGB와 IR비디오 카메라, 두드러지는 부분을 자동으로 감지하여 그물 모양으로 표현하는 기술, 그리고 이를 MPEG 비디오 스트림으로 표현함으로써 생동감을 높였다. 또한 수많은 실험을 통하여 위치적 정확성과 고른 표면을 구현하여 화면의 실제감을 높일 수 있었다.

 

 

 

 

 

고속카메라가 있는 스튜디오사진

 

 

 

연구팀은 어플리케이션의 개발을 위하여 원통형의 초록색 스크린형 스튜디오를 이용하였다. 두 개씩 한 쌍을 이루며 20MP의 센서를 보유한 총 32개의 카메라를 전 방향에 세워 이용하였다. 또한 235 ARRI SkyPanel를 이용하여 여러 가지의 조도를 표현하였다.

 

 

 

 

증강 현실 엔진 개발 차트
 

 

 

연구팀은 어플리케이션의 제작에 그물 표식이 없이 캐릭터를 표현할 수 있는 ARCore를 이용하였다. ARCore는 구글 플레이스토어에서 제공하는 AR 개발을 위한 앱이며 평평한 물체의 표면의 크기와 위치, 밝기를 측정해 디지털화하여 구현한다. ARCore는 4D 모델을 이용하는 증강현실 엔진인 Unity와 통합되었으며, 안드로이드 휴대폰으로 실행될 수 있다.

 

기업 ‘메이젠’은 해당 기술을 이전 희망하였으며, 서강대학교 산학협력단과 2021년 12월 ‘아바타 댄스 AR앱 개발 노하우' 이전 계약을 체결하였다.

 

연구팀이 개발한 기술은 시청자가 스마트폰으로 참여하여 아바타 댄스를 가능하게 함으로써 이를 방송영상과 합성하여 새로운 영상을 만들어내고 소통하여 방송의 시청률과 활용성을 높일 수 있을 것이다. 특히 방송국의 방송 컨텐츠와 1인 크리에이터 방송에 이용될 것으로 보인다. 이는 맞춤형 영상 컨텐츠를 각 플랫폼에 맞게 제공하고 사용자 체험 중심의 부가 컨텐츠를 만들고 소통하는 도구가 될 수 있을 것이다.