스토리

[Tech Check] 실시간으로 축구 선수의 얼굴을 인식할 수 있는 기술

 

 

최근 공중파, Cable TV, 인터넷 방송 등 방송 채널이 다양해짐에 따라 국내외 스포츠 중계

방송(프로 축구, 프로 야구 등)이 활성화되고 있으며, IPTV 기술의 발전에 따라 부가 서비스를 제공할 수 있는 기반이 만들어지고 있다. 이에 따라 스포츠 중계방송은 실시간 방송의 채팅을 중심으로 하는 상호작용과 개인 맞춤형 콘텐츠의 요구가 증가하고 있다.

 

 

 

 

 

얼굴 인식 엔진 개요

 

 

 

이에 서강대학교 컴퓨터공학과 낭종호 교수 연구팀은 국내 스포츠 중계 동영상에 등장하는 선수에 대한 실시간 얼굴 인식 엔진을 개발하고 있다. 이는 출전 선수의 정보를 외부 데이터와 연동하여 시청자에게 제공할 수 있다.

 

 

 

 


 

얼굴 인식 엔진 구조도

 

 

 

 

연구팀은 국내 프로 축구인 K-리그에 소속되어 있는 선수 500명에 대한 Web Crawling을 통해 얼굴 학습 이미지를 수집하여 학습 데이터베이스를 구축하였다. 이후 서양 인물 얼굴 인식 엔진인 Facenet의 Fine-Tunning을 통하여 국내 선수 얼굴 인식 엔진을 개발하였다. 또한 디지털 음성 스트림과 영상 스트림에 대해서 다양한 종류의 형태로 기록하고 변환하는 컴퓨터 프로그램인 ffmpeg을 이용하여 동영상에서 프레임 추출기를 개발하였다. 이후에는 프로그래밍 언어 C++로 쓰여진 범용 크로스 플랫폼 소프트웨어 라이브러리인 dlib를 이용하여 이미지상에서 얼굴 영역 검출기를 개발하였다. 마지막으로 학습된 FaceNet을 이용하여 실시간으로 선수의 얼굴 이미지 특징을 추출 후 인식할 수 있는 엔진을 개발할 수 있었다.

 

해당 기술은 Linux 환경의 Web 서버 방식으로 동작되며 국내 축구 선수 500명 기준 93% 이상의 얼굴 이미지 인식 정확도를 지닌다. 또한 얼굴 이미지를 한 개당 50msec의 속도로 인식할 수 있다.

 

 

 

 


 

Action Sports를 사용한 서비스 개요

 

 

 

㈜액스콘에서는 스포츠 중계방송에 등장하는 선수에 대한 부가 정보를 실시간으로 제공하는 'Action Sports'라고 하는 서비스를 개발하고 있다. 이를 실행하기 위해서는 등장 선수의 얼굴을 인식하는 기술이 필요해 낭종호 교수 연구팀의 얼굴 인식 엔진 개발 기술을 이전받기로 하였다. 연구팀이 개발한 엔진은 ㈜액스콘에서 개발 중인 Action Sports 서비스의 주요 모듈로 사용될 예정이다.

 

해당 기술이 상용화된다면, 시청자는 영상에 나오는 선수의 정보를 파악하여 다양한 선수 정보를 실시간으로 연계하여 시청할 수 있을 것이다. 또한 이는 다른 종류의 스포츠 중계 동영상에도 적용할 수 있어 포스트 코로나 시대의 언택트 스포츠의 새로운 시장을 창출할 수 있을 것이다. 개발된 기술이 경기의 박진감과 몰입도를 높임으로써 전 세계의 스포츠팬을 매료시킬 것으로 기대된다.

 

 
댓글 0
수정/삭제 시 이용합니다.
 41858072
avatar

서강대학교

담당자
연락처
이메일
주소지
서강대학교
010-9637-1335
서울특별시 마포구 신수동

기관의 인기 스토리

목록보기