[IT] 디지털 둔갑술 출현…어떻게 써먹을까 기술IT

 aw.jpg » 영화 <페이스 오프>에서 보던 얼굴바꿔치기가 디지털로 구현됐다. 워싱턴대 제공.

 

부시가 톰 행크스로, 오바마로, 아베로

 

1997년작 할리우드 영화 <페이스 오프>는 서로의 얼굴을 바꿔 각기 상대방처럼 행세하는 FBI 요원과 테러범의 쫓고 쫓기는 이야기를 다루고 있다. 이들이 상대방 행세를 할 수 있었던 것은 첨단 생명공학과 의학 기술 덕분이었다. 하지만 아직까지 생명공학과 의학 기술은 이런 영화적 상상을 현실로 구현하는 데는 이르지 못했다. 동서양의 신화나 판타지, 무협소설 등에 빈번히 등장하는 변신술이나 둔갑술 역시 상상이 만들어낸 결과물일 뿐이었다. 그런데 이를 상상의 세계에서 끄집어내 디지털 공간에서 가상으로 구현할 수 있는 기술이 최근 선보였다.

미 워싱턴대(UW) 연구진이 지난 16일 칠레에서 열린 국제컴퓨터영상학술회의에서 공개한 이 기술은 자신의 목소리를 다른 사람의 얼굴 모습과 표정에 담아 말할 수 있게 해준다. 물론 그 반대도 가능하다. 음성만 있고 영상이 없을 경우엔, 음성 내용에 맞는 표정과 입 모양의 동영상을 만들어 입힐 수도 있다. 

 

Tom-Hanks-photo-750x230.jpg » 기존 사진과 영상이 충분하다면 디지털 아바타는 얼마든지 가능하다. 워싱턴대 제공

 

기술을 소개한 논문의 제목은 <톰 행크스를 톰 행크스답게 하는 것>이다. 디지털 기술로 톰 행크스의 특징적 얼굴 모습과 표정을 완벽하게 잡아냈다는 걸 이야기하려는 것으로 보인다. 연구진이 공개한 동영상을 보면 배우 톰 행크스, 버락 오바마 미 대통령 등이 조지 부시 전 미국 대통령의 음성으로 말을 하는 장면이 나온다. 마치 성우가 더빙을 하듯, 행크스나 오바마 등의 얼굴 표정과 입 모양이 부시의 음성과 정확하게 맞아떨어진다.


   

기존 이미지들만을 활용해 재현 성공

 

어떻게 이런 일이 가능했을까? 워싱턴대 연구진은 우선 오랜 세월에 걸쳐 촬영된 톰 행크스의 다양한 모습과 표정 이미지 200여개를 인터넷에서 수집했다. 이미지는 구글 검색을 통해 찾았다고 한다. 이를 토대로 그의 가장 일반적인 표정을 만들었다. 그리고 그 위에 예컨대 웃거나 찌푸리는 등 상황과 감정 변화에 따라 나타나는 실제 표정 변화를 표현하는 텍스처를 덧씌웠다. 이렇게 해서 탄생한 톰 행크스의 디지털 매핑 인형을, 다른 사람의 유튜브 영상에 덧씌워 돌리자 놀라운 일이 벌어졌다. 행크스가 자신이 과거에 전혀 하지 않은 말을 마치 그가 실제 말하듯 말하는 것이 아닌가? 연구진은 활용할 수 있는 사진과 영상이 충분히 있다면 이런 유형의 디지털 모델 제작은 누구나 가능하다고 말했다.

 

TomHanksFacesTech.jpg » 톰 행크스와 조지 부시의 이미지를 이용해서 톰 행크스 인형이 조지 부시의 말을 하도록 한 과정. 워싱턴대 제공

 

작고한 부모님이 디지털 가상현실에서 부활

 

이 디지털 아바타 기술을 활용하면 멀리 떨어져 사는 친지를 가상현실 공간에서 직접 만날 수 있다. 상대방이 전화기나 컴퓨터로 말을 하면, 당신은 가상현실 헤드셋을 통해 그의 디지털 아바타 인형이 말하는 모습을 본다. 상상력을 한 단계 더 끌어올려 보자. 고인이 된 부모님의 사진과 동영상을 모아 이 기술을 적용하면 어떨까? 고인이 남긴 사진과 영상이 충분하다면 고인이 마치 살아 있는 것처럼 지금의 나에게 말씀하시는 장면을 만들 수도 있을 것이다. 다양한 각도에서 찍은 사진과 동영상이 있다면 훌륭한 입체 가상현실을 만들어낼 수 있다.



삼성이 이 연구를 지원한 이유는?

 

이 기술은 지난 5년간에 걸쳐 이 대학 연구진이 이뤄낸 입체 안면 재구축 기술 성과이다. 현재 입체 홀로그램을 만들어내려면 사람을 스튜디오에 직접 불러와 전신을 스캐닝하고, 그 사람의 모습과 동작을 360도 각도에서 촬영해야 한다. 그러나 워싱턴대 컴퓨터 영상 전문가들은 기존 이미지들만 갖고도 사람을 디지털 방식으로 재구현하는 데 성공했다. 급성장이 예상되는 가상현실 시장을 꽃피울 수 있는 중요한 새 기술을 확보한 셈이다. 최근 가상현실 헤드셋 '기어VR'을 출시한 삼성이 이번 연구를 지원한 이유도 여기에 있는 것으로 보인다. 이번 연구는 삼성과 구글, 인텔의 지원을 받았다.

가상현실은 모바일에 이은 차세대 플랫폼 후보로 주목받고 있는 분야이다. 페이스북 최고경영자 마크 주커버그는 미래의 플랫폼을 선점하기 위해 지난해 봄 가상현실기기 전문업체 오큘러스 리프트를 인수했다. 삼성이 내놓은 기어VR을 함께 제작한 업체가 바로 오큘러스다.

 

출처 및 참고자료
http://www.washington.edu/news/2015/12/07/what-makes-tom-hanks-look-like-tom-hanks/
http://mashable.com/2015/12/08/tom-hanks-digital-puppet/?utm_medium=email&utm_campaign=daily&utm_source=newsletter&utm_cid=mash-prod-email-topstories&utm_emailalert=daily
http://www.kurzweilai.net/how-to-animate-a-digital-model-of-a-person-from-images-collected-from-the-internet?utm_source=KurzweilAI+Daily+Newsletter&utm_campaign=278fc7e4be-UA-946742-1&utm_medium=email&utm_term=0_6de721fb33-278fc7e4be-282184481
 
논문 원문 보기
https://homes.cs.washington.edu/~supasorn/0550.pdf
http://grail.cs.washington.edu/projects/3DPersona/


 

TAG

Leave Comments


profile한겨레신문 선임기자. 미래의 창을 여는 흥미롭고 유용한 정보 곳간. 오늘 속에서 미래의 씨앗을 찾고, 선호하는 미래를 생각해봅니다. 광고, 비속어, 욕설 등이 포함된 댓글 등은 사양합니다. 

Recent Trackback