[기술] 사진 속 물체가 살아 움직인다-입체편집의 마술 기술IT

140805132148-large.jpg » 카네기멜론대 연구진이 개발한 3D편집 기술을 이용하면 사진 속의 종이학이 날개를 퍼덕이며 날 수 있다. 카네기멜론대 제공  

 

 2차원 평면 사진을 입체 사진으로

 

 보통 사진 편집이라 하면 색깔을 보정하거나 사진 속 물체의 크기를 조절하는 것, 아니면 물체를 위 아래, 옆으로 이리저리 움직이는 것 정도를 연상케 된다. 실제로 우리가 일상적으로 접하는 사진편집 도구들의 기능은 이런 범주를 벗어나지 않는다.
 사진 속의 물체를 좀 더 입체적으로 자유롭게 다룰 수 있는 방법은 없을까? 예컨대 옆으로 돌려놓거나 뒤집을 수 있다면 좀더 재미난 사진을 만들어낼 수 있지 않을까? 아니면 더 나아가 사진 속 물체에 동작을 부여할 수 있다면 사진 한 장으로 짤막한 애니메이션도 가능하지 않을까? 쉽사리 상상이 되지 않는 이런 장면을 미국 카네기멜론대 연구원들이 현실로 구현해내는 데 성공해, 지난 10일 캐나다 밴쿠버에서 개막한  세계 최대 규모의 컴퓨터 그래픽스 전시회 ‘시그라프(SIGGRAPH) 2014’ 콘퍼런스에서 공개했다
 이 대학의 야세르 셰이크(Yaser Sheikh) 교수(로봇공학)가 이끄는 연구진은  2차원 평면 사진에 대한 입체 조작이 가능해진 것은 가구, 주방기구, 자동차, 의류, 가전제품 등 우리가 일상적으로 사용하는 제품들에 대한 3D 수치모델을 이제 온라인상에서 이용할 수 있게 됐기 때문이라고 설명한다. 제품들에 대한 3D 수치모델들을 사진 속 제품의 기하학적 구조에 적용하면 실물처럼 3차원 편집이 가능하다는 것이다.

3d-taxi-edits_600x197.jpg » 3D 편집 기술을 이용해 사진 속 차량 숫자를 더 늘린 사진(오른쪽). 원래 사진에선 보이지 않던, 차 밑부분을 드러낸 차량도 눈에 띈다. 카네기멜론대 제공  

 

손바닥 위의 종이학, 하늘로 날아오르다

 

 논문 주저자인 나타샤 콜게이드(Natasha Kholgade) 박사는 “실제 세계에서 우리가 어떤 물건을 다루는 데는 그 물건을 들어보거나 두드려보거나 돌려보는 등 다양한 방법이 동원된다. 이번 연구에서 우리는 사진을 편집할 때도 실제에서와 똑같이 자유자재로 물건을 다룰 수 있는 환경을 만들어낸 것”이라고 말했다.
 이 새롭고도 흥미로운 시스템은 기본적으로 디지털 이미지가 있어야 작동한다. 연구진은 하지만 그림이나 옛날 사진 속의 물건 역시 똑같이 입체 조작할 수 있다고 말한다. 새로운 시스템은 특히 사진 속 피사체들을 애니메이션처럼 움직이게 할 수도 있다. 연구진이 공개한 동영상을 보면 종이로 접어 만든 새가 손바닥 위에서 날개를 펴고 날아가는 장면, 거리의 택시가 공중으로 뜬 뒤 한 바퀴 도는 장면, 사진 속의 종이학이 손바닥 위에서 하늘로 날아가는 장면 등이 담겨 있다.

 

 

온라인상의 3D 모델로 제품의 구조를 자동으로 조정

 

 새 사진 편집 시스템의 문제는 우리가 현재 활용할 수 있는 3D 모델이 사진속의 물체와 정확히 들어맞는 경우가 그리 많지 않다는 점이다. 특히 쿠션방석, 배낭 같은 물건들은 사람들의 손을 거치면서 모양 자체가 뒤틀어지기 일쑤다. 또 시간의 경과와 날씨, 조명에 따라서 물건의 모양이 바뀌기도 한다.
 이런 다양한 변수들이 초래하는 문제점을 해결하기 위해, 연구진은 사진 속 물체의 기하학적 구조를 반자동적으로 조정해주는 기술을 개발했다. 이 기술은 기본적으로 사진 속 피사체의 ‘보이는 부분’을 토대로 ‘보이지 않는 부분’을 추정해 만들어낸 뒤, 거기에 물체 주변에 생긴 그림자 등을 추가로 분석해 피사체 전체의 모습을 도출해내는 방식이다. 사진 속에 적절한 정보가 없다면 미리 저장돼 있는 3D모델 속의 정보를 이용한다.
 물론 저장돼 있는 모델들이 사진 속의 모든 물체에 다 들어맞지는 않는다.  셰이크 교수는 “그러나 이런 제약은 3D 스캐닝과 프린팅이 이제 언제 어디서든지 가능해짐에 따라 점차 부차적인 것이 돼가고 있다”고 말한다. 
 논문 주저자인 그는 진짜 문제는 그 물체의 3D 수치모델이 온라인상에 있느냐 여부가 아니라 이용자가 그것을 찾아낼 수 있느냐라고 강조한다. 그는 따라서 향후 연구의 초점은 방대한 분량의 데이터베이스에서 자동적으로 사진 속 피사체에 맞는 3D 모델을 검색하는 기술을 개발하는 데 있다고 설명한다. 입체 사진편집 기술이 개발됨에 따라 이제 사진 몇 장만 있으면 간단한 애니메이션 정도는 얼마든지 창작해 낼 수 있는 시대가 미래가 아닌 현실로 다가온 셈이다. 연구진은 공식 웹사이트(http://www.cs.cmu.edu/~om3d/)를 통해 이번에 개발한 소프트웨어와 소스코드를 공개했다.
 

140808124008-large.jpg » 미 브라운대 컴퓨터 과학자들이 개발한 새 알고리즘은 사진 속의 야외 풍경을 다양한 날씨로 바꿀 수 있다. 브라운대 제공.

 

사진의 배경이 되는 날씨를 원하는 대로 변경

 

 이번 행사에서는 또 미 브라운대 컴퓨터 과학자들이 사진 속의 날씨, 시간, 계절 등을 바꿀 수 있는 컴퓨터 알고리즘을 선보여 눈길을 끌었다. 이들이 개발한 프로그램은 사용자가 간단한 자연어 명령을 통해 사진 속 풍경을 바꿀 수 있게 해준다. 예컨대 햇빛이 쨍쨍 나는 날씨에서 찍은 사진일 경우, ‘비가 내린다’라는 명령어를 치면 비가 내리는 환경으로 바뀌는 식이다. 연구진이 개발한 알고리즘에는 흐림, 맑음, 눈, 비 등 객관적인 날씨는 물론 밝음, 따뜻함 같은 주관적인 날씨까지 포함해 40가지의 야외 환경이 들어 있다. 이 가운데서 자신이 원하는 환경을 골라 사진에 적용하면 되는 것. 브라운대 제임스 헤이스(James Hays) 교수는 “비전문가들도 쉽게 사진을 편집할 수  있도록 하자는 것이 개발의 기본 취지”라고 말했다. 
  
출처
http://www.cmu.edu/news/stories/archives/2014/august/august5_photoeditingin3D.html

https://news.brown.edu/articles/2014/08/photo

http://www.cs.cmu.edu/~om3d/

http://www.cs.cmu.edu/~om3d/papers/SIGGRAPH2014.pdf

 

http://www.sciencedaily.com/releases/2014/08/140805132148.htm
http://www.sciencedaily.com/releases/2014/08/140808124008.htm

http://mirian.kisti.re.kr/futuremonitor/view.jsp?record_no=249405&cont_cd=GT 
KISTI 미리안 『글로벌동향브리핑』 2014-08-12    
http://mirian.kisti.re.kr/futuremonitor/view.jsp?record_no=249400&cont_cd=GT 
KISTI 미리안 『글로벌동향브리핑』 2014-08-12    

 

TAG

Leave Comments


profile한겨레신문 선임기자. 미래의 창을 여는 흥미롭고 유용한 정보 곳간. 오늘 속에서 미래의 씨앗을 찾고, 선호하는 미래를 생각해봅니다. 광고, 비속어, 욕설 등이 포함된 댓글 등은 사양합니다. 

Recent Trackback