현대 카메라의 진화, 사진 속 공간과 소리를 담다

현실의 모습을 그대로 담은 카메라

[객원 에디터 6기/ 이지윤 기자] 카메라는 많은 사람들이 일상에서 가장 필요로 하는 도구 중 하나이다. 카메라가 발명되기 전에 살던 사람들은 글과 그림을 이용하여 세상을 기록했지만, 카메라가 발명되고 나서부터는 글을 모르는 사람, 그림을 잘 그리지 못하는 사람, 게다가 말을 듣지 못하는 사람들까지도 복잡한 사고 과정 없이 세상을 사진 한 장에 담고 볼 수 있게 되었다. 

이러한 카메라의 발명은 매우 획기적이었지만, 사실 초기에 발명되었던 카메라는 “세상을 있는 대로 저장한다”는 포부와는 다르게 세상을 있는 대로 저장하지는 못했다. 카메라가 찍는 물체의 초점이 자주 맞지 않을뿐더러, 대부분의 사진들이 흑백으로 나와 가시광선의 다양한 색을 표현하지도 못했다. 이러한 초기 카메라의 단점을 보완하기 위해 과학자들은 비디오카메라를 발명하고, 디지털 센서와 메모리를 이용해 사진에 색도 담을 수 있게 되었다. 이러한 결과, 카메라를 이용한 동영상과 사진은 우리가 사용하는 어마한 양의 디지털 정보 중 절반 이상을 차지하게 되었다.

그렇다면 이렇게 발전된 카메라는 세상을 완벽하게 담아내고 있을까? 그렇지 않다. 사실 우리가 살아가는 세상은 시각적일 뿐만 아니라 공감각적인 요소들을 포함한다. 친구들과 바다 여행을 가서 찍었던 사진을 보면 뜨거웠던 햇빛, 친구들의 웃음소리, 모래를 쓰다듬으며 느꼈던 촉감, 그리고 끊임없이 움직이는 파도 물결 등 많은 공감각적인 정보를 떠올리는 것처럼 우리 일상 속에는 시각뿐만 아니라 공감각적인 정보도 꽤 많이 포함하고 있다. 

따라서 카메라의 기술에 공감각적인 요소를 포함시키기 위해 많은 컴퓨터공학자들이 인공지능 기술을 사용하여 시각적인 정보만을 포함하고 있는 사진에서 공감각적인 요소를 추출할 수 있는 기술을 개발하고 있다. 

개발 중인 기술 중에서 가장 대표적인 기술은 바로 인버스 렌더링(Inverse-Rendering) 기술이다. 한국과학기술연구원(KIST)이 개발한 이 인버스 렌더링 기술은 여러 장의 평면 사진으로부터 사진에 찍힌 3차원 객체들의 색감, 형태 정보, 재질, 빛 반사 특성, 그리고 조명 정보와 같은 공감각적인 정보를 유추하는 기술이다. 이 기술을 활용하면 3차원 객체를 평면적인 사진에 자연스럽게 합성할 수 있을 뿐만이 아니라 사진 내에서 다양하게 시점을 바꿔 볼 수도 있다.

인버스 렌더링 기술을 활용하면 2차원적인 사진을 3차원적으로 볼 수 있게 해 줄 뿐만 아니라 공간 내 음향 재현 기술과 결합하면 사진에 담긴 소리도 들을 수 있다. 공간 내 음향 재현 기술을 같이 활용하면 사진 속에 음향을 합성할 수 있을 뿐만 아니라, 인버스 렌더링 기술을 통해 사진 속 빛 반사 정보와 조명 정보 등 공간적인 정보를 알아냄으로써 사진 속 공간의 위치에 따라 소리가 어떻게 다르게 들리는지도 체험할 수 있다. 이 말인즉슨 친구들과 바다 여행을 가서 찍은 사진을 볼 때 각 친구의 시점에서 본 바다, 친구들과 모래사장에서 떠들고 있을 때 힘차게 밀려오던 파도 소리, 그리고 각 친구들이 들었던 다양한 바닷소리 등을 모두 다 느낄 수 있다는 것이다. 

이처럼 현재 우리는 세상을 보다 더 정확하고 생생하게 기록할 수 있도록 다양한 기술을 개발하는 데 집중하고 있다. 이러한 트렌드를 따라 애플(Apple)사는 공간 컴퓨팅(Spacial Computing)으로 공간적인 요소들을 포함시키는 컴퓨팅 기술을 개발하려 한다고 예고했다. 많은 기술자들이 협업해 곧 모든 사람이 소리, 향기, 공간으로 추억을 생생하게 떠올릴 수 있는 시대가 올 거라 기대한다.