“사진 몇장 찍었을 뿐인데…'매트릭스'가 현실이 됐다”

고가의 라이다(LiDAR) 없이 스마트폰으로 찍은 사진 몇장만으로도 가상 환경에서 디지털트윈을 구축할 수 있는 3D 복원 기술이 나왔다.

KAIST는 윤성의 전산학부 교수 연구팀이 정밀한 카메라 위치정보 없이도 일반 영상만으로 고품질의 3D 장면을 복원할 수 있는 새로운 기술 ‘쉐어(SHARE)’를 개발했다고 6일 밝혔다.

기존의 3D 복원 기술은 고가의 특수장비나 복잡한 보정 과정이 필요했다. 3D 장면을 재현하려면 촬영 당시의 정밀한 카메라 위치와 방향 정보가 필요했기 때문이다. 반면 쉐어는 영상 자체에서 공간 정보를 스스로 찾아내 카메라와 구조를 추론해 3D 구조를 복원한다. 또 영상 속에서 사물의 형태와 카메라의 시선 방향을 동시에 추정할 수 있다. 2~3장의 사진만 있어도 3D 장면과 카메라의 방향을 동시에 추정해 정확한 3D 모델을 구축할 수 있다는 의미다.

이번 논문을 발표한 연구팀은 국제 이미지 처리 학회에서 내용을 발표하고 ‘최고 학생논문상’을 수상하기도 했다. 올해 채택된 643편의 논문 중 단 한편에게 수여되는 상이다.

3D 복원 기술은 문화유산 보존, 의료·산업용 스캔, 엔터테인먼트 등 다양한 분야에서 주목받고 있다. 특히 유물이나 고대 건축물의 형태를 고해상도로 스캔해 디지털 복원하는 사례가 활발하다. 가령 문화재청은 모든 국내 문화재를 3D 스캔해 게임, 영화 등에 활용할 수 있도록 국가유산 디지털 서비스를 제공하고 있다. 유네스코는 지난달 도난 문화재를 생성형AI로 복원해 선보이는 ‘도난 문화재 가상 박물관’을 선보이기도 했다.

최근에는 3D 복원을 넘어 이를 기반으로 여러 콘텐츠를 재창조하는 사례도 등장했다. 사라진 부분을 AI를 활용해 채워넣거나 기존의 모습을 변형하는 것도 가능하다. 엔비디아가 올해 9월 공개한 연구모델 ‘라이라(Lyra)’는 한장의 이미지나 영상에서 3D 장면을 생성한다. 다각도 촬영이나 실측 데이터 없이도 가상 환경을 구성할 수 있는 셈이다. 메타버스나 가상공간 제작 등 산업적인 응용 가능성이 큰 기술로 평가된다.

글로벌 시장조사기관 코히어런스 마켓에 따르면 3D 복원 시장은 12억달러 규모로 형성돼 있고 2032년까지 20억달러 규모로 성장이 전망된다.

윤 교수는 “쉐어는 3D 복원의 진입 장벽을 획기적으로 낮춘 기술”이라며 “건설, 미디어, 게임 등 다양한 산업에서 스마트폰 카메라로 고품질 콘텐츠를 제작할 수 있다”고 말했다. 이 기술은 로봇과 자율주행 분야에서도 저비용 시뮬레이션 환경을 구축하는 등 다양한 산업 분야에 응용이 가능할 전망이다.

이영애 기자 0ae@hankyung.com